Resumo Técnico: EBISU – Avaliação de Desempenho de Grandes Modelos de Linguagem no Setor Financeiro Japonês

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos ao processar a linguagem financeira japonesa devido à interseção única entre a estrutura linguística e as normas de comunicação cultural. O japonês é uma língua aglutinante e de cabeça final (head-final), onde a modalidade, a negação e a postura são frequentemente codificadas ao nível da frase, em vez de no início. Além disso, a comunicação financeira no Japão baseia-se fortemente em expressões de alto contexto e indiretas, onde recusas e compromissos são frequentemente transmitidos através de pistas pragmáticas, em vez de declarações explícitas.

Os benchmarks existentes para LLMs multilíngues ou financeiros são frequentemente otimizados para comparabilidade entre línguas e supervisão escalável, favorecendo contextos curtos, alvos explícitos e esquemas de rotulagem estáveis. Esses frameworks falham em capturar fenômenos centrais ao setor financeiro japonês, como a intenção no nível do discurso inferida a partir de frases indiretas ou a resolução de postura via morfologia de final de frase. Adicionalmente, a terminologia financeira japonesa envolve compostos nominais aninhados e variantes de escrita mista (kanji, hiragana, katakana), criando ambiguidade nos limites dos termos e no escopo semântico, o que os modelos atuais têm dificuldade em resolver.

Metodologia

Os autores introduzem o EBISU, um benchmark projetado para avaliar a compreensão da linguagem financeira nativa japonesa através de duas tarefas anotadas por especialistas:

1. JF-ICR (Reconhecimento de Compromisso Implícito Financeiro Japonês)

• Objetivo: Avaliar a capacidade de um modelo em inferir a postura implícita (concordância, cautela ou recusa) em sessões de perguntas e respostas voltadas para investidores.
• Dados: 94 pares de pergunta-resposta de turno único coletados de chamadas de resultados, reuniões de acionistas e apresentações de resultados financeiros de quatro grandes empresas japonesas (2023–2026).
• Anotação: Anotado por especialistas financeiros de nível nativo em uma escala de cinco níveis: Compromisso Forte (+2), Compromisso Fraco/Qualificado (+1), Neutro/Cauteloso (0), Recusa Fraca (-1) e Recusa Forte (-2).
• Métrica: Acurácia.

2. JF-TE (Extração de Termos Financeiros Japoneses)

• Objetivo: Avaliar a extração e a classificação hierárquica de terminologia financeira de divulgações profissionais, abordando especificamente compostos aninhados e empréstimos de variantes de escrita.
• Dados: 202 instâncias ao nível de nota extraídas de 10 Relatórios Anuais de Valores Mobiliários (Yūka shōken hōkokusho) via EDINET, contendo 2.412 menções de termos curadas por especialistas.
• Anotação: Especialistas identificaram os intervalos (spans) máximos de termos financeiros e seus subtermos aninhados.
• Métrica: F1 score para extração de termo máximo e HitRate@K (K=1, 5, 10) para classificação de termos aninhados.

Protocolo de Avaliação

O benchmark avaliou 22 LLMs diversos, incluindo:

• Modelos de propósito geral de código aberto (ex: Llama, Qwen, DeepSeek).
• Modelos proprietários de código fechado (ex: GPT-4o, Claude, Gemini).
• Modelos de domínio financeiro em inglês.
• Modelos de propósito geral em japonês e modelos específicos do domínio financeiro japonês.

A avaliação utilizou um pipeline unificado (LM Evaluation Harness) com configurações determinísticas (temperatura=0) para garantir consistência.

Principais Resultados

A avaliação revela que mesmo sistemas de última geração lutam significativamente com tarefas financeiras japonesas:

• Desempenho Geral: O desempenho permanece baixo em todas as categorias de modelos. O melhor desempenho geral foi o modelo de código aberto Llama-3.3-70B-Instruct (Pontuação Média: 0,4011), enquanto os principais modelos proprietários como GPT-4o (0,2461) e Claude-Sonnet-4.5 (0,3618) mostraram capacidade limitada.
• Impacto da Escala: O aumento da escala do modelo gera melhorias marginais (ex: +0,33 de Acurácia para JF-ICR e +0,38 de F1 para JF-TE ao comparar modelos maiores com menores dentro das mesmas famílias), mas esses ganhos são insuficientes para resolver os desafios centrais.
• Impacto da Adaptação:
  • Adaptação de Linguagem: Modelos adaptados para o japonês não superaram consistentemente seus equivalentes em inglês de mesma escala. Por exemplo, o Llama-3.3-Swallow-70B-Instruct (adaptado para o japonês) teve desempenho inferior ao Llama-3.3-70B-Instruct (inglês).
  • Adaptação de Domínio: O pré-treinamento contínuo em textos financeiros japoneses frequentemente degradou o desempenho. O modelo financeiro japonês nekomata-14b-pfn-qfin pontuou abaixo (0,0198) do seu equivalente japonês geral (0,0251) e do seu backbone original em inglês (0,0857).
• Análise de Erros:
  • JF-ICR: Os erros concentraram-se em fenômenos pragmáticos. Os modelos frequentemente interpretaram erroneamente recusas indiretas ou a não-assunção estratégica de compromisso como neutras ou concordâncias fracas, falhando em distinguir o compromisso genuíno de respostas cautelosas. Modelos centrados no inglês exibiram um viés sistemático de superestimar o compromisso.
  • JF-TE: O desempenho deteriorou-se com o aumento da profundidade dos compostos e da variabilidade de escrita. A lacuna entre o HitRate@1 e o HitRate@10 sugere dificuldades em resolver limites de termos e lidar com variantes, em vez de uma falta de vocabulário financeiro.

Contribuições

O artigo apresenta quatro contribuições primárias:

1. Benchmark EBISU: Um benchmark focado na compreensão da linguagem financeira nativa japonesa, visando a inferência de postura pragmática e o embasamento de termos financeiros sob condições linguísticas e de discurso específicas.
2. Novas Tarefas e Datasets: A introdução do JF-ICR e JF-TE, que são profundamente fundamentados nas práticas financeiras japonesas e anotados por especialistas de domínio com alta concordância entre anotadores (Macro-F1 > 0,82).
3. Avaliação Abrangente: Uma análise diagnóstica de 22 LLMs que isola os efeitos de escala e adaptação, demonstrando que as estratégias atuais (escalonamento, adaptação de linguagem, pré-treinamento de domínio) não capturam de forma confiável os mecanismos morfossintáticos e pragmáticos do setor financeiro japonês.
4. Recursos Públicos: O lançamento dos datasets, diretrizes de anotação e código de avaliação para facilitar a pesquisa em NLP financeiro com consciência linguística e cultural.

Significância e Alegações

Os autores posicionam o EBISU como uma ferramenta necessária para avançar o NLP financeiro além dos paradigmas centrados no inglês. O artigo afirma que as estratégias atuais de escalonamento e adaptação falham em capturar os mecanismos linguísticos e culturais específicos centrais à comunicação financeira japonesa. Ao expor as dificuldades sistemáticas na identificação de compromisso implícito e na classificação de terminologia, o EBISU destaca uma lacuna substancial entre as capacidades atuais dos modelos e os requisitos da análise financeira japonesa real.

Os autores enfatizam que, embora o benchmark seja rigoroso, ele não é um substituto para a prontidão de produção. Eles alertam que o alto desempenho no EBISU não garante a adequação para aplicações de alto risco, como análise de investimentos automatizada ou conformidade regulatória, sem validação adicional. O benchmark tem o objetivo de impulsionar o desenvolvimento de modelos que compreendam melhor a "estrutura linguística aglutinante e de cabeça final, os sistemas de escrita mistos e as normas de comunicação de alto contexto" do setor financeiro japonês.