Resumo Técnico: RealFin – Quão Bem os LLMs Raciocinam sobre Finanças Quando os Usuários Deixam Coisas Não Ditas?

1. Declaração do Problema

As avaliações atuais de Modelos de Linguagem de Grande Escala (LLM) financeiros sofrem de uma falha crítica: operam sob uma hipótese de mundo fechado, presumindo que cada pergunta é totalmente especificada e admite uma única resposta correta. Na prática financeira do mundo real, no entanto, os problemas são frequentemente subespecificados. Premissas-chave (por exemplo, padrões regulatórios, horizontes temporais, regras contábeis ou pressupostos macroeconômicos) são frequentemente implícitas ou ausentes.

Ao se deparar com perguntas "com condições ausentes", os LLMs atuais tendem a:

1. Comprometer-se Excessivamente: Geram respostas com confiança preenchendo silenciosamente lacunas ausentes com padrões aprendidos ou vieses dos dados de treinamento.
2. Falhar em Abster-se: Carecem da consciência epistêmica para reconhecer que uma pergunta é logicamente subdeterminada e que nenhuma resposta válida pode ser derivada das informações fornecidas.
3. Malinterpretar Ambiguidade: Essa falha é particularmente pronunciada em chinês, onde terminologia dependente de contexto pode mascarar condições ausentes, levando os modelos a alucinar conclusões plausíveis, mas injustificadas.

O artigo argumenta que uma IA financeira confiável não deve apenas responder corretamente quando as informações são suficientes, mas também identificar condições ausentes e abster-se quando uma pergunta não pode ser respondida.

2. Metodologia

A. O Benchmark REALFIN

Os autores introduzem o REALFIN, um benchmark bilíngue (inglês/chinês) projetado para avaliar o raciocínio financeiro sob informações incompletas.

• Construção do Conjunto de Dados: A partir de 1.178 questões profissionais e bem formuladas no estilo de exames (estilo CFA para inglês, estilo CPA para chinês), os autores criaram manualmente versões emparelhadas "com condições ausentes".
• Remoção de Condições: Eles removeram sistematicamente premissas logicamente necessárias, garantindo que o texto restante permanecesse linguisticamente plausível. As condições removidas caíram em quatro categorias:
  1. Premissas Iniciais: (por exemplo, regimes de taxas de juros, expectativas de inflação).
  2. Condições de Ligação Intermediárias: (por exemplo, modelos específicos de avaliação como CAPM/DCF, lógica de hedge).
  3. Informações Definidoras de Restrições: (por exemplo, covenants financeiros, atributos de senioridade).
  4. Indícios de Seleção de Padrão: (por exemplo, IFRS vs. GAAP, estruturas regulatórias).
• Formulações de Tarefa: O benchmark avalia os modelos sob três configurações distintas:
  1. Original (Condição Completa): QA padrão com informações completas.
  2. Revisada (Condição Ausente): Perguntas com premissas removidas; os modelos devem esclarecer ou reconhecer a impossibilidade de uma resposta única.
  3. Nenhuma das Acima (NOTA): A opção de resposta correta no conjunto Revisado é substituída por "Nenhuma das Acima". Isso força os modelos a identificar explicitamente informações ausentes em vez de adivinhar a opção "mais provável".

B. Configuração Experimental

• Modelos Avaliados: 15 LLMs foram testados, categorizados em:
  • Propósito Geral: (por exemplo, GPT-5.1-mini, Claude-3.5-Sonnet, DeepSeek-V3).
  • Especializados em Finanças: (por exemplo, XuanYuan3-70B, Fin-R1-7B, DISC-FinLLM).
  • Potencializados por Raciocínio: (por exemplo, DeepSeek-R1, série GPT-OSS, DianJin-R1).
• Protocolo de Avaliação: Configuração zero-shot com um formato de saída JSON estrito exigindo reason (razão), answer (resposta) e confidence (confiança).
• Métricas: Precisão nos conjuntos Original vs. Revisado, e uma nova métrica de Precisão de Raciocínio (verificando se a explicação do modelo identifica corretamente a premissa ausente) vs. Precisão da Resposta (selecionar NOTA).

3. Principais Contribuições

1. Benchmark RealFin: O primeiro conjunto de dados a avaliar sistematicamente o raciocínio financeiro em problemas subespecificados, preenchendo a lacuna entre benchmarks acadêmicos e ambiguidade do mundo real.
2. Avaliação Bilíngue: Um conjunto de dados abrangente cobrindo domínios financeiros em inglês (CFA) e chinês (CPA), revelando disparidades significativas entre línguas no comportamento dos modelos.
3. Novo Paradigma de Avaliação: Ir além da simples precisão da resposta para avaliar a cautela epistêmica — a capacidade de detectar informações ausentes e recusar-se a responder quando justificado.
4. Análise Abrangente de Modelos: Uma comparação rigorosa de modelos gerais, especializados e potencializados por raciocínio, destacando que o ajuste fino específico de domínio não resolve automaticamente o problema do comprometimento excessivo.

4. Principais Resultados

A. Degradação de Desempenho e Comprometimento Excessivo

• Modelos Gerais: Surpreendentemente, modelos de propósito geral (por exemplo, GPT-5.1-mini, Claude-3.5) frequentemente superaram modelos especializados em finanças em tarefas Revisadas. No entanto, esse "sucesso" deveu-se largely ao alinhamento de premissas implícitas — eles adivinharam a condição ausente corretamente por acaso ou ao confiar em padrões dos dados de treinamento, em vez de reconhecer a informação ausente.
• Modelos Especializados em Finanças: Modelos financeiros iniciais (por exemplo, DISC-FinLLM, FinGPT) performaram mal, frequentemente falhando em reconhecer condições ausentes e recuperando agressivamente conhecimento de domínio para forçar uma resposta, levando a uma precisão próxima de zero em configurações NOTA.
• Modelos Potencializados por Raciocínio: Modelos como Fin-R1-7B mostraram desempenho superior. Eles foram melhores em identificar premissas ausentes e abster-se (selecionar NOTA) quando apropriado. No entanto, às vezes sofreram de "raciocínio excessivo", gerando longos cenários hipotéticos mesmo após identificar a condição ausente.

B. A "Zona Morta" no CPA Chinês

• Uma descoberta crítica é o modo de falha específico do chinês. Em tarefas CPA chinesas, os modelos (mesmo os grandes) exibiram uma "zona morta" onde falharam em responder a perguntas com condições ausentes, frequentemente pontuando perto de 0% em cálculos complexos.
• Causa: A terminologia financeira chinesa é altamente dependente de contexto. Quando uma condição é removida, o texto restante frequentemente ainda forma uma frase coerente que engana o modelo a fazer inferências agressivas e injustificadas.

C. A Lacuna entre Resposta e Raciocínio

• Precisão da Resposta vs. Precisão do Raciocínio: Em configurações NOTA, muitos modelos selecionaram a opção correta "Nenhuma das Acima", mas falharam em explicar por quê (baixa precisão de raciocínio).
  • Exemplo: O GPT-OSS-120B alcançou ~89% de Precisão da Resposta em NOTA em inglês, mas apenas ~20% de Precisão de Raciocínio. Selecionou NOTA como uma opção "segura" sem entender a lacuna lógica.
• Descompasso de Confiança: Os modelos frequentemente exibiram alta confiança (por exemplo, >90%) mesmo quando seu raciocínio era falho ou quando estavam adivinhando.

D. A Escala Não Resolve o Problema

• Aumentar o tamanho do modelo (por exemplo, de 20B para 120B parâmetros) melhorou a precisão da resposta, mas piorou a lacuna de raciocínio. Modelos maiores tornaram-se mais confiantes em suas premissas injustificadas, levando a um maior comprometimento excessivo.

5. Significado e Implicações

• Redefinindo Confiabilidade: O artigo argumenta que um LLM financeiro confiável deve satisfazer três critérios: (1) Responder corretamente quando as informações são suficientes, (2) Identificar condições ausentes quando elas estão ausentes, e (3) Abster-se quando nenhuma resposta válida existe.
• Risco de Automação: Benchmarks atuais que medem apenas a precisão da resposta em perguntas bem formuladas superestimam perigosamente a confiabilidade dos LLMs na tomada de decisões financeiras de alto risco.
• Direções Futuras: Os autores propõem um pipeline de treinamento combinando SFT Especializado (para conhecimento profissional) e RL Orientado a Lógica (para penalizar adivinhação e recompensar a identificação explícita de informações ausentes). Eles também sugerem migrar da rejeição passiva para esclarecimento ativo, onde os modelos pedem aos usuários dados ausentes.

Conclusão: O RealFin demonstra que os LLMs atuais, independentemente do tamanho ou especialização de domínio, lutam para distinguir entre problemas financeiros "solúveis" e "insolúveis". A verdadeira confiabilidade em finanças exige modelos que possuam a humildade de dizer "não sei" quando a informação necessária está ausente, em vez de alucinar com confiança uma solução.