Resumo Técnico: FinGround

1. O Problema: Alucinações em Contextos Financeiros

Sistemas de IA voltados para o setor financeiro enfrentam um desafio crítico: a necessidade de precisão absoluta baseada em documentos regulatórios (como relatórios da SEC). Modelos de linguagem de grande escala (LLMs) atuais frequentemente cometem três tipos de erros graves:

• Fabricação de métricas: Inventam números que não existem.
• Invenção de citações: Criam referências regulatórias falsas.
• Erros de cálculo: Distorcem relações matemáticas e rácios financeiros.

O artigo destaca que detectores de alucinação genéricos falham em capturar cerca de 43% dos erros computacionais, pois tratam todas as afirmações de forma uniforme, sem realizar a re-verificação aritmética necessária contra tabelas estruturadas. Além disso, a proximidade da implementação do EU AI Act exige sistemas com alta interpretabilidade e garantias de precisão para aplicações de alto risco.

2. Metodologia: O Pipeline FINGROUND

Os autores propõem o FINGROUND, um pipeline de três estágios projetado para verificar e mitigar alucinações de forma granular:

Estágio 1: Recuperação Híbrida Sensível ao Domínio (Finance-Aware Retrieval)

O sistema classifica as consultas em três níveis de complexidade (Simples, Moderada, Complexa) usando um classificador RoBERTa. A recuperação combina:

• Texto: Busca BM25 e densa (E5-large).
• Tabelas: Uma função de similaridade que considera tanto o conteúdo da célula quanto o cabeçalho da coluna, preservando a relação linha-coluna para permitir citações precisas a nível de célula.

Estágio 2: Verificação Atômica de Alegações (Atomic Claim Verification)

Em vez de verificar a resposta inteira, o sistema a decompõe em alegações atômicas classificadas em uma taxonomia de seis tipos:

1. Numérica (valores específicos).
2. Temporal (períodos de tempo).
3. Entidade-Atributo (propriedades de empresas/pessoas).
4. Comparativa (comparações entre períodos ou entidades).
5. Regulatória (referências a normas).
6. Computacional (valores derivados que exigem cálculos).

Para alegações computacionais, o sistema utiliza a reconstrução de fórmulas: identifica a fórmula implícita, recupera os operandos das tabelas e recomputa o valor com uma tolerância de $\pm 0,5\%$.

Estágio 3: Regeneração Fundamentada (Grounded Regeneration)

As alegações identificadas como contraditórias ou não verificáveis são reescritas. O sistema realiza uma nova busca direcionada e anexa citações precisas no formato [Doc: d, Tabela t, Linha r, Coluna c], garantindo que a resposta final seja fiel à evidência.

3. Principais Contribuições

• Taxonomia de Verificação Financeira: Uma abordagem de decomposição de alegações que diferencia o tratamento de dados textuais de dados matemáticos/computacionais.
• Avaliação de Recuperação Equalizada (Retrieval-Equalized Evaluation): Uma nova metodologia de pesquisa que fornece a mesma recuperação para todos os modelos comparados, permitindo isolar o valor real da capacidade de verificação do modelo, sem o viés da qualidade da busca.
• Detector Destilado de Alta Eficiência: O uso de destilação de conhecimento (do GPT-4o para um modelo Llama-3 de 8B) que mantém 91,4% do F1 do modelo professor, mas com uma latência 18 vezes menor e custo drasticamente reduzido ($0,003 por consulta).

4. Resultados Principais

• Redução de Alucinações: O FINGROUND reduziu a taxa de alucinação em 78% em comparação ao GPT-4o com Chain-of-Thought (CoT).
• Desempenho de Detecção: O detector de 8B alcançou um F1 de 91,4%, superando significativamente todos os baselines (como SelfCheckGPT e HHEM).
• Superioridade Arquitetural: Mesmo quando os baselines receberam a mesma recuperação de alta qualidade do FINGROUND, o sistema ainda apresentou uma redução de 68% a 76% na taxa de alucinação, provando que sua vantagem reside na lógica de verificação atômica e não apenas na busca de dados.
• Eficiência de Produção: O sistema é economicamente viável, reduzindo o custo por consulta em 15,7x em relação ao GPT-4o.

5. Significância e Impacto

O trabalho é altamente relevante para o setor de FinTech e Compliance. Ao fornecer um método para transformar respostas de LLMs em afirmações verificáveis e citadas, o FINGROUND oferece um caminho técnico para o uso de IA generativa em ambientes regulados (como o exigido pelo EU AI Act). O sucesso do piloto com analistas financeiros reais validou a utilidade prática das citações ao nível de célula de tabela, que permitem a auditoria humana rápida e precisa.