💬 NLP

CLAIR-Fin: An Adversarial Multi-Agent Framework for Claim-Level Verification and Adaptive Debate in Cross-Modal Financial QA

O artigo apresenta o CLAIR-Fin, uma estrutura adversária de nove agentes que aprimora a resposta a perguntas financeiras multimodais ao decompor consultas em alegações atômicas para uma verificação rigorosa e sensível ao tipo e debate adaptativo, melhorando significamente a fidelidade e reduzindo alucinações em comparação com as linhas de base existentes.

Autores originais: Fatema Tuj Johora Faria, Mukaffi Bin Moin, Jubayer Al Mahmud, M. F. Mridha, Md. Alam Hossain

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fatema Tuj Johora Faria, Mukaffi Bin Moin, Jubayer Al Mahmud, M. F. Mridha, Md. Alam Hossain

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas suas pistas estão espalhadas por três tipos de cadernos muito diferentes: um diário manuscrito cheio de histórias, uma planilha repleta de números e um caderno de desenhos cheio de gráficos coloridos. No mundo da inteligência artificial, é isso que acontece quando um computador tenta responder perguntas sobre relatórios financeiros complexos. Esses relatórios são enormes, muitas vezes com centenas de páginas, misturando textos, tabelas e gráficos. O problema é que os modelos de IA, que são como estudantes superinteligentes, mas às vezes sonhadores, costumam se confundir quando precisam ler todos esses formatos diferentes ao mesmo tempo. Eles podem confundir um número de uma tabela com uma história do texto, ou podem "alucinar" — inventando fatos que parecem reais, mas que não estão de fato no documento. Isso é um grande problema porque, nas finanças, um número errado ou uma história inventada pode levar a decisões ruins. Cientistas têm tentado construir maneiras melhores para os computadores verificarem seu próprio trabalho, mas a maioria dos métodos ou confia em todas as pistas igualmente (mesmo quando um desenho é uma pista ruim para um número específico) ou espera até o final para verificar se a história faz sentido, momento em que já é tarde demais para corrigir os erros.

Apresentamos o CLAIR-Fin, um novo e inteligente sistema projetado para agir como uma equipe super organizada de nove detetives trabalhando juntos para verificar os fatos de um relatório financeiro. Em vez de deixar uma única IA tentar engolir o documento inteiro de uma vez, o CLAIR-Fin decompõe cada pergunta em "alegações" atômicas e minúsculas — como peças individuais de um quebra-cabeça. Por exemplo, se a pergunta for "Quanto dinheiro o banco ganhou no ano passado?", o sistema não apenas adivinha; ele divide isso em alegações menores, como "O ano era 2025" e "O lucro foi de US$ 139 milhões". Em seguida, ele envia essas pequenas alegações para agentes especializados. Alguns agentes são especialistas em ler textos, outros em processar números de tabelas e outros em interpretar gráficos.

É aqui que a mágica acontece: o CLAIR-Fin sabe que nem todas as pistas são iguais. Ele usa uma regra chamada "Autoridade de Evidência Assimétrica". Pense nisso como um juiz em um tribunal que sabe que, se você precisa de um número exato, uma célula de planilha é o padrão ouro, mas se você precisa saber por que algo aconteceu, uma história escrita é a melhor evidência. O sistema confia na planilha para números e na história para razões, em vez de tratar todos como se fossem a mesma coisa. Se a evidência for duvidosa ou estiver faltando, o sistema não força um palpite; ele simplesmente admite que não sabe e se recusa a responder, o que é uma grande melhoria em relação à IA que apenas inventa coisas.

Se uma alegação for difícil ou se a evidência for conflitante, o sistema a joga em um "Ciclo de Refutação Adaptativo". Isso é como um clube de debate onde dois advogados de IA — um defendendo a alegação e outro tentando encontrar falhas nela — vão debatendo entre si. Mas a parte inteligente é esta: eles só debatem enquanto for necessário. Se a alegação for fácil, eles pulam o debate. Se for difícil, eles debatem mais. Isso economiza tempo e energia. Antes que a resposta final seja escrita, há uma verificação de "Cadeia de Custódia", que é como um segurança garantindo que a evidência não foi trocada ou adulterada durante a transferência entre os pesquisadores e os debatedores. Finalmente, um "Juiz-Auditor" dá o veredito final e calcula um "Índice de Risco de Alucinação", que é como uma previsão do tempo para saber se a resposta será uma verdade ensolarada ou uma mentira tempestuosa.

Os pesquisadores testaram este novo sistema em um conjunto de 500 perguntas baseadas em relatórios financeiros reais do Banco de Bangladesh. Eles descobriram que o CLAIR-Fin foi muito melhor em dizer a verdade do que os métodos antigos. Enquanto um sistema de IA padrão acertava os fatos cerca de 78% das vezes, o CLAIR-Fin elevou isso para quase 89%. Mais impressionante ainda, quando a evidência não era boa o suficiente para responder a uma pergunta, o sistema optou por permanecer em silêncio 5,4% das vezes em vez de forçar uma resposta errada. Isso sugere que, ao decompor as perguntas, confiar na evidência certa para o trabalho certo e deixar os agentes de IA debaterem apenas quando necessário, podemos construir uma IA que é muito mais confiável e honesta ao lidar com dados financeiros complexos.

Resumo Técnico: CLAIR-Fin

Definição do Problema

As instituições financeiras dependem cada vez mais de Modelos de Linguagem de Grande Escala (LLMs) para responder a perguntas sobre documentos multimodais longos (ex: relatórios anuais de bancos centrais) que contêm prosa, tabelas e gráficos. Os sistemas atuais enfrentam três lacunas críticas para garantir a fidelidade:

Confiança Uniforme na Evidência: Os frameworks de geração aumentada por recuperação (RAG) e de múltiplos agentes existentes tratam todas as modalidades como igualmente confiáveis, falhando em adjudicar conflitos quando um valor de um gráfico diverge de uma célula de tabela ou de um texto.
Verificação Tardia: A verificação ocorre frequentemente apenas após a geração de um rascunho ou na saída do pipeline, permitindo que erros entre agentes e alucinações se propaguem para o texto final.
Debate Estático: Frameworks de debate adversarial tipicamente aplicam um número fixo de rodadas a relatórios inteiros ou teses holísticas, independentemente da dificuldade ou contestabilidade específica de reivindicações individuais.

Essas limitações levam a alucinações, particularmente em tarefas cross-modais onde valores numéricos precisos ou atribuições causais são lidos incorretamente ou confundidos.

Metodologia: O Framework CLAIR-Fin

CLAIR-Fin (Claim-Ledger Adversarial Inference and Retrieval for Financial document understanding) é um framework de nove agentes projetado para decompor perguntas em reivindicações atômicas, verificá-las individualmente e sintetizar uma resposta com abstenção seletiva. O processo é estruturado em oito fases:

1. Ingestão de Documentos (Fase I)

Os PDFs de origem são processados offline em um corpus indexado. O sistema emprega uma estratégia de extração híbrida:

Extração Nativa: Usada para páginas com camadas de texto limpas e sem gráficos.
Extração por Modelo de Visão: Usada para páginas que contêm gráficos ou imagens, com a força do modelo escalonada com base na complexidade visual.
Verificação de Tabelas: As tabelas passam por até três passagens de extração independentes; uma alta confiança é atribuída apenas se o acordo entre pares exceder 0,8.
Fragmentação (Chunking): O conteúdo é dividido em fragmentos sensíveis a sentenças (aprox. 1.000 caracteres) com marcação específica de fonte, página e modalidade.

2. Decomposição de Reivindicações (Fase II)

Um Orquestrador-Planejador decompõe uma consulta do usuário em um Livro de Registro de Reivindicações Financeiras (FCL) contendo de 1 a 8 asserções atômicas e tipadas ( $C = \{c_1, \dots, c_n\}$ ). Cada reivindicação recebe um tipo:

FACT_NUMERIC (Fato Numérico)
FACT_TREND (Fato de Tendência)
CAUSE_ATTRIBUTION (Atribuição de Causa)
RATIO_IDENTITY (Identidade de Razão/Proporção)

3. Recuperação de Evidência Multimodal (Fase III)

Três agentes especializados recuperam evidências em paralelo para cada reivindicação:

Agente Narrativo: Recupera passagens de texto.
Agente Tabular: Recupera células de tabelas, utilizando uma calculadora para métricas derivadas.
Agente Visual: Recupera achados de gráficos, gerando aproximações cautelosas (hedged approximations).
As evidências são pontuadas usando um híbrido de similaridade de vetor denso e sobreposição lexical.

4. Fusão de Evidência e Escalada de Autoridade Ponderada (Fase IV)

O Guardião do Livro de Registro (Ledger Guardian) funde as evidências em um multigrafo tipado. Ele aplica a Autoridade de Evidência Assimétrica (AEA), um esquema de ponderação onde a confiança em uma modalidade depende do tipo de reivindicação (ex: tabelas são fortemente ponderadas para fatos numéricos, enquanto o texto é priorizado para atribuição causal).

Cálculo de Cobertura: A pontuação de cobertura de uma reivindicação $A(c_i)$ é a soma dos pesos das modalidades disponíveis.
Escalada: Se $A(c_i) < 0,75$ , a reivindicação é escalada para o debate adversarial. Caso contrário, segue diretamente para a auditoria terminal.

5. Verificação Adversarial e Réplica Adaptativa (Fase V)

As reivindicações escaladas entram em um Ciclo de Réplica Adaptativa (ARC) envolvendo um Advogado Afirmativo e um Advogado Adversarial.

O Advogado Adversarial ataca o rascunho em seis dimensões (erros numéricos, escopo, inconsistências temporais, excessos de causalidade, lacunas de citação, excesso de precisão visual).
Adaptatividade: A profundidade do debate não é fixa. Ela se expande apenas se ataques de alta severidade forem encontrados, até um máximo de duas rodadas ( $\rho_{max}=2$ ).

6. Verificação de Cadeia de Custódia (Fase VI)

Antes da auditoria final, uma etapa de Verificação de Cadeia de Custódia (CoCV) checa se o rascunho do Advogado Afirmativo permanece fundamentado na evidência original. Se o rascunho derivar (falhar na implicação), uma única reparação limitada é tentada; se falhar novamente, a reivindicação é marcada como tendo quebrado a custódia.

7. Auditoria Terminal Ponderada por Autoridade (Fase VII)

Um Juiz-Auditor realiza uma verificação final de implicação (entailment).

Vereditos: As reivindicações são classificadas como EvidênciaInsuficiente, Suportada ou FortementeSuportada.
Índice de Risco de Alucinação (HRI): Um score de risco contínuo é calculado com base na confiança da implicação, força do suporte, tentativas de reparação e ataques de alta severidade. Isso distingue reivindicações que sobreviveram ao escrutínio daquelas que nunca foram contestadas.

8. Síntese de Resposta e Abstenção Seletiva (Fase VIII)

O Sintetizador de Sumário compõe a resposta final. Ele inclui citações para as reivindicações suportadas e abstém-se explicitamente de reivindicações que carecem de evidência suficiente. O sistema se abstém da resposta inteira apenas se nenhuma reivindicação passar pela verificação; caso contrário, fornece uma resposta parcial e citada.

Principais Contribuições

Decomposição ao Nível de Reivindicação: Move a verificação do nível do relatório para o nível da reivindicação atômica, permitindo auditoria granular e abstenção seletiva.
Autoridade de Evidência Assimétrica (AEA): Um mecanismo que condiciona a confiança na evidência ao tipo de reivindicação, em vez de tratar as modalidades uniformemente, resolvendo conflitos cross-modais via priors auditáveis.
Verificação de Cadeia de Custódia (CoCV): Uma checagem de transferência entre a redação e a revisão adversarial para evitar o desvio de atribuição antes da auditoria final.
Ciclo de Réplica Adaptativa (ARC): Um mecanismo de debate que escala a profundidade com base na dificuldade da reivindicação, em vez de usar um orçamento fixo.
Estimativa de Risco Contínua: A introdução do Índice de Risco de Alucinação (HRI) junto a vereditos binários de passar/falhar para fornecer um sinal de confiabilidade mais informativo.

Resultados Experimentais

O framework foi avaliado no BB-FinQA-X, um dataset cross-modal de 500 perguntas derivado do Relatório Anual do Banco de Bangladesh, estratificado por tipo de consulta, formato e dificuldade.

Fidelidade: O CLAIR-Fin alcançou uma pontuação de fidelidade de 0,889, superando significativamente a linha de base de RAG de passagem única (0,780) e estratégias de recuperação mais fortes como HyDE (0,874) e Graph-RAG (0,832).
Corretude Exata: O sistema alcançou uma taxa de corretude exata de 0,592.
Abstenção: O sistema se absteve em 5,4% das questões quando a evidência era insuficiente, evitando respostas não suportadas.
Estudos de Ablação:
- Remover o Ciclo de Réplica Adaptativa (ARC) causou a maior queda de desempenho (Fidelidade: 0,889 $\to$ 0,770), indicando que é o mecanismo mais crítico.
- Remover a Auditoria Terminal reduziu a fidelidade para 0,845.
- Remover o AEA teve o menor impacto (0,889 $\to$ 0,883), mas ainda mostrou degradação consistente, confirmando o valor da ponderação consciente da modalidade.
Sensibilidade de Formato: O desempenho variou conforme o formato da evidência, com "Texto + Tabela" alcançando a maior fidelidade (0,915) e "Apenas Gráfico" a menor (0,850), destacando desafios remanescentes na interpretação visual.

Significância e Alegações

O artigo afirma que o CLAIR-Fin aborda a lacuna específica de reconciliar evidências cross-modais conflitantes em documentos financeiros longos. Ao decompor perguntas em reivindicações tipadas e aplicar pesos de autoridade específicos por modalidade, o framework garante que a confiança na evidência não seja uniforme, mas sim consciente do contexto.

Os autores enfatizam que sua abordagem é modesta quanto à generalização:

O framework é projetado especificamente para relatórios estatísticos financeiros (documentos de bancos centrais) e depende de priors fixos e especificados manualmente (ex: pesos de AEA) em vez de parâmetros aprendidos.
A avaliação é limitada a uma única instituição (Banco de Bangladesh), uma única língua (Inglês) e uma única família de documentos.
O sistema é posicionado como um auxílio de suporte à decisão para usuários com conhecimento de domínio, não um substituto para o julgamento especializado. A inclusão de abstenção seletiva e pontuação de risco contínuo visa tornar o QA financeiro automatizado mais transparente e auditável do que sistemas que forçam uma resposta independentemente da qualidade da evidência.

O artigo conclui que, embora os pesos e limiares específicos sejam escolhas de design para este cenário, os princípios arquiteturais — decomposição ao nível de reivindicação, autoridade condicionada à modalidade, verificação de transferência e pontuação de risco contínua — oferecem uma direção viável para adaptação futura em outros domínios de alto risco.