A Multi-Agent Approach for Claim Verification from Tabular Data Documents

Título: Uma Abordagem Multi-Agente para Verificação de Afirmações a partir de Documentos com Dados Tabulares

1. O Problema

A verificação de afirmações (claim verification) a partir de documentos contendo dados tabulares é uma tarefa crítica no Processamento de Linguagem Natural (PLN), essencial para combater a desinformação em áreas como relatórios financeiros, artigos científicos e divulgações corporativas de sustentabilidade.

Os desafios principais identificados pelos autores incluem:

• Estruturas Diversas: Tabelas com hierarquias complexas, células mescladas e cabeçalhos aninhados.
• Raciocínio Sofisticado: A necessidade de integrar evidências tabulares e textuais, realizar extração de dados, cálculos matemáticos e inferências lógicas.
• Limitações das Abordagens Atuais:
  • Métodos baseados em fine-tuning (ajuste fino) ou pré-treinamento exigem recursos computacionais massivos e têm dificuldade de generalização entre diferentes formatos de tabelas.
  • Abordagens de decomposição de tarefas unidirecionais (pipeline) são propensas à propagação de erros.
  • Modelos grandes (LLMs) muitas vezes carecem de explicações interpretáveis sobre como chegaram a uma conclusão.

2. Metodologia: O Framework MACE

Os autores propõem o MACE (Multi-Agentic framework for Claim vErification), uma abordagem baseada em prompts (instruções) que evita o ajuste fino complexo. O sistema é construído sobre a biblioteca AutoGen e opera como um sistema de chat restrito com três agentes especializados que colaboram em uma sequência definida, mas com mecanismos de feedback.

Os três agentes principais são:

1. Planner (Planejador):

   • Recebe a afirmação e as evidências (tabelas/parágrafos).
   • Analisa palavras de negação, resolve descritores ambíguos e identifica componentes da afirmação.
   • Gera um plano de ação explícito e passo a passo para a extração de dados, cálculos e comparações.
   • Inovação: O plano é estruturado para ser executável sem ambiguidade.

2. Executor (Executor):

   • Implementa o plano gerado pelo Planner.
   • Realiza a extração de células específicas, cálculos matemáticos (somas, porcentagens) e verificações numéricas/direcionais.
   • Produz um rastro de execução (trace) detalhado e um veredito provisório ("suportar", "refutar" ou "informação insuficiente").
   • Se o plano for ambíguo, solicita revisão em vez de tentar adivinhar.

3. Verifier (Verificador):

   • Atua como um mecanismo de controle de qualidade.
   • Audita a explicação e o veredito do Executor para garantir consistência lógica e precisão.
   • Se detectar inconsistências ou erros, solicita correções ao Executor (loop de feedback), prevenindo a propagação de erros.

Mecanismo de Feedback: Diferente de pipelines unidirecionais, o MACE permite que o Executor peça revisões ao Planner e que o Verificador peça correções ao Executor. Isso mitiga erros e melhora a robustez.

3. Contribuições Chave

• Arquitetura Multi-Agente sem Fine-tuning: Demonstra que a colaboração entre agentes usando apenas Chain-of-Thought (Cadeia de Pensamento) em modo zero-shot pode superar métodos que exigem pré-treinamento massivo.
• Interpretabilidade Total: O framework gera "rastros de verificação" legíveis, detalhando quais linhas, colunas e células foram selecionadas e quais operações matemáticas foram realizadas.
• Eficiência de Recursos: Permite que modelos menores (27B–92B parâmetros) alcancem desempenho comparável a modelos massivos (235B+ parâmetros) através da coordenação inteligente, reduzindo drasticamente o uso de memória.
• Adaptabilidade de Domínio: Funciona tanto em cenários de domínio fechado (afirmação + tabela específica) quanto de domínio aberto (afirmação + corpus de documentos, com recuperação de evidências).

4. Resultados Experimentais

O MACE foi avaliado em quatro conjuntos de dados (SciTab, SemTab, FinDVer e SciTab-OD):

• Desempenho de Estado da Arte (SOTA):
  • Alcançou o melhor desempenho em dois conjuntos de dados de domínio fechado (SciTab e SemTab).
  • Empata com os melhores modelos em dois conjuntos de dados de domínio aberto.
• Eficiência de Modelos Menores:
  • Configurações menores (ex: Mistral-7B ou Llama-8B com MACE) alcançaram 80–96% do desempenho do modelo gigante Qwen-235B.
  • Isso foi feito consumindo apenas 11,5% a 39,1% da memória necessária para o modelo grande.
  • Exemplo: O Llama-8B com MACE atingiu 0,86 de Micro F1 no SemTab, superando o SOTA anterior (King001) e igualando modelos muito maiores.
• Análise de Trade-off:
  • Tempo de Execução: A coordenação multi-agente introduz uma sobrecarga de tempo (runtime), sendo 2,2x a 27,5x mais lenta que a inferência de um único modelo. No entanto, os autores argumentam que essa troca é justificável para cenários que priorizam a precisão e a explicabilidade sobre a latência.
  • Seleção do Verificador: Para modelos pequenos, um verificador externo (GPT-20B) ajuda. Para modelos grandes, manter a consistência dentro da mesma família de modelos (verificador do mesmo modelo base) tende a ser mais eficaz, pois o verificador externo pode introduzir erros de interpretação de domínio.

5. Significado e Conclusão

O trabalho MACE representa um avanço significativo na verificação de fatos baseada em tabelas ao demonstrar que a colaboração estruturada entre agentes pode compensar limitações de capacidade individual de modelos de linguagem.

• Democratização: Ao permitir que modelos menores e mais acessíveis (em termos de memória e custo) realizem tarefas complexas de raciocínio com desempenho de ponta, o MACE democratiza o acesso a ferramentas de verificação de fatos robustas.
• Transparência: A capacidade de fornecer explicações passo a passo é crucial para a confiança em aplicações críticas (finanças, saúde, ciência).
• Limitações Futuras: O artigo reconhece que a sobrecarga de tempo pode ser um obstáculo para aplicações sensíveis à latência e que tabelas extremamente grandes (excedendo a janela de contexto) ainda exigem estratégias de pré-processamento adicionais.

Em resumo, o MACE oferece um equilíbrio superior entre desempenho, eficiência de memória e transparência explicativa, estabelecendo um novo paradigma para a verificação de afirmações em dados tabulares sem depender exclusivamente de modelos gigantescos e custosos.