Resumo Técnico: CRAFT – Um Framework de Raciocínio Contrafactual Unificado

1. Definição do Problema

O raciocínio sobre tabelas continua sendo um desafio significativo para Grandes Modelos de Linguagem (LLMs), particularmente quando as tarefas exigem inferência de múltiplos passos sobre dados tabulares estruturados e extensos. As abordagens existentes baseiam-se predominantemente em raciocínio unidirecional, onde os modelos geram uma hipótese e a verificam contra a tabela. Essa abordagem unidirecional limita a capacidade do modelo de explorar hipóteses alternativas, frequentemente levando a um raciocínio frágil que falha em detectar erros ou considerar cenários contrafatuais. Além disso, os métodos atuais frequentemente sofrem com lacunas de desempenho entre diferentes LLMs de base e lutam para unificar o Questionamento de Tabelas (QA) e a Verificação de Fatos de Tabelas (FV) sob um único paradigma.

2. Metodologia: O Framework CRAFT

Os autores propõem o CRAFT (Counterfactual Reasoning Framework), um processo de verificação bidirecional unificado que reformula o raciocínio de tabelas em um framework geral aplicável tanto a QA quanto a FV. O framework opera através de quatro módulos cooperativos:

2.1 Rewriter (Reescritor)

O Rewriter transforma tarefas de QA de tabelas abertas em declarações declarativas informativas e verificáveis.

• Mecanismo: Ele infere o tipo de resposta esperado (ex: número, tempo, booleano) a partir da semântica da pergunta sem acessar a verdade fundamental (ground truth). Em seguida, amostra um valor candidato consistente com o tipo a partir da tabela para instanciar uma declaração declarativa ($S$).
• Objetivo: Isso preenche a lacuna entre QA e FV, permitindo que ambas as tarefas sejam processadas como problemas de verificação baseados em declarações.

2.2 Reverser (Reversor)

O Reverser constrói uma declaração contrafatual ideal ($R^*$) baseada na declaração declarativa $S$.

• Mecanismo: Em vez de uma simples negação binária, o Reverser explora múltiplas direções contrafatuais. Ele gera contrafatuais candidatos usando templates baseados em regras e seleciona o ideal ($R^*$) avaliando qual candidato induz a maior expansão estrutural no espaço de raciocínio (representada pela complexidade de um programa de verificação estilo SQL gerado).
• Objetivo: Criar um caminho de raciocínio complementar que desafie a premissa inicial e explore cenários alternativos.

2.3 Extractor (Extrator)

O Extractor realiza o raciocínio passo a passo fundamentado na tabela tanto para a declaração original ($S$) quanto para a declaração contrafatual ($R^*$).

• Mecanismo: Ele gera dois rastros de raciocínio: $Trace(S)$e$Trace(R^*)$. A partir desses rastros, ele extrai itens de evidência ($e$) e avalia sua consistência lógica com a tabela e o contexto da pergunta. Evidências válidas são acumuladas para formar conjuntos de evidência $E(S)$ e $E(R^*)$.
• Objetivo: Destilar evidências de suporte essenciais e gerar respostas candidatas ($A_1$ e $A_2$) sob suposições fáticas e contrafatuais.

2.4 Rethinker (Repensador)

O Rethinker agrega as evidências e as respostas candidatas para tomar uma decisão final.

• Mecanismo: Se $A_1$ e $A_2$ coincidirem, a resposta é retornada. Se divergirem, o módulo calcula pontuações de autoconsistência para cada par (resposta, evidência). Ele emprega uma regra de decisão ponderada e, em casos ambíguos, reavalia os candidatos sob evidências opostas para testar a consistência do raciocínio.
• Objetivo: Sintetizar uma decisão final verificada, pesando a força da evidência de ambos os caminhos de raciocínio.

3. Principais Contribuições

1. Framework Unificado: O CRAFT é o primeiro framework a unificar o QA de Tabelas e a Verificação de Fatos de Tabelas sob um paradigma compartilhado de raciocínio contrafatual, eliminando a necessidade de engenharia de pipeline específica para cada tarefa.
2. Raciocínio Bidirecional: Ao construir e raciocinar explicitamente sobre declarações declarativas e contrafatuais, o framework supera as limitações da inferência unidirecional, guiando os LLMs para um raciocínio mais heurístico e criterioso.
3. Robustez entre Modelos: O framework mitiga significativamente as lacunas de desempenho entre diferentes LLMs de base, demonstrando que o raciocínio contrafatual atua como uma heurística geral e não como uma otimização específica do modelo.

4. Resultados Experimentais

Os autores avaliaram o CRAFT em dois datasets padrão: WikiTQ (Table QA) e TabFact (Fact Verification), utilizando diversos LLMs de base (Deepseek-R1-14B, Qwen2.5-72B, Llama3.3-70B e GPT-5-mini).

• Ganhos de Desempenho: O CRAFT superou consistentemente os baselines representativos (incluindo Chain-of-Table, Table-Critic e Binder).
  • No WikiTQ, alcançou uma precisão média de 82,4%, superando o baseline mais forte em 4,7 pontos.
  • No TabFact, alcançou 94,6%, excedendo o baseline mais forte em 1,1 pontos.
• Agnosticismo de Modelo: Notavelmente, o framework inverteu a hierarquia de desempenho entre os modelos; por exemplo, o Llama3.3-70B superou o Qwen2.5-72B ao usar o CRAFT, enquanto o Qwen tipicamente superava o Llama em configurações padrão.
• Estudos de Ablação:
  • Tanto o módulo Rewriter quanto o Reverser contribuíram positivamente, com a combinação gerando os melhores resultados.
  • As melhorias não se devem meramente à amostragem repetida; o CRAFT superou os métodos de Autoconsistência e de votação Ponderada por Confiança, indicando que a direção do raciocínio (explorar diversas regiões semânticas) é mais crítica do que a quantidade de amostras.
  • O framework mostrou robustez superior em diferentes tamanhos de tabela, particularmente em tabelas grandes, onde o raciocínio unidirecional frequentemente degrada.

5. Significância e Alegações

O artigo afirma que o CRAFT estabelece um paradigma mais principiológico para tarefas de raciocínio estruturado. Ao integrar explicitamente a análise contrafatual, o framework ajuda os LLMs a se afastarem de padrões de inferência fixos em direção a um raciocínio mais robusto e baseado em evidências.

Os autores enfatizam que o raciocínio contrafatual aborda efetivamente a fragilidade da inferência unidirecional. Embora o framework mostre grande promessa, os autores reconhecem modestamente algumas limitações:

• Os experimentos foram limitados a modelos maiores (14B+ parâmetros) devido aos requisitos de contexto longo dos dados tabulares.
• A implementação atual é voltada para o raciocínio de tabelas; generalizar para outros domínios (como QA baseado em texto) permanece desafiador devido à dificuldade de garantir a consistência semântica.
• O módulo Rethinker, embora eficaz, ainda não realizou totalmente o potencial do raciocínio contrafatual e requer mais refinamento.

Em conclusão, o CRAFT demonstra que guiar os LLMs para explorar hipóteses alternativas através do raciocínio contrafatual é uma estratégia viável e eficaz para aumentar a compreensão de dados estruturados.