Analyzing LLM Instruction Optimization for Tabular Fact Verification

1. Problema

A verificação de fatos em linguagem natural contra dados estruturados (tabelas) é uma capacidade crucial para sistemas de NLP confiáveis em áreas como ciência e saúde pública. Embora existam muitos métodos para verificação de fatos em tabelas, os sistemas resultantes são frequentemente especializados em conjuntos de dados específicos ou falham em superar abordagens de prompting mais simples.

Um desafio central é que os Grandes Modelos de Linguagem (LLMs) são sensíveis à formulação de instruções (prompts). A otimização de instruções oferece uma abordagem leve e independente do modelo para melhorar o desempenho sem atualizações de gradiente. No entanto, falta uma compreensão sistemática de como a otimização de instruções afeta especificamente a verificação de fatos em tabelas, especialmente em relação a:

• Técnicas de prompting com computação intermediária diferente (predição direta, Cadeia de Pensamento, agentes ReAct com SQL, CodeAct com Python).
• Famílias de otimizadores.
• Escala e famílias de modelos.

2. Metodologia

O estudo apresenta a primeira comparação sistemática da otimização de instruções para verificação de fatos em tabelas utilizando o framework DSPy.

• Técnicas de Prompting Avaliadas:

  1. Predição Direta: O modelo responde diretamente.
  2. Chain-of-Thought (CoT): O modelo gera passos de raciocínio intermediários antes da resposta.
  3. ReAct: Um agente que intercala raciocínio com ações de ferramentas (uso de SQL para consultar a tabela).
  4. CodeAct: Um agente que gera e executa código Python livre para processar dados e realizar operações matemáticas.

• Otimizadores (DSPy):

  1. COPRO: Otimização de prompts cooperativa que explora candidatos em uma busca em feixe (beam search).
  2. MiPROv2: Otimização multi-estágio que refina instruções e demonstrações few-shot usando otimização bayesiana.
  3. SIMBA: Ascensão estocástica introspectiva em mini-lotes, que usa a capacidade de autorreflexão do modelo para identificar instâncias desafiadoras e aplicar regras heurísticas para melhorar as instruções.

• Configuração Experimental:

  • Modelos: Qwen3 (8B e 32B), Gemma3 (12B e 27B) e GPT-4o.
  • Benchmarks: Quatro conjuntos de dados (TabFact, PubHealthTab, SciTab e MMSci) cobrindo domínios gerais, saúde pública, ciência e multimodalidade.
  • Avaliação: Métricas de precisão e F1 macro, além de análises comportamentais (frequência de chamadas de ferramentas, taxonomia de erros).

3. Contribuições Chave

• Análise Comparativa Abrangente: O primeiro estudo a comparar sistematicamente a otimização de instruções em diferentes técnicas de prompting (incluindo agentes baseados em ferramentas) para verificação de fatos em tabelas.
• Descoberta de Padrões de Comportamento: Revela que a otimização não apenas melhora a precisão, mas altera fundamentalmente como os modelos raciocinam e usam ferramentas.
• Insights sobre Otimizadores Específicos:
  • MiPROv2: Mostra ganhos consistentes para raciocínio CoT, incentivando caminhos de raciocínio mais diretos.
  • SIMBA: Demonstra ser o mais eficaz para agentes ReAct e CodeAct, especialmente em modelos maiores, reduzindo chamadas de ferramentas desnecessárias e melhorando a comparação numérica através de heurísticas aprendidas.
• Análise de Comportamento de Ferramentas: Demonstra que a otimização pode reduzir a frequência de chamadas de ferramentas (evitando over-engineering em afirmações simples) enquanto aumenta a taxa de sucesso das execuções restantes.

4. Resultados Principais

• Impacto da Otimização: A otimização de instruções melhora consistentemente a precisão da verificação. Modelos maiores (ex: Qwen3-32B, GPT-4o) beneficiam-se mais da otimização do que modelos menores.
• Desempenho por Otimizador:
  • Para CoT, o MiPROv2 produziu os ganhos mais estáveis e consistentes.
  • Para ReAct e CodeAct, o SIMBA forneceu os maiores benefícios, particularmente em modelos maiores. O SIMBA ensina o agente a evitar chamadas de ferramentas desnecessárias quando os dados são claros.
• CoT vs. Agentes com Ferramentas:
  • O CoT permanece altamente eficaz, especialmente com modelos menores, muitas vezes superando ou igualando agentes complexos sem a necessidade de infraestrutura de ferramentas.
  • Agentes ReAct construídos com modelos maiores podem alcançar desempenho competitivo, mas exigem otimização cuidadosa de instruções para evitar erros de execução de ferramentas e raciocínio ilógico.
  • O CodeAct mostrou-se mais propenso a erros de sintaxe e interpretação de dados tabulares em comparação com o ReAct (que usa SQL), embora o SIMBA tenha ajudado a mitigar alguns desses problemas.
• Análise de Erros: A otimização (especialmente SIMBA) encoraja o modelo a focar em comparações numéricas diretas e a evitar assumir equivalências não suportadas pelos dados. Em ReAct, a otimização reduziu chamadas de ferramentas de 90% para ~35% (no modelo 32B) mantendo ou melhorando a precisão.

5. Significado e Conclusão

O trabalho demonstra que a otimização de instruções é uma ferramenta poderosa e de baixo custo computacional para melhorar o raciocínio em tabelas.

• Para Modelos Menores: O raciocínio CoT otimizado é frequentemente a melhor escolha, oferecendo um equilíbrio ideal entre desempenho e complexidade.
• Para Modelos Maiores: Agentes baseados em ferramentas (ReAct) podem superar o CoT, mas apenas quando as instruções são otimizadas para gerenciar corretamente a interação com as ferramentas (evitando chamadas desnecessárias e erros de execução).
• Generalização: As instruções otimizadas por SIMBA mostraram boa capacidade de generalização para dados não vistos (como no conjunto MMSci), sugerindo que as heurísticas aprendidas são robustas.

Em suma, o estudo conclui que, embora ferramentas externas prometam um "grounding" mais forte, o sucesso delas depende criticamente da qualidade das instruções otimizadas. A otimização de instruções permite que modelos de linguagem extraiam melhor o potencial tanto do raciocínio puramente linguístico quanto do raciocínio auxiliado por programas.