Resumo Técnico: Fundamentação do Raciocínio Multi-Hop em Modelos Causais Estruturais via Otimização de Política Relativa em Grupo

1. Declaração do Problema

A Verificação de Fatos Multi-Hop (MHFV) exige que modelos recuperem evidências discretas de múltiplas fontes e sintetizem cadeias de raciocínio coerentes para verificar alegações complexas. Embora Modelos de Linguagem de Grande Escala (LLMs) tenham sido integrados a este domínio, eles enfrentam limitações significativas:

• Fragilidade Lógica: Métodos existentes, incluindo Ajuste Fino Supervisionado (SFT) e abordagens de Cadeia de Pensamento (CoT), frequentemente aprendem correlações estatísticas em vez de mecanismos lógicos rigorosos. Isso leva a cadeias lógicas fragmentadas e "raciocínios alucinados".
• Falta de Modelagem Causal: Estruturas atuais (por exemplo, Redes Neurais em Grafos, programas simbólicos) melhoram a integração de evidências, mas falham em modelar explicitamente as dependências causais intrínsecas entre evidências e alegações, resultando em processos de verificação opacos.
• O Paradoxo da Complexidade: Os autores identificam empiricamente uma correlação em forma de "U invertido" entre o comprimento da cadeia de raciocínio e a precisão. Embora cadeias mais longas inicialmente melhorem o desempenho, complexidade estrutural excessiva introduz ruído e degrada a precisão, particularmente em cenários complexos (por exemplo, tarefas de 3-hop ou 4-hop).

2. Metodologia

O framework proposto, SCM-GRPO, aborda essas questões por meio de um pipeline de treinamento em duas etapas que combina Modelos Causais Estruturais (SCM) com Otimização de Política Relativa em Grupo (GRPO).

2.1. Framework de Modelo Causal Estrutural (SCM)

Os autores formalizam a MHFV como um processo de inferência causal construtivo, em vez de uma tarefa simples de previsão de rótulos. O processo de raciocínio é modelado como um Grafo Acíclico Direcionado (DAG) definido pela tupla $\mathcal{M} = (U, V, F)$:

• Variáveis Exógenas ($U$): Fatos objetivos recuperados de documentos de evidência (nós raiz).
• Variáveis Endógenas ($V$): Conclusões intermediárias e o veredito final derivados via dedução lógica.
• Funções Estruturais ($F$): Mapeamentos que definem explicitamente a dependência causal das variáveis endógenas em relação aos seus pais.

Uma restrição crítica é imposta: uma nova variável endógena só pode ser adicionada ao grafo se seu conjunto de pais necessários estiver totalmente presente. Isso garante a ordem topológica, eliminando saltos lógicos e pressupostos implícitos.

2.2. Construção de Dados via Destilação

Para treinar modelos neste paradigma estruturado, os autores empregam um pipeline de destilação:

1. Dados Semente: Utiliza benchmarks multi-hop de alta qualidade (HoVer, EX-FEVER).
2. Destilação do Professor: Um LLM "Professor" poderoso (por exemplo, Qwen3-30B-A3B) é instruído a gerar explicitamente componentes do SCM ($U, V, F$) em vez de apenas um rótulo final.
3. Validação: Cadeias geradas são filtradas por consistência com rótulos de verdade fundamental e montadas em formatos de tomada de decisão sequencial ($C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$).

2.3. Ajuste Fino Supervisionado (SFT)

O modelo base é primeiro alinhado com o paradigma de raciocínio SCM usando o conjunto de dados estruturado construído ($D_{struct}$). O objetivo é maximizar a probabilidade de gerar a sequência estruturada correta (Evidência $\to$ Derivação $\to$ Conclusão), estabelecendo uma fundação para verificação rastreável.

2.4. Otimização via Otimização de Política Relativa em Grupo (GRPO)

Para abordar o trade-off entre profundidade estrutural e concisão (o problema do "U invertido"), os autores introduzem uma estratégia de Aprendizado por Reforço (RL) baseada em regras usando GRPO.

• Amostragem em Grupo: Para um determinado prompt, a política gera um grupo de $K$ sequências de raciocínio.
• Função de Recompensa Composta ($R$): A qualidade de uma sequência é avaliada por três componentes:
  1. Corretude ($R_c$): Recompensa binária baseada na precisão da resposta.
  2. Estrutura ($R_s$): Incentiva a parcimônia (Navalha de Occam) recompensando uma razão maior de variáveis de evidência ($U$) para etapas de inferência ($V$), penalizando "ginástica mental" excessiva.
  3. Comprimento ($R_l$): Guia o comprimento da cadeia para um intervalo ótimo $[l_{min}, l_{max}]$ para evitar a degradação associada a cadeias excessivamente longas.
• Vantagem Relativa: O GRPO atualiza a política com base no desempenho relativo das amostras dentro do grupo, reduzindo a variância do treinamento e estabilizando a aprendizagem de estratégias de raciocínio complexas.

3. Contribuições Principais

1. Framework Causal Formal: A introdução do SCM à MHFV, fornecendo uma fundação semântica interpretável que modela explicitamente dependências causais entre evidências e alegações via um DAG.
2. Insight Empírico e Otimização por RL: A descoberta da relação em forma de U invertido entre o comprimento da cadeia de raciocínio e a precisão. Os autores propõem uma estratégia baseada em GRPO para restringir adaptativamente a complexidade estrutural, equilibrando rigor com parcimônia.
3. Desempenho State-of-the-Art: O framework SCM-GRPO alcança desempenho superior em benchmarks públicos, demonstrando generalização robusta e consistência lógica em cenários multi-hop complexos.

4. Resultados Experimentais

O framework foi avaliado nos benchmarks HoVer e EX-FEVER contra diversas linhas de base, incluindo Predição Direta, ProgramFC, FOLK, RAG e Search-o1.

• Desempenho Geral: O SCM-GRPO alcançou resultados State-of-the-Art (SOTA) em todos os subconjuntos de avaliação.
  • HoVer 2-hop: 73,42% (vs. 69,00% para Search-o1).
  • HoVer 4-hop: 60,88% (vs. 56,60% para Search-o1).
  • EX-FEVER 3-hop: 75,00% (vs. 72,80% para Search-o1).
• Validação da Necessidade de RL: Experimentos mostraram que aplicar SCM-CoT sem otimização por RL frequentemente degradava o desempenho (por exemplo, a precisão do Qwen3-14B caiu de 57,48% para 47,22% no HoVer 2-hop ao usar apenas SCM-CoT). O pipeline completo SCM-GRPO foi necessário para converter o potencial estrutural em ganhos de desempenho.
• Estudos de Ablação: Comparando estratégias de otimização no backbone Qwen3-8B, o GRPO (75,42% de precisão) superou significativamente tanto o SFT isolado (73,33%) quanto a Otimização de Preferência de Contexto (CPO) (71,91%), confirmando a eficácia de objetivos relativos por grupo na estabilização do raciocínio complexo.

5. Significado e Limitações

Significado:
O artigo afirma oferecer uma solução confiável e interpretável para verificação de fatos complexos fundamentando o raciocínio em estruturas causais explícitas. Aborda a lacuna crítica de "raciocínios alucinados" em LLMs, impondo validade topológica e usando RL para otimizar dinamicamente o trade-off entre profundidade de raciocínio e concisão. O trabalho fornece insights empíricos novos sobre como a complexidade estrutural impacta a confiabilidade do raciocínio de LLMs.

Limitações:
Os autores modestamente reconhecem duas limitações primárias:

1. Dependência de Dados: O desempenho do framework depende parcialmente da qualidade dos dados de treinamento estruturados construídos automaticamente e gerados via destilação.
2. Generalização para Cadeias Ultra-Longas: A capacidade de generalização para cadeias de raciocínio que excedem 4 hops permanece a ser verificada mais profundamente.

Trabalho futuro é proposto para explorar metodologias de construção de dados mais robustas e estender o framework de raciocínio causal para um espectro mais amplo de tarefas de raciocínio complexo.