Resumo Técnico: ReFact – Reestatização Adaptativa de Fatos para Raciocínio de Cadeia de Pensamento Compacto e Fiel

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de raciocínios de formato longo para resolver tarefas complexas que envolvem entradas de contexto longo. No entanto, os modelos existentes frequentemente lutam para alinhar seus processos de raciocínio com a evidência contextual fornecida, particularmente quando a evidência é incompleta, ruidosa ou conflita com o conhecimento paramétrico do modelo. Esse desalinhamento leva a Cadeias de Pensamento (CoT) "não fiéis", onde os modelos negligenciam o contexto relevante, baseiam-se em conhecimento interno que contradiz a entrada ou geram etapas de raciocínio alucinadas.

As abordagens atuais para fundamentar o raciocínio geralmente se dividem em duas categorias, ambas com limitações:

1. Geração Baseada em Citação: Estes métodos acrescentam citações após a geração ou durante o raciocínio para melhorar a transparência. No entanto, eles frequentemente tratam as citações como referências externas em vez de componentes integrantes do processo de racínio, falhando em garantir que a informação citada seja suficiente para suportar inferências intermediárias.
2. Raciocínio de Reprodução de Fatos: Estes métodos exigem que os LLMs reestatem explicitamente fatos de suporte do contexto. Embora isso melhore o alinhamento, as exigências rígidas de reestatização muitas vezes comprometem a compacidade e a coerência das trajetórias de raciocínio, levando a traços redundantes e excessivamente citados que não aproveitam a evidência de forma adaptativa.

O desafio central é permitir que os LLMs determinem quando o embasamento contextual é necessário e como reestatizar os fatos da fonte em um nível apropriado de detalhe para garantir um raciocínio confiável, compacto e fiel.

2. Metodologia: O Framework ReFact

O ReFact (Adaptive Fact Restatement) é um framework projetado para permitir que os LLMs reestatem seletivamente fatos da fonte em vários níveis de granularidade (entidades, frases, sentenças ou parágrafos) apenas quando necessário para uma etapa específica de raciocínio. O framework emprega um pipeline de treinamento de dois estágios: Fine-Tuning Supervisionado (SFT) seguido de Aprendizado por Reforço (RL).

2.1 Construção dos Dados de Treinamento

Os autores constroem um conjunto de dados ($D_{training}$) sintetizando trajetórias de raciocínio adaptativas baseadas em citações a partir de conjuntos de dados de QA existentes (HotpotQA_CARE e MuSiQue).

• Modelo Professor: Um LLM professor mais forte (Gemini-3.1-preview) gera trajetórias de raciocínio de alta qualidade. Ele é instruído a decidir quando citar e como reestatizar fatos (granularidade e forma) com base nos "Fatos de Suporte" fornecidos no contexto.
• Contextos com Diversidade de Comprimento: Para garantir a generalização em cenários de contexto longo, o contexto de ouro é inserido em documentos distratores de comprimentos variados (32k, 64k, 128k tokens), simulando desafios do mundo real de contexto longo.
• Filtragem de Qualidade: As trajetórias geradas são filtradas usando quatro critérios:
  1. Formato: Uso correto de tags (<evidence N>...</evidence>) e separação do raciocínio das respostas.
  2. Precisão: A resposta final coincide com o padrão de ouro.
  3. Rastreabilidade: Todo o conteúdo citado deve existir literalmente nos fatos de suporte.
  4. Capacidade de Resposta (Answerability): Um modelo verificador deve ser capaz de derivar a resposta correta usando apenas o conteúdo citado, garantindo que as citações sejam suficientes.

2.2 Pipeline de Treinamento de Dois Estágios

O modelo estudante (Qwen3-4B e Qwen3-8B) é otimizado através de:

1. SFT de Cold-Start: O modelo é treinado nos pares curados de $(pergunta, contexto\_longo, trajetória\_de\_raciocínio)$ para aprender o formato de saída e o comportamento de fundamentar o raciocínio em fatos.
2. Otimização de Política Relativa de Grupo (GRPO): O modelo é adicionalmente otimizado usando uma função de recompensa ($R$) que equilibra quatro componentes:
   • $R_{format}$: Correção estrutural.
   • $R_{acc}$: Correção da resposta.
   • $R_{trace}$: Fidelidade do conteúdo citado em relação à fonte.
   • $R_{ans}$: Suficiência do conteúdo citado para responder à pergunta.
     A recompensa final é uma soma ponderada: $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$.

3. Principais Contribuições

• Mecanismo de Citação Adaptativa: Ao contrário de trabalhos anteriores que impõem posições de citação fixas ou atribuição pós-hoc, o ReFact ensina os modelos a determinar adaptativamente a necessidade e a granularidade da reestatização de fatos. Isso resulta em traços de raciocínio mais densos e fiéis sem redundância desnecessária.
• Framework SFT-para-RL: O artigo propõe um pipeline de treinamento específico que transita do aprendizado de formatos de citação (SFT) para a otimização da utilidade das citações para o raciocínio (RL), garantindo que os fatos citados não estejam apenas presentes, mas sejam suficientes para a inferência.
• Raciocínio Compacto e Fiel: A abordagem demonstra que melhorar a fidelidade não requer trajetórias de raciocínio mais longas; de fato, o ReFact produz traços significativamente mais curtos enquanto mantém ou melhora a precisão.

4. Resultados Experimentais

Experimentos foram conduzidos no LongBench v1/v2, LV-Eval (contextos de 16k–128k) e ConFiQA (fidelidade contrafactual).

• Desempenho em QA de Contexto Longo: O ReFact superou consistentemente os baselines (Zero-Shot, LongAlign, LongFaith, CARE) no LongBench v1 e LV-Eval. Ele alcançou pontuações F1 mais altas em diferentes comprimentos de contexto (até 12ks) enquanto gerava substancialmente menos tokens de raciocínio (por exemplo, reduzindo o uso de tokens em ~60-70% em comparação ao CARE).
• Qualidade e Eficiência da Citação: A análise mostrou que o ReFact alcançou pontuações F1 de citação mais altas (melhor alinhamento com a evidência de ouro) enquanto reestatizava significativamente menos fatos por traço em comparação ao Zero-Shot e CARE. Isso indica que o modelo aprende a selecionar apenas a evidência suficiente para a resposta.
• Fidelidade Contrafactual: No ConFiQA, onde o contexto contradiz o conhecimento paramétrico, o ReFact demonstrou maior Preferência de Fonte (PS) e menor Sobrescrita Paramétrica (PO). Foi mais propenso a seguir o contexto fornecido em vez de fatos memorizados.
• Análise de Mecanismo:
  • Perplexidade: Os traços do ReFact geraram menor perplexidade para respostas de ouro, indicando um direcionamento mais forte para a previsão final.
  • Ativação de FFN: A análise das ativações da Rede Feed-Forward (FFN) revelou que o ReFact exibe proporções de ativação menores nas camadas médias a profundas em comparação ao Zero-Shot. Como essas camadas estão associadas à recuperação de memória paramétrica, isso sugere que o ReFact depende menos do conhecimento interno que conflita com o contexto.
  • Estudos de Ablação: Remover a recompensa de "Capacidade de Resposta" ou a supervisão de "Alinhamento de Evidência" levou à degradação do desempenho, confirmando que otimizar a suficiência da evidência e o alinhamento explícito é crucial.

5. Significância e Alegações

O artigo afirma que o ReFact representa um passo significativo para tornar o raciocínio de LLMs tanto compacto quanto fiel. Ao transformar as citações de referências externas em estados intermediários de raciocínio adaptativos, o ReFact permite que os modelos:

1. Reduzam a Sobrecarga Cognitiva: Ao reestatizar apenas os fatos necessários, o processo de raciocínio permanece conciso.
2. Aumentem a Confiabilidade: O modelo é menos propenso a alucinações e sobrescrita paramétrica, pois é explicitamente treinado para verificar se suas etapas de raciocínio são suportadas pelo contexto fornecido.
3. Melhorem a Eficiência: A redução nos tokens de raciocínio sugere que o raciocínio de alta qualidade não requer reestatizações verbosas e redundantes, tornando o raciocínio de contexto longo computacionalmente mais eficiente.

Os autores concluem que a chave para o raciocínio fiel de contexto longo não reside em forçar mais citações, mas em ensinar os modelos a selecionar e integrar adaptativamente os fatos certos na granularidade certa.