Resumo Técnico: GEAR (Grounding Evidence-Aware Reward)

Problema: Cópia Repetitiva em Raciocínio de Longo Contexto

O artigo identifica um modo de falha crítico em modelos de linguagem de grande escala (LLMs) equipados com capacidades de raciocínio passo a passo quando aplicados a tarefas de contexto longo: a cópia repetitiva. Embora esses modelos se destaquem em raciocínios complexos, os autores observam que, à medida que o comprimento do contexto aumenta, os modelos tendem a copiar indiscriminadamente grandes passagens do prompt de entrada em seus rastros de raciocínio, em vez de resolver o problema de forma produtiva.

Através de uma análise empírica sistemática em sete LLMs de fronteira (incluindo as séries Qwen, Claude e DeepSeek) no benchmark GSM-Infinite, os autores demonstram que:

1. Prevalência: A cópia repetitiva é generalizada e intensifica-se com o comprimento do contexto (ex: as taxas de sobreposição de 3-gram aumentam de ~20% em 8k tokens para ~70% em 64k tokens).
2. Degradação de Desempenho: Altas taxas de cópia correlacionam-se fortemente com menor precisão na tarefa e comprimentos de raciocínio significativamente inflados. Modelos que gastam o orçamento de tokens com transcrição em vez de raciocínio produzem rastros mais longos e menos úteis.
3. Causa Raiz: O problema central é a fundamentação de evidências insuficiente (insufficient evidence grounding). O problema não é a cópia per se, mas a falta de seletividade. Amostras respondidas corretamente exibem alta sobreposição com a "evidência-chave" relevante para a tarefa e baixa sobreposição com o "contexto distrator". Amostras incorretas, inversamente, copiam indiscriminadamente tanto de elementos relevantes quanto de ruídos, falhando em distinguir informações relevantes de ruído irrelevante.

Metodologia: GEAR e Construção Automatizada de Dados

Para abordar a fundamentação insuficiente, os autores propõem o GEAR (Grounding Evidence-Aware Reward), um método de modelagem de recompensa para Aprendizado por Reforço (RL) que aumenta os sinais padrão de precisão com dois componentes complementares:

1. Design da Recompensa

A função de recompensa GEAR $R(x, y)$ é definida como:
$$R(x, y) = R_{acc} + \alpha \cdot \text{Overlap}_n(y \| x_{key}) - \beta \cdot \text{Overlap}_n(y \| x_{dist})$$
Onde:

• $R_{acc}$: Recompensa de precisão binária.
• $\text{Overlap}_n(y \| x_{key})$: Recompensa de Fundamentação (Grounding Reward). Incentiva a sobreposição entre o rastro de raciocínio $y$ e os intervalos de evidência-chave anotados $x_{key}$.
• $\text{Overlap}_n(y \| x_{dist})$: Penalidade de Distrator (Distractor Penalty). Penaliza a sobreposição entre o rastro e o contexto distrator irrelevante $x_{dist}$.
• $\alpha, \beta$: Coeficientes não negativos (otimizados como $\alpha=0.1, \beta=0.3$).
• $n$: Tamanho de n-gram (definido como 3 durante o treinamento para fornecer sinais de gradiente densos).

Crucialmente, os autores descobrem que usar apenas a recompensa de fundamentação (sem a penalidade de distrator) é prejudicial, pois incentiva a cópia de todas as partes da entrada, incluindo os distratores. Ambos os componentes são necessários para ensinar o modelo a interagir seletivamente com a evidência enquanto ignora o ruído.

2. Pipeline Automatizado de Dados com Evidência Anotada

Para aplicar o GEAR a dados de linguagem natural onde os intervalos de evidência de verdade fundamental (ground-truth) não estão nativamente disponíveis, os autores desenvolvem um pipeline automatizado de três estágios:

1. Análise de Documento: Um LLM analisa um documento para identificar características informacionais e tipos de perguntas adequados.
2. Geração de QA com Restrição de Evidência: O documento é segmentado em blocos (chunks). Um subconjunto aleatório (1–3 chunks) é amostrado como o "contexto de restrição" (evidência-chave). Um LLM gera uma pergunta que pode ser respondida apenas a partir deste subconjunto, juntamente com citações exatas da evidência e uma resposta.
3. Verificação de Resposta: A pergunta é respondida novamente utilizando apenas o contexto de restrição. Os pares são retidos apenas se a resposta rederivada coincidir com a referência, garantindo que a pergunta esteja inequivocamente fundamentada na evidência designada.

Este pipeline permite a construção de dados de treinamento a partir de corpora de documentos arbitrários (ex: RedPajama-v2), suplementando benchmarks sintéticos como GSM-Infinite e PhantomWiki.

3. Configuração de Treinamento

Os autores treinam três modelos Qwen3.5 (9B, 27B e 35B-A3B) usando Group Sequence Policy Optimization (GSPO) em uma mistura de 3.200 amostras de contexto longo (sintéticas e de linguagem natural). Os modelos são treinados por uma época com contextos variando de 16k a 32k tokens.

Resultados Principais

Os autores validam o GEAR em cinco benchmarks de teste (Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR) em comprimentos de contexto de 32k e 128k.

• Ganhos de Desempenho: O GEAR supera consistentemente o RL padrão com recompensas de apenas precisão.
  • Em 32k de contexto: Melhorias médias de +1.5 a +2.8 pontos.
  • Em 128k de contexto: Melhorias médias de +2.1 a +4.6 pontos.
  • Notavelmente, os ganhos são maiores em 128k (4x o comprimento da distribuição de treinamento), sugerindo que o comportamento de fundamentação aprendido generaliza-se de forma robusta para escalas de contexto não vistas.
• Ablação dos Componentes de Recompensa:
  • Apenas Fundamentação (+Rground): Desempenha pior do que a linha de base de apenas precisão (queda de até 8.3 pontos em 128k). Aumenta a cópia e o comprimento do pensamento sem melhorar a precisão.
  • Apenas Penalidade de Distrator: Também produz resultados subótimos, pois suprime toda a cópia sem guiar o modelo em direção à evidência relevante.
  • GEAR Completo: Apenas a combinação de ambos os termos produz melhorias consistentes, confirmando a necessidade de distinguir entre contexto relevante e irrelevante.
• Eficiência: O GEAR reduz tanto a taxa de cópia repetitiva (sobreposição) quanto o comprimento do pensamento. Por exemplo, no benchmark Ruler, o GEAR reduziu a sobreposição de 36.9% (Base) para 27.0% e o comprimento do pensamento de 4.290 para 2.066 tokens, comparado ao baseline do GSPO.

Significância e Alegações

O artigo afirma que, à medida que a avaliação de contexto longo muda de simples recuperação para raciocínio complexo, a fundamentação precisa em evidências relevantes permanece uma capacidade indispensável. Os autores argumentam que a forma dominante de "pensar demais" (overthinking) em configurações de contexto longo não é a elaboração sem propósito, mas a cópia direta e indiscriminada do prompt.

Ao introduzir o GEAR, o trabalho demonstra que:

1. A cópia repetitiva é um modo de falha específico e endereçável, ligado à fundamentação de evidências insuficiente.
2. A modelagem de recompensa que penaliza explicitamente a sobreposição de distratores, enquanto recompensa o engajamento com a evidência-chave, pode mitigar efetivamente esse comportamento.
3. Pipelines automatizados podem estender esses benefícios de benchmarks sintéticos para dados de linguagem natural, permitindo o treinamento escalável para raciocínio de contexto longo sem anotação manual.

As descobertas sugerem que, mesmo para modelos de raciocínio avançados, a capacidade de atender seletivamente e fundamentar o raciocínio em intervalos específicos de evidência é um gargalo crítico que os métodos atuais de RL, quando otimizados apenas para precisão, não conseguem resolver.