Resumo Técnico: Raciocínio de Longo Contexto Através de Ajuste de Cadeia de Pensamento Baseado em Proxy

Declaração do Problema

Modelos de linguagem grandes (LLMs) recentes expandiram suas janelas de contexto para suportar entradas de até 10 milhões de tokens. No entanto, esses modelos exibem degradação significativa de desempenho em tarefas de longo contexto que exigem raciocínio complexo, como sintetizar insights a partir de múltiplos relatórios médicos ou analisar documentos financeiros.

A questão central identificada é uma disparidade substancial de desempenho entre contextos longos completos e contextos proxy. Um contexto proxy é definido como um subconjunto compacto da entrada contendo apenas a evidência mínima necessária para derivar a resposta correta. Embora o processo de raciocínio subjacente necessário para resolver uma tarefa permaneça invariável, independentemente de o modelo ver o contexto completo ou o proxy, resultados empíricos mostram que os modelos desempenham marcadamente melhor em contextos proxy. Quando condicionados a contextos longos completos, os modelos frequentemente geram estruturas de raciocínio de alto nível plausíveis, mas falham em fundamentar fatos específicos corretamente, levando a alucinações e menor precisão.

Métodos existentes para melhorar o raciocínio, como destilação de Cadeia de Pensamento (CoT) e Aprendizado por Reforço (RL), enfrentam limitações críticas em configurações de longo contexto:

1. Destilação de CoT: Depende de traços de alta qualidade de grandes modelos professores. Consultar esses professores sobre contextos longos completos é computacionalmente caro, lento e frequentemente produz traços não confiáveis para tarefas complexas.
2. Aprendizado por Reforço: Escalar RL para contextos longos é proibitivamente caro devido à necessidade de amostragem extensa sobre sequências longas durante o treinamento.

Metodologia: ProxyCoT

Os autores propõem o ProxyCoT, uma nova estrutura de treinamento em duas etapas projetada para transferir capacidades de raciocínio de contextos proxy curtos para contextos longos completos. A estrutura opera na hipótese de que traços de raciocínio gerados em entradas proxy eficientes podem ser "fundamentados" em contextos longos completos por meio de ajuste fino supervisionado.

A estrutura consiste em duas etapas:

Etapa 1: Aquisição de CoTs em Contextos Proxy Curtos

O objetivo é gerar traços de raciocínio de alta qualidade ($t$) condicionados ao contexto proxy ($C_p$) e não ao contexto completo ($C$). Esta etapa oferece duas variantes para obter os traços:

• ProxyCoT-ZS (Zero-Shot): Um grande modelo professor pronto para uso ($M_{ZS}$) é consultado para gerar traços de raciocínio baseados no contexto proxy ($t \sim p_\phi(t | q, C_p)$). Apenas traços que resultam em respostas corretas são retidos. Isso evita o custo de consultar professores em contextos longos completos.
• ProxyCoT-RL (Aprendizado por Reforço): Se um professor capaz não estiver disponível, o modelo alvo ($M_{init}$) é otimizado diretamente em contextos proxy usando Aprendizado por Reforço com Recompensas Verificáveis (RLVR). O modelo aprende a maximizar a probabilidade de gerar traços que levam a respostas corretas ($t \sim p_\theta(t | q, C_p)$).

Etapa 2: Fundamentação de CoTs em Contextos Longos Completos

Nesta etapa, os padrões de raciocínio aprendidos na Etapa 1 são transferidos para o contexto completo. Um modelo estudante é treinado via Ajuste Fino Supervisionado (SFT) para reproduzir os traços de raciocínio gerados na Etapa 1, mas condicionado ao contexto longo completo ($C$) em vez do proxy.

• Objetivo: Minimizar o log-verossimilhança negativa do traço $t$ dada a pergunta $q$ e o contexto completo $C$:
  $$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$$
• ProxyCoT-ZS: O modelo estudante ($M_{init}$) é ajustado para imitar os traços do professor enquanto vê o contexto completo.
• ProxyCoT-RL: O modelo otimizado por RL ($M_{RL}$) da Etapa 1 é ajustado adicionalmente para aplicar seus padrões de raciocínio aprendidos ao contexto completo.

Contribuições Principais

1. Formalização de Contextos Proxy: O artigo introduz e formaliza o conceito de contextos proxy para raciocínio de tarefas longas, revelando empiricamente uma lacuna significativa de desempenho entre proxies curtos e contextos longos completos, apesar de requisitos de raciocínio idênticos.
2. Estrutura ProxyCoT: Uma estrutura de treinamento inovadora que aproveita contextos proxy curtos para adquirir traços CoT de alta qualidade, que são então usados para aprimorar o raciocínio sobre contextos longos completos. Esta abordagem contorna a necessidade de inferência de professores cara em sequências longas e reduz os custos de amostragem de RL.
3. Validação Empírica: Experimentos extensivos demonstram que o ProxyCoT supera consistentemente bases fortes (incluindo SFT direto, RL em contextos completos e destilação de CoT em contextos completos) em diferentes famílias de modelos (Qwen3-4B, Gemma3-4B) e conjuntos de dados (SciTrek, HotpotQA). O método também mostra forte generalização para tarefas fora de domínio.

Resultados Experimentais

Os autores avaliaram o ProxyCoT no SciTrek (QA de longo contexto sobre artigos científicos) e no HotpotQA (QA multi-hop sobre a Wikipedia).

• Ganhos de Desempenho:
  • No SciTrek, o ProxyCoT-RL alcançou 46,5% de correspondência exata em contextos completos com Qwen3-4B, superando significativamente a linha de base zero-shot (30,8%) e o SFT em contextos completos (19,5%). Ele até se aproximou do desempenho do modelo muito maior Qwen3-235B-Thinking (48,8%).
  • No HotpotQA, o ProxyCoT-RL alcançou 52,7% de precisão em contextos completos, superando todas as bases.
• Eficiência: O ProxyCoT-RL não apenas melhorou a precisão, mas também induziu traços de raciocínio substancialmente mais curtos no tempo de inferência. No SciTrek, ele usou uma média de 617 tokens de CoT, comparado a 1.744 para zero-shot e 5.520 para ProxyCoT-ZS, enquanto alcançava maior precisão.
• Estudos de Ablação: Os resultados confirmaram que ambas as etapas de treinamento são necessárias. O treinamento apenas em contextos proxy (Etapa 1) resultou em alta precisão proxy, mas fundamentação pobre em contexto completo. O treinamento apenas em contextos completos (Etapa 2) sem traços derivados de proxy resultou em desempenho inferior. A combinação foi essencial para resultados ótimos.
• Generalização Fora de Domínio: Modelos treinados no SciTrek usando ProxyCoT-RL mostraram desempenho aprimorado no benchmark Loong (relatórios financeiros e artigos acadêmicos), demonstrando que o método aprimora capacidades gerais de raciocínio de longo contexto em vez de memorizar padrões específicos de tarefas.

Significado e Alegações

O artigo alega que o ProxyCoT oferece uma rota prática e eficiente para fortalecer o raciocínio de longo contexto sem depender de traços gerados por professores sobre contextos longos completos. Ao desacoplar a aquisição de raciocínio (em proxies curtos e baratos) da fundamentação de raciocínio (em contextos longos e caros), a estrutura aborda os gargalos computacionais dos métodos atuais de treinamento de longo contexto.

Os autores posicionam o ProxyCoT como uma solução para cenários onde treinar e supervisionar modelos de longo contexto é desafiador devido a restrições de custo e dados. Eles observam que, embora a abordagem assuma acesso a contextos proxy contendo evidências suficientes, ela fornece uma alternativa robusta ao aprendizado por reforço ou destilação de longo contexto direto, efetivamente preenchendo a lacuna de desempenho entre entradas curtas e longas.