Resumo Técnico: Além da Engenharia de Recompensa: Uma Receita de Dados para Aprendizado por Reforço de Longo Contexto

Declaração do Problema

Embora o Aprendizado por Reforço (RL) tenha se mostrado eficaz para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), os esforços existentes concentram-se predominantemente em tarefas de contexto curto. Estender esses ganhos para o raciocínio de longo contexto permanece subexplorado. As abordagens atuais dependem frequentemente de uma complexa engenharia de recompensa, suplementando recompensas baseadas em resultados com sinais auxiliares (ex: pontuações de fundamentação de evidência ou etapas de raciocínio intermediárias) para guiar os modelos através de entradas extensas. No entanto, esses métodos enfrentam desafios: recompensas baseadas apenas no resultado fornecem sinais esparsos para localizar evidências em contextos longos, levando ao platô de recall e ao raciocínio de atalhos. Além disso, dados de treinamento de alta qualidade e diversos para RL de longo contexto permanecem escassos, com conjuntos de dados sintéticos existentes sendo frequentemente limitados em cobertura de tarefas ou de código fechado.

Metodologia

Os autores propõem uma perspectiva centrada em dados, hipotetizando que o raciocínio de longo contexto se decompõe em um pequeno conjunto de habilidades essenciais complementares que devem ser exercitadas conjuntamente. Em vez de uma complexa engenharia de recompensa, eles demonstram que uma receita de dados simples, porém eficaz, combinada com uma configuração de RL mínima baseada em resultados, é suficiente para melhorar substancialmente o desempenho.

1. A Receita de Dados

A mistura de treinamento visa três famílias de tarefas complementares, totalizando ~14.000 exemplos construídos a partir de oito conjuntos de dados:

• Recuperação (Retrieval): Foca em localizar evidências relevantes de entradas longas onde a informação está dispersa ou é semanticamente indireta.
  • FuzzyNeedle: Remove atalhos lexicais parafraseando as "agulhas" (informação alvo) usando relações de Wikidata IS-A, exigindo que os modelos resolvam relações de instância-de em vez de apenas correspondência de palavras-chave.
  • MultiNeedle: Requer a distinção entre muitas agulhas quase duplicadas e a recuperação de uma específica com base em sua ordem de ocorrência.
• Síntese de Múltiplas Evidências: Requer a integração de informações espalhadas por diferentes partes da entrada para derivar uma resposta que nenhuma peça isolada pode fornecer.
  • CrossEntity: Gera perguntas que exigem a agregação de atributos derivados de múltiplas entidades (ex: calcular a "idade vencedora" a partir dos anos de nascimento e de campeonato).
  • WebSearch: Simula tarefas de agentes de busca onde os modelos devem rastrear cadeias de relações de múltiplos saltos enquanto distinguem a evidência de ouro de distratores topicamente similares.
  • MultiQuery: Incorpora múltiplas consultas em um documento; a ausência de qualquer peça de evidência leva a uma resposta incorreta, enfatizando a necessidade de cobertura completa.
  • KeyChain: Esconde perguntas atrás de cadeias de ponteiros UUID, exigindo que os modelos rastreiem as cadeias para recuperar a consulta real.
  • LongDocQA: Estende conjuntos de dados existentes (HotpotQA, MuSiQue, Qasper) com documentos de comprimento total ou preenchimento irrelevante para aumentar o comprimento do contexto.
• Raciocínio (Reasoning): Foca em realizar resolução de problemas complexos de múltiplas etapas (ex: matemática) sobre entradas longas para preservar as capacidades de pensamento profundo.
  • LongMath: Adapta problemas matemáticos difíceis de contexto curto para cenários narrativos onde variáveis e condições são distribuídas em pelo menos cinco fragmentos de história espalhados por um longo documento irrelevante.

Curadoria de Dados: Os autores aplicam um pipeline de dois estágios: descartando amostras que excedem 64K tokens e filtrando por "dificuldade moderada" ao reter apenas amostras onde um modelo base (Qwen3-30B-A3B) obtém algumas, mas não todas, execuções (rollouts) corretas.

2. Configuração de Aprendizado por Reforço (RL)

Os autores empregam a Otimização de Política Relativa de Grupo (GRPO) com um design de recompensa mínimo:

• Recompensa: Primariamente uma recompensa de recall por palavra ($r = |\hat{y} \cap y^*| / |y^*|$) entre a resposta final do modelo e o rótulo. Para tarefas complexas (CrossEntity, LongMath), um LLM-como-juiz (DeepSeek-V3.2) é usado para verificar a correção.
• Estabilização: Para lidar com as distribuições heterogêneas de recompensa dos oito conjuntos de dados, os autores utilizam amostragem balanceada por tarefa (fixando proporções por conjunto de dados em lotes) e normalização de vantagem por tarefa (reescalonando as vantagens pela desvio padrão por conjunto de dados).
• Sem Recompensas de Processo: Ao contrário de trabalhos anteriores, esta abordagem não utiliza sinais auxiliares para etapas de raciocínio intermediário ou fundamentação de evidência, confiando exclusivamente na recompensa de resultado.

Principais Contribuições

1. Paradigma Centrado em Dados: O artigo desafia o foco predominante em engenharia de recompensa, mostrando que uma receita de dados diversificada é suficiente para impulsionar melhorias significativas no raciocínio de longo contexto.
2. Taxonomia Unificada de Tarefas: Os autores definem e curam uma mistura de treinamento que cobre três habilidades complementares (Recuperação, Síntese de Múltiplas Evidências, Raciocínio), argumentando que as três são necessárias para o desempenho ideal.
3. Conjuntos de Dados Abertos: Os autores constroem e liberam oito conjuntos de dados totalizando ~14K exemplos para facilitar pesquisas futuras.
4. Transferibilidade: O estudo demonstra que as melhorias no raciocínio de longo contexto se transferem para tarefas agênticas, sugerindo que o fortalecimento das capacidades centrais de raciocínio beneficia as capacidades de agentes de longo horizonte.

Resultados Experimentais

O método foi avaliado em três modelos (Qwen3-4B, Qwen3-8B e Qwen3-30B-A3B) através de sete benchmarks de longo contexto.

• Ganhos de Desempenho: A receita de dados gerou melhorias médias consistentes de +7,2, +3,2 e +6,4 pontos nos três modelos, respectivamente.
• Comparação: A abordagem superou dois conjuntos de treinamento de RL de longo contexto anteriores (DocQA-RL-1.6K e KeyChain-15K) em todos os modelos e benchmarks.
• Generalização: Apesar de treinar em entradas limitadas a 64K tokens, os ganhos foram transferidos para contextos substancialmente mais longos (até 512K+ tokens), indicando que os modelos aprenderam habilidades de raciocínio genéricas de comprimento, em vez de sofrerem overfitting à distribuição de treinamento.
• Estudos de Ablação:
  • Remover qualquer categoria de tarefa ou combinação pareada resultou em um desempenho inferior ao da mistura completa, confirmando a complementaridade das três famílias de tarefas.
  • Remover técnicas de balanceamento de tarefas causou uma queda moderada no desempenho, destacando a necessidade de mitigar a competição entre tarefas.
  • Adicionar uma "recompensa de processo" (pontuação de coerência de raciocínio via LLM-como-juiz) não melhorou o desempenho em relação à configuração de apenas resultado, sugerindo que os dados diversos já fornecem sinais informativos.
• Transferência Agêntica: Continuar o treinamento de RL em um modelo ajustado para agentes (AgentCPM-Explore) com esta receita de dados melhorou o GAIA em +4,8 pontos e o BrowseComp em +7,0 pontos, demonstrando a transferibilidade das habilidades de longo contexto para agentes autônomos.

Significância e Alegações

O artigo afirma que a diversidade dos dados de treinamento é o principal gargalo para o RL de longo contexto, e não o design da recompensa. Ao construir uma mistura equilibrada de tarefas de recuperação, síntese e raciocínio, os autores alcançam resultados de estado da arte sem uma complexa engenharia de recompensa. O trabalho sugere que o fortalecimento das habilidades centais de longo contexto é um caminho eficaz para aumentar as capacidades agênticas, uma vez que agentes naturalmente acumulam contextos massivos durante o uso de ferramentas. Os autores notam modestamente limitações, incluindo o uso de dados sintéticos que podem não corresponder totalmente às distribuições do mundo real, e a restrição atual a modelos de até 30B parâmetros e 64K de contexto.