Resumo Técnico: GoLongRL

Declaração do Problema

Enquanto os modelos de linguagem de grande escala (LLMs) expandiram rapidamente as janelas de contexto por meio de pré-treinamento e treinamento intermediário, utilizar efetivamente esses contextos estendidos durante o pós-treinamento permanece um gargalo. As abordagens existentes de aprendizado por reforço (RL) para raciocínio de longo contexto sofrem de duas limitações primárias:

1. Cobertura de Dados Estreita: Os métodos atuais frequentemente constroem dados em torno de caminhos de recuperação complexos (por exemplo, cadeias de UUID, QA baseada em fragmentos), levando a uma cobertura de tarefas homogênea. Isso resulta em supervisão inadequada para capacidades críticas, como sumarização, classificação, agregação e raciocínio estruturado.
2. Instabilidade de Otimização em Cenários Multitarefa: A Otimização de Política Relativa de Grupo (GRPO) padrão enfrenta desafios quando aplicada a tarefas heterogêneas com diferentes métricas de recompensa (por exemplo, EM, F1, NDCG, ROUGE-L).
   • Viés de Dificuldade: A normalização por prompt (dividindo pelo desvio padrão $\sigma_u$) pode inflar as vantagens para prompts fáceis e difíceis, enquanto suprime amostras de dificuldade média.
   • Inconsistência de Escala entre Tarefas: Diferentes métricas de recompensa exibem perfis de variância variados. Sem normalização adequada, tarefas de alta variância podem dominar as atualizações de gradiente, distorcendo a trajetória de otimização.

Metodologia

1. Construção de Dados Orientada a Capacidades

Os autores propõem uma estrutura de construção de dados guiada por uma taxonomia de 9 capacidades centrais de longo contexto, em vez de simplesmente injetar comprimento nos prompts.

• Composição do Conjunto de Dados: Um conjunto de dados totalmente de código aberto contendo 22.965 amostras de RLVR (Aprendizado por Reforço com Recompensas Verificáveis).
  • Fontes: Aproximadamente 14 mil amostras curadas de código aberto de corpora estabelecidos (por exemplo, LongBench Pro, CLongEval) e 9 mil amostras sintéticas onde pares de perguntas e respostas são gerados a partir de documentos reais (livros, artigos acadêmicos, processos jurídicos).
  • Taxonomia de Tarefas: O conjunto de dados abrange 9 tipos de tarefas (T1–T9), incluindo Recuperação Precisa, Compreensão, Recuperação Exaustiva, Raciocínio Numérico, Extração Estruturada, Correspondência Estruturada, Classificação Graduada, Ordenação de Sequência e Sumarização.
  • Alinhamento de Recompensa: Cada tarefa é emparelhada com sua métrica de avaliação natural (por exemplo, NDCG para classificação, F1 para recuperação exaustiva, ROUGE-L para sumarização) em vez de serem colapsadas em um único sinal binário.
• Pipeline de Construção: Um processo de quatro fases envolvendo coleta de fontes, filtragem orientada a tarefas, construção de amostras com controle de qualidade em múltiplos estágios (usando modelos como Gemini-2.5-Pro e DeepSeek-V3.2) e refinamento iterativo baseado em diagnósticos de benchmarks.

2. Algoritmo TMN-Reweight

Para abordar os desafios de otimização decorrentes de recompensas heterogêneas, o artigo introduz o TMN-Reweight (Normalização da Média no Nível de Tarefa com Reponderação Adaptativa à Dificuldade).

• Etapa 1: Normalização da Média no Nível de Tarefa: Em vez de normalizar pelo desvio padrão por prompt ($\sigma_u$), o que confunde a correção de escala com a amplificação de dificuldade, o método normaliza pelo desvio padrão agregado no nível de tarefa ($\sigma_{task}$). Este é calculado como a raiz quadrada da média dos quadrados dos desvios padrão por prompt dentro de uma tarefa específica. Isso reduz as diferenças de escala entre tarefas, preservando as magnitudes de vantagem relativas dentro de cada tarefa.
• Etapa 2: Reponderação Adaptativa à Dificuldade: Para corrigir o viés de dificuldade dentro das tarefas, o método estima a dificuldade do prompt usando uma taxa de aprovação suavizada (interpolando entre baselines por prompt e no nível de tarefa).
  • Realocação de Gradiente em Quatro Quadrantes: O peso de dificuldade ($w$) é aplicado de forma assimétrica:
    • Para prompts difíceis ($w > 1$): Vantagens positivas são amplificadas para reforçar execuções bem-sucedidas raras; vantagens negativas são reduzidas ($1/w$) para diminuir gradientes desestabilizadores.
    • Para prompts fáceis ($w < 1$): Vantagens positivas são atenuadas para evitar concentração de probabilidade; vantagens negativas são amplificadas para aumentar a aprendizagem a partir de falhas inesperadas.

Contribuições Principais

1. Conjunto de Dados de Código Aberto Orientado a Capacidades: Lançamento de um conjunto de dados de 23 mil amostras cobrindo 9 tipos de tarefas diversos com funções de recompensa heterogêneas. Os autores demonstram que o treinamento apenas com esses dados (usando GRPO vanilla) supera o conjunto de dados proprietário QwenLong-L1.5 nas escalas de 4B e 30B.
2. Algoritmo TMN-Reweight: Uma estratégia de otimização inovadora que mitiga conjuntamente a inconsistência de escala de recompensa entre tarefas e o viés de vantagem induzido pela dificuldade. Produz ganhos consistentes de desempenho sobre o GRPO vanilla sem exigir uma rede de valor separada.
3. Preservação de Generalização: A estrutura demonstra que o RL de longo contexto com dados orientados a capacidades preserva ou melhora capacidades de raciocínio e memória gerais, incluindo transferência para memória de agentes e benchmarks de diálogo de longo prazo não vistos durante o treinamento.

Resultados

• Desempenho em Benchmarks:
  • No modelo Qwen3-4B-Thinking, o treinamento com o conjunto de dados orientado a capacidades e GRPO vanilla elevou a média do benchmark de longo contexto de 53,0 para 62,2, superando o QwenLong-L1.5 (59,4). A adição do TMN-Reweight melhorou ainda mais a média para 63,0.
  • No modelo Qwen3-30B-A3B, o conjunto de dados melhorou a média de 60,1 para 69,8 (vs. 67,2 para o QwenLong-L1.5).
  • O modelo treinado com esses dados alcança desempenho comparável a modelos proprietários muito maiores, como DeepSeek-R1-0528 e Qwen3-235B-A22B-Thinking-2507, em benchmarks de longo contexto.
• Estudos de Ablação:
  • O próprio conjunto de dados é identificado como o principal motor dos ganhos de desempenho, com o TMN-Reweight fornecendo um impulso adicional consistente, mas modesto (0,8 pontos no modelo 4B), particularmente em tarefas intensivas em agregação como CorpusQA.
  • O hiperparâmetro $\alpha$ (controlando o equilíbrio entre a estimativa de dificuldade no nível de prompt e no nível de tarefa) performa melhor em 0,8.
• Capacidades Gerais: Avaliações em MMLU-Pro, AIME24/25 e GPQA mostram que as capacidades de raciocínio geral são preservadas ou melhoradas. Ganhos significativos são observados em memória de agente (Memory-Vec, Memory-Rec_Sum) e memória de diálogo (LongMemEval).
• Extrapolação de Comprimento: Modelos treinados em contextos de 160 mil generalizam efetivamente para sequências de avaliação de até 1 milhão de tokens, mostrando ganhos consistentes através das escalas de modelos.

Significado e Afirmações

O artigo afirma que a cobertura de dados e a diversidade de recompensas são gargalos primários no RL de longo contexto, frequentemente mais críticos do que refinamentos algorítmicos isolados. Ao mudar da construção de dados centrada na recuperação para uma taxonomia orientada a capacidades, os autores fornecem sinais de treinamento mais ricos que beneficiam um amplo espectro de tarefas de longo contexto.

O trabalho sugere que uma cobertura mais ampla e maior diversidade de recompensas beneficiam substancialmente a melhoria de capacidades de longo contexto, mesmo com algoritmos padrão de RL. Além disso, o TMN-Reweight proposto oferece um mecanismo de otimização estável para cenários multitarefa heterogêneos, garantindo que os benefícios do treinamento de longo contexto não venham à custa da degradação do raciocínio geral ou da memória. Todos os recursos, incluindo o conjunto de dados, o pipeline de construção e o código de treinamento, são lançados publicamente para facilitar pesquisas futuras.