Resumo Técnico: Quando os Domínios Interagem em GRPO para Raciocínio

Declaração do Problema

Embora o Group Relative Policy Optimization (GRPO) tenha se tornado uma técnica fundamental para aumentar as capacidades de raciocínio em Large Language Models (LLMs), seu comportamento sob treinamento multi-domínio permanece pouco compreendido. Pesquisas existentes concentraram-se amplamente em aplicações de domínio único (ex: matemática ou código) ou estudos independentes de domínios específicos (ex: lógica ou quebra-cabeças). Consequentemente, as interações entre diferentes domínios de raciocínio durante o treinamento — especificamente como estratégias de domínios sequenciais versus mistos afetam o desempenho, a transferência e a interferência — não são sistematicamente caracterizadas. Este artigo aborda a lacuna na compreensão de como os sinais específicos de domínio interagem, se a ordem de treinamento importa e se existe uma estratégia de treinamento universal para o raciocínio multi-domínio.

Metodologia

Os autores conduzem um estudo empírico sistemático utilizando o modelo Qwen3-4B-Base treinado com o GRPO padrão. O framework experimental envolve quatro domínios de raciocínio representativos:

1. Matemática: Extraído de Skywork-OR1-RL-Data.
2. Ciência: Extraído de OpenScienceReasoning-2 (subconjunto STEM).
3. Lógica: Extraído do conjunto de dados Knights-and-Knaves.
4. Quebra-cabeça (Puzzle): Extraído de Enigmata-Data.

O estudo é organizado em três fases analíticas:

1. Generalização de Domínio Único: Modelos são treinados em um domínio e avaliados em outros para medir as capacidades de transferência entre domínios.
2. Interação entre Domínios Cruzados: Os autores investigam efeitos bidirecionais treinando modelos sequencialmente (ex: Domínio A $\rightarrow$ Domínio B) e medindo as mudanças de desempenho em ambos os domínios em comparação com as bases de domínio único. Isso quantifica o "esquecimento" (interferência) e a "facilitação" (transferência).
3. Estratégias de Treinamento Multi-Domínio: O artigo compara o treinamento sequencial (treinar em domínios um após o outro em várias ordens) contra o treinamento misto (treinar em um conjunto de dados combinado de múltiplos domínios simultaneamente).

A avaliação é realizada em benchmarks padrão: MATH500 para matemática, GPQA para ciência, e divisões de teste específicas para lógica e quebra-cabeças.

Contribuições Principais e Resultados

1. Generalização de Domínio Único Assimétrica

O estudo revela um padrão de transferência altamente assimétrico:

• Matemática: Exibe forte transferência entre domínios. O treinamento em dados de ciência, lógica ou quebra-cabeça melhora a precisão do raciocínio matemático em aproximadamente 18–25%.
• Ciência: Mostra uma transferibilidade moderada, beneficiando-se de outros domínios, mas em menor escala do que a matemática.
• Lógica e Quebra-cabeça: Estes domínios são amplamente específicos de domínio. O treinamento em outros domínios gera ganhos negligenciáveis (frequentendo <4%), e o alto desempenho nessas áreas só é alcançado através do treinamento in-domain.

2. Interações entre Domínios Cruzados Sensíveis à Ordem

A sequência de treinamento impacta significativamente o desempenho final, com interações que não são recíprocas:

• Matemática $\leftrightarrow$ Ciência: A ordem é crítica. Treinar Matemática $\rightarrow$ Ciência alcança alta precisão em ambos (83% Matemática / 41% Ciência). Inverter a ordem para Ciência $\rightarrow$ Matemática causa uma degradação substancial (77% Matemática / 25% Ciência).
• Lógica $\leftrightarrow$ Ciência: O treinamento em ciência consistentemente interfere no raciocínio lógico, independentemente da ordem. O treinamento em ciência após a lógica causa uma queda de ~5% na precisão da lógica; o treinamento em lógica após a ciência causa uma queda de ~7,6%.
• Quebra-cabeça (Puzzle): O domínio de quebra-cabeça é amplamente insensível à interferência de outros domínios.

3. Não Existe uma Estratégia Ótima Universal

O artigo demonstra que nenhum paradigma de treinamento único é ideal para todos os domínios:

• Treinamento Sequencial: Favorece a Matemática. A sequência ótima (ex: Lógica $\rightarrow$ Matemática $\rightarrow$ Ciência) pode elevar a precisão da Matemática para 84%, superando o treinamento de domínio único. No entanto, uma ordenação ruim (ex: Ciência $\rightarrow$ Matemática $\rightarrow$ Lógica) pode resultar em precisões médias tão baixas quanto 56%.
• Treinamento Misto: Favorece Ciência, Lógica e Quebra-cabeça. Para esses domínios, o treinamento misto frequentemente supera as melhores estratégias sequenciais e as bases de domínio único. Especificamente, o treinamento misto em Lógica e Ciência mitiga efetivamente a interferência observada em configurações sequenciais.

Significância e Alegações

O artigo afirma que o GRPO em configurações multi-domínio exibe assimetria pronunciada, sensibilidade à ordem e dependência de estratégia. Os autores enfatizam que:

• A Ordem de Treinamento é Crítica: Ignorar a sequência de domínios pode introduzir um viés substancial, levando a lacunas de desempenho de até 28 pontos percentuais (ex: 84% vs. 56% de precisão média dependendo da estratégia).
• O Design Consciente do Domínio é Necessário: Uma abordagem de "tamanho único" é suboptimal. O treinamento multi-domínio eficaz requer a adaptação da estratégia aos domínios específicos envolvidos (ex: usar treinamento sequencial para objetivos intensivos em Matemática e treinamento misto para objetivos de Ciência/Lógica).
• Fundação para Trabalhos Futuros: Este estudo fornece a primeira investigação sistemática desses efeitos entre domínios, lançando as bases para um aprendizado por reforço multi-domínio principiado em modelos de raciocínio.

Os autores concluem que compreender e gerenciar explicitamente essas interações entre domínios é essencial para construir modelos de raciocínio robustos e generalizáveis à medida que o campo transita da otimização de domínio único para regimes de treinamento multi-domínio complexos.