Resumo Técnico: Currículo Sensível à Transferência para RLVR Multidomínio

Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) tem aprimorado com sucesso as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) em domínios únicos, como matemática e programação. No entanto, estender isso para suítes de raciocínio multidomínio (abrangendo matemática, programação, lógica, simulação, tabelas e STEM) apresenta um desafio crítico: as habilidades de raciocínio transferem-se de forma desigual entre os domínios.

As abordagens atuais para treinamento multidomínio dependem tipicamente de cronogramas de amostragem fixos ou currículos ajustados manualmente. Embora currículos recentes baseados em "aprendibilidade" (ex: SEC) adaptem a amostragem com base no domínio em que a política está melhorando atualmente (usando vantagens on-policy), eles sofrem de um ponto cego fundamental: eles não consideram a transferibilidade entre domínios. Um domínio pode ser altamente aprendível localmente (fornecendo gradientes imediatos fortes), mas suas atualizações podem não beneficiar, ou até prejudicar, o desempenho em outros domínios. Por outro lado, um domínio menos obviamente aprendível pode gerar atualizações de gradiente que melhoram amplamente a política em toda a suíte. Métodos existentes correm o risco de se comprometer excessivamente com domínios localmente ricos, mas globalmente estreitos, deixando um potencial significativo de melhoria cross-domain sem ser explorado.

Metodologia: Currículo Sensível à Transferência (TAC)

Os autores propõem o Transfer-Aware Curriculum (TAC), um currículo online automatizado, do tipo bandit, que integra a transferibilidade entre domínios como um sinal de primeira classe para a seleção de domínios. O TAC opera dentro da estrutura de Otimização de Política Relativa de Grupo (GRPO) e formula a seleção de domínios como um problema de multi-armed bandit.

Componentes Principais

1. Formulação de Bandit:

   • Cada domínio de raciocínio é tratado como um "braço" (arm).
   • Em cada etapa de treinamento, o currículo amostra um domínio com base em uma estimativa de valor $Q_m$ derivada de um sinal de feedback $S_m$.
   • A distribuição de amostragem é atualizada usando uma distribuição de Boltzmann sobre valores aumentados por Upper Confidence Bound (UCB) para equilibrar exploração e explotação.

2. Sinal de Feedback Dual ($S_m$):
   O sinal de feedback para cada domínio é uma combinação ponderada de dois termos:

   • Aprendibilidade Local ($\hat{L}_m$): Derivada da média do valor absoluto da vantagem GRPO. Ela captura o sinal de aprendizado imediato (melhoria ativa) dentro do domínio. É normalizada via z-score móvel para lidar com variações de escala.
   • Transferibilidade entre Domínios ($T_m$): Um sinal auto-supervisionado inovador que estima quão bem um passo de gradiente no domínio $m$ se alinha com as direções de gradiente dos outros domínios.
     • Mecanismo: Em vez de computar gradientes completos de alta dimensão, o TAC utiliza gradientes projetados (via projeções aleatórias, ex: sketches estilo TRAK) para representar a direção da atualização em um espaço de baixa dimensão.
     • Rastreamento de Estado: Cada domínio mantém uma Média Móvel Exponencial (EMA) de seus vetores de gradiente projetados.
     • Métrica de Alinhamento: Periodicamente, as similaridades de cosseno par a par entre o estado do gradiente de um domínio e os estados de todos os outros domínios ativos são computadas. O score de transferibilidade $T_m$ é a média da similaridade de cosseno, normalizada via min-max para um intervalo de $[0, 1]$.
     • Eficiência: Este sinal é computado inteiramente a partir de gradientes já gerados durante o treinamento padrão de RL, não exigindo rollouts extras, sondagens de controle ou anotações de oráculo. O overhead é desprezível (<1% do tempo de execução).

3. Integração de Sinais:
   O score final é $S_m = \beta \hat{L}_m + (1-\beta) T_m$. O coeficiente $\beta$ equilibra os dois sinais. O método atualiza dinamicamente as estimativas de valor para ambos os braços amostrados e não amostrados (usando aprendibilidade em cache e estimativas de transferibilidade frescas), permitindo que o currículo mude o foco mesmo quando um domínio não está sendo amostrado no momento.

Principais Contribuições

1. Currículo Bandit Sensível à Transferência: O primeiro framework de currículo para RL multidomínio que otimiza explicitamente a transferibilidade entre domínios junto com a aprendibilidade local. Ele aborda a limitação de métodos anteriores que consideram apenas "o que a política pode aprender agora", em vez de "o que ajuda a política a aprender em todo lugar".
2. Sinal de Geometria de Gradiente Auto-Supervisionado: Um método computacionalmente eficiente para estimar a transferibilidade usando cossenos de gradientes projetados. Este sinal é adaptativo (evoluindo com a política) e relativo (classifica domínios com base no alinhamento atual, em vez de magnitude absoluta), evitando a necessidade de validações externas caras.
3. Validação Empírica: Demonstrado em uma suíte de seis domínios de raciocínio (Math, Codegen, Logic, Simulation, Table, STEM) utilizando modelos Qwen3-1.7B e Llama3.2-3B.

Resultados Experimentais

O artigo avalia o TAC contra quatro baselines:

• Base: Sem treinamento de RL.
• Random: Amostragem aleatória proporcional (uniforme ou ponderada pelo tamanho dos dados).
• M2O (Math-to-Others): Um currículo de duas etapas desenhado à mão (treinar em matemática, depois nos outros).
• SEC: Um bandit de apenas aprendibilidade ($\beta=1$).

Principais Descobertas:

• Desempenho Superior: O TAC atinge a melhor acurácia média macro em ambos os backbones de modelo. No Qwen3-1.7B, ele melhora sobre o baseline mais forte (SEC) em +1,8 pontos percentuais (+5,6% relativo). No Llama3.2-3B, ele melhora sobre o M2O em +1,6 pontos percentuais (+5,4% relativo).
• Robustez à Imbalanço: Em experimentos com orçamentos de dados enviesados (onde Math e STEM têm 3x mais dados que os outros domínios), o TAC supera o SEC em +1,5 pontos. O baseline de apenas aprendibilidade (SEC) se compromete excessivamente com os domínios dominantes (Math/STEM) mesmo quando suas atualizações deixam de beneficiar outros domínios, enquanto o sinal de transferibilidade do TAC redireciona a amostragem para domínios sub-representados, mas altamente transferíveis (como Table e Logic).
• Dinâmica do Currículo: A análise mostra que o domínio mais aprendível (frequentemente STEM ou Math) é frequentemente não o mais transferível. O SEC tende a se "ancorar" no domínio mais aprendível cedo no treinamento, enquanto o TAC desloca dinamicamente a amostragem para domínios com alto alinhamento de gradiente (ex: Table), levando a uma generalização mais ampla.
• Ablações: Remover o termo de transferibilidade ($\beta=1$) causa uma queda acentuada de desempenho, confirmando sua necessidade. O método é robusto a variações de hiperparâmetros, particularmente ao coeficiente de mistura $\beta$, que atinge o pico em torno de 0,2 (indicando uma forte necessidade de sinais de transferibilidade mesmo quando a aprendibilidade está presente).

Significância e Alegações

O artigo afirma que a transferibilidade entre domínios é um sinal chave, anteriormente subutilizado, para o design de currículo em RLVR multi-domínio.

• Mudança de Paradigma: O trabalho vai além de otimizar ganhos locais imediatos (aprendibilidade) para otimizar o alinhamento geométrico das atualizações em toda a suíte de treinamento.
• Eficiência: Demonstra que sinais de currículo de alta qualidade podem ser derivados "gratuitamente" dos gradientes de treinamento existentes, tornando-o uma adição prática aos pipelines de RLVR existentes sem custo computacional significativo.
• Generalização: Os resultados sugerem que uma única política pode raciocinar competentemente através de tarefas heterogêneas se o currículo de treinamento considerar explicitamente como as habilidades são transferidas, em vez de tratar os domínios como silos independentes ou depender de cronogramas estáticos.
• Limitações: Os autores observam que o TAC visa a distribuição de amostragem e é complementar, não um substituto para avanços em otimizadores, modelos de recompensa ou arquiteturas. Além disso, a implementação atual depende de recompensas verificáveis (RLVR); estender esses sinais para domínios não verificáveis (que dependem de juízes LLM) é deixado para trabalhos futuros.

Em resumo, o TAC estabelece que, para o raciocínio multidomínio, saber onde o modelo está melhorando é insuficiente; é necessário também saber onde essas melhorias irão se propagar.