Resumo Técnico: Internalização do Julgamento de Currículo para Ajuste Fino por Reforço de Modelos de Linguagem de Grande Porte

Declaração do Problema

No Ajuste Fino por Reforço (RFT) de Modelos de Linguagem de Grande Porte (LLM), a eficiência de aprendizado e o desempenho final dependem fortemente do aprendizado de currículo—a estratégia de selecionar quais prompts usar no treinamento. O aprendizado eficaz exige focar em problemas próximos à "zona de desenvolvimento proximal", onde a política não está consistentemente tendo sucesso nem falhando consistentemente. No entanto, os métodos atuais de currículo sofrem de um desalinhamento crítico: eles externalizam o julgamento da informatividade do prompt.

As abordagens existentes dependem de:

1. Heurísticas manuais: Regras estáticas baseadas em dificuldade offline ou categorias de domínio.
2. Modelos auxiliares: Modelos aprendidos separadamente (avaliadores) que estimam a dificuldade do prompt.
3. Filtragem post-hoc: Seleção de prompts após os rollouts com base em estatísticas.

Esses métodos tratam a política como um receptor passivo de um currículo definido externamente. Como a fronteira de competência da política se desloca dinamicamente à medida que ela aprende, os seletores externos frequentemente se desviam do alinhamento com o estado atual do modelo, levando a uma alocação subótima de recursos computacionais. Além disso, muitas heurísticas existentes (por exemplo, limiares de taxa de aprovação) são restritas a recompensas binárias e falham ao generalizar para configurações de recompensa contínua, como geração de código ou tarefas agênticas.

Metodologia: METIS

Os autores propõem o METIS (Autojulgamento Internalizado Metacognitivo), um quadro que internaliza o julgamento de currículo como uma capacidade nativa da própria política. O METIS reestrutura o aprendizado de currículo não como seleção de dados, mas como o treinamento do modelo para decidir o que aprender a seguir.

Mecanismo Central

O METIS opera na observação de que a variância de recompensa dentro do prompt é um sinal geral, dependente da política, da informatividade do prompt.

• Baixa Variância: A política resolve consistentemente ou falha consistentemente em um prompt (sinal de aprendizado baixo).
• Alta Variância: A política produz resultados diversos para o mesmo prompt, indicando que o prompt está na fronteira de competência (sinal de aprendizado alto).

O METIS implementa um design de duas frentes para internalizar esse julgamento:

1. Autojulgamento em Contexto (Pré-Rollout):
   Em vez de usar um avaliador externo, a própria política $\pi_\theta$ prevê a variância de recompensa esperada para prompts candidatos. Ela faz isso por meio de Aprendizado em Contexto (ICL).

   • A política recebe uma "memória de calibração" ($\mathcal{M}_t$) contendo pares recentes de prompts e suas variâncias de recompensa realizadas da história atual de treinamento.
   • Para cada prompt candidato, a política gera uma resposta estruturada prevendo a variância $\hat{v}_\theta(x)$.
   • Os prompts são classificados por essas previsões, e os $B$ prompts mais informativos são selecionados para o rollout.

2. Otimização Conjunta (Pós-Rollout):
   O METIS fecha o ciclo otimizando conjuntamente dois objetivos dentro da mesma política:

   • Perda de Tarefa ($\mathcal{L}_{policy}$): Perda padrão de RFT relativa a grupos (por exemplo, GRPO) para melhorar as capacidades de resolução de problemas.
   • Perda de Autojulgamento ($\mathcal{L}_{judge}$): Uma recompensa de calibração que penaliza a diferença entre a variância prevista $\hat{v}_\theta(x)$ e a variância realizada $v(x)$ obtida dos rollouts.

   O objetivo total é $\mathcal{L}_{total} = \mathcal{L}_{policy} + \lambda \mathcal{L}_{judge}$. Isso força a política não apenas a resolver tarefas, mas também a avaliar com precisão seu próprio estado de aprendizado, aprendendo efetivamente uma habilidade metacognitiva.

Generalização

Ao contrário de trabalhos anteriores restritos a recompensas binárias (aprovar/reprovar), o METIS formaliza a informatividade usando a variância das recompensas $v_\theta(x) = \text{Var}_{y \sim \pi_\theta} [r(x, y)]$. Essa formulação estende-se naturalmente a recompensas contínuas (por exemplo, crédito parcial na geração de código, pontuações de trajetória em tarefas agênticas) sem exigir definições específicas de dificuldade para a tarefa.

Contribuições Principais

1. Formulação do Problema: Os autores formalizam o aprendizado de currículo para RFT de LLM como um problema de rastreamento de fronteira de competência dependente da política, identificando a variância de recompensa dentro do prompt como um sinal unificado para recompensas discretas e contínuas.
2. Quadro METIS: Eles introduzem o primeiro quadro de RFT de LLM para internalizar o julgamento de currículo. Ao otimizar conjuntamente o desempenho da tarefa e a precisão do autojulgamento, o METIS transforma a seleção de currículo de um mecanismo externo em uma capacidade aprendida pela política.
3. Validação Empírica: O METIS é validado em diversos benchmarks (raciocínio matemático, geração de código, chamada de funções agênticas) e backbones de modelos (Qwen, Llama, DeepSeek).

Resultados Experimentais

O artigo relata experimentos extensivos em tarefas de recompensa discreta (matemática) e contínua (código, agêntico).

• Desempenho: O METIS alcança consistentemente uma precisão final superior em comparação com as linhas de base (Sem Currículo, Agendamento por Categoria, Heurísticas Manuais e seletores de Modelo Auxiliar).
• Eficiência: O METIS acelera significativamente a convergência, alcançando até 67% de redução no tempo de relógio para atingir o desempenho máximo em comparação com a amostragem uniforme.
• Sobrecarga: O método introduz sobrecarga computacional mínima (aprox. 3,9% por passo) porque o autojulgamento é uma previsão curta de ICL, que é muito mais barata do que gerar rollouts completos de tarefas.
• Dinâmica de Convergência: O METIS mantém uma vantagem média relativa a grupos mais alta durante todo o treinamento, indicando que ele concentra com sucesso os recursos computacionais em prompts com o maior sinal de aprendizado.
• Estudos de Ablação:
  • A remoção de exemplos em contexto ($K=0$) faz com que a política falhe em analisar a tarefa, tratando prompts como problemas padrão em vez de previsões de variância.
  • A remoção da perda de julgamento ($\lambda=0$) resulta em previsões não calibradas que não rastreiam a fronteira móvel tão efetivamente, embora o ICL sozinho ainda forneça algum benefício.
  • O método funciona efetivamente em tarefas de recompensa contínua onde as linhas de base baseadas em taxa de aprovação falham ou exigem extensões ad-hoc.

Significado e Alegações

O artigo afirma que o METIS estabelece um paradigma simples, de ciclo fechado e altamente eficiente para o ajuste fino por reforço de LLMs. Ao contornar heurísticas manuais e modelos auxiliares, o METIS demonstra que um LLM pode aprender a monitorar seu próprio estado de aprendizado e selecionar seu próprio currículo.

Os autores posicionam isso como uma mudança de "selecionar dados" para "treinar o modelo para decidir o que aprender". Eles observam que, embora o METIS dependa da capacidade de aprendizado em contexto da política base, ele remove a necessidade de ajuste externo ou modelos seletores separados. O trabalho conclui que o julgamento de currículo em nível de prompt pode ser absorvido de forma confiável na própria política, oferecendo um quadro metacognitivo que melhora tanto a eficiência quanto a eficácia do RFT em diversos domínios.

Limitações Reconhecidas: Os autores notam modestamente que o METIS depende das capacidades de ICL da política base, que podem variar em backbones mais fracos. Eles também afirmam que, embora as dinâmicas de treinamento pareçam estáveis, eles não quantificam formalmente a estabilidade do treinamento neste trabalho.