Resumo Técnico: Repensando a Supervisão de Recompensa: Auto-destilação Condicionada por Rubrica

Declaração do Problema

O pós-treinamento de modelos de linguagem de raciocínio (LLMs) depende fortemente de dois paradigmas atuais, ambos os quais sofrem de limitações significativas ao fornecer feedback detalhado:

1. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Métodos como o Group Relative Policy Optimization (GRPO) tipicamente comprimem o feedback avaliativo em um sinal escalar esparso (por exemplo, correção binária ou uma pontuação única). Embora eficaz para tarefas verificáveis, essa abordagem obscurece o porquê de uma trajetória ter tido sucesso ou falhado, criando um "gargalo de atribuição de crédito", onde o modelo não consegue distinguir entre passos de raciocínio corretos e incorretos.
2. Auto-destilação On-Policy (OPSD): Esses métodos substituem recompensas esparsas por orientação densa ao nível de token proveniente de um modelo professor. No entanto, abordagens existentes condicionam o professor a uma única trajetória de referência privilegiada (uma solução padrão específica). Isso vincula a supervisão a um caminho de raciocínio específico, potencialmente sobreespecificando como uma resposta deve ser produzida e ignorando o espaço de derivações alternativas válidas. Além disso, se o aluno se desviar ligeiramente desse único caminho, o professor pode incentivar uma revisão global em vez de uma correção localizada.

Adicionalmente, embora as rubricas (critérios de avaliação estruturados) ofereçam uma representação de qualidade mais rica e interpretável do que pontuações escalares, trabalhos anteriores têm amplamente descartado essa estrutura durante a otimização ao agregar julgamentos de rubrica em uma recompensa escalar única.

Metodologia: Auto-destilação Condicionada por Rubrica (RCSD)

Os autores propõem a Auto-destilação Condicionada por Rubrica (RCSD), um framework que trata as rubricas como supervisão estruturada e privilegiada do lado do professor para a auto-destilação on-policy. Em vez de colapsar o feedback da rubrica em um escalar, o RCSD condiciona o modelo professor no nível de critério para fornecer orientação densa ao nível de token nas próprias trajetórias amostradas pelo aluno.

O framework opera através de um pipeline de dois estágios:

Estágio I: Aprendendo um Gerador de Rubricas

Para lidar com o alto custo de obter rubricas específicas para cada instância, os autores treinam um gerador de rubricas dedicado.

• Política do Professor: Recebe a questão ($x$) e uma resposta de referência ($y^\star$) como entrada privilegiada para inferir os critérios de avaliação apropriados.
• Política do Aluno: Observa apenas a questão ($x$) e aprende a gerar uma rubrica ($r$) que aproxima os critérios do professor.
• Objetivo: O aluno é treinado via destilação on-policy para corresponder à distribuição de tokens do professor ao longo da própria trajetória de rubrica amostrada pelo aluno. Isso amortiza a geração de critérios específicos de instância em um modelo reutilizável.

Estágio II: Raciocínio Condicionado por Rubrica

O gerador de rubricas treinado é usado para guiar o treinamento do modelo de raciocínio.

• Política do Professor: Recebe a questão ($x$) e a rubrica gerada ($r$) como contexto privilegiado.
• Política do Aluno: Observa apenas a questão ($x$) e gera uma trajetória de raciocínio ($\hat{y}$).
• Objetivo: O aluno minimiza a divergência de Kullback-Leibler (KL) entre sua distribuição e a distribuição do professor, onde o professor é condicionado pela rubrica.
  $$\mathcal{L}_{reason} = \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{t=1}^{|\hat{y}|} D_{KL} \left( p_T(\cdot \mid x, r, \hat{y}_{<t}) \parallel p_S(\cdot \mid x, \hat{y}_{<t}) \right) \right]$$
• Design Chave: Ao condicionar na rubrica em vez de uma única resposta de referência, o professor fornece orientação consciente dos critérios. Isso permite que o sinal de otimização distinga diferentes dimensões de correção parcial (por exemplo, um passo correto seguido por um erro local) em vez de comprimi-los em uma pontuação única ou em um único caminho de referência. Os autores utilizam a divergência Forward KL para encorajar o aluno a cobrir o suporte da distribuição do professor condicionada pela rubrica, preservando a diversidade entre caminhos de raciocínio válidos.

Principais Contribuições

1. Nova Interface de Supervisão: O RCSD reformula as rubricas não apenas como ferramentas de pontuação, mas como interfaces de supervisão estruturadas que moldam o aprendizado ao nível de token durante a otimização.
2. Pipeline de Dois Estágios: Os autores introduzem um método escalável para aprender rubricas específicas de tarefas automaticamente (Estágio I) e, em seguida, usá-las para guiar o raciocínio (Estágio II), removendo a dependência de anotação manual de rubricas ou recompensas caras de "LLM-as-a-Judge" durante a fase de destilação.
3. Aprendizado On-Policy Consciente de Critérios: Diferente do OPSD padrão que condiciona em uma única trajetória, o RCSD condiciona em critérios, permitindo uma atribuição de crédito refinada que penaliza erros locais específicos enquanto preserva passos corretos, mesmo nas próprias trajetórias amostradas pelo aluno.

Resultados Experimentais

O método foi avaliado em um conjunto diversificado de benchmarks de raciocínio científico, incluindo tarefas verificáveis (GPQA-DIAMOND, SciBench, PIQA) e tarefas abertas e não verificáveis (ResearchQA, RubricHub).

• Desempenho: O RCSD alcançou a melhor pontuação média geral (70,6) entre os benchmarks. Superou o modelo base Qwen3-8B em 4,7 pontos, superando o GRPO por 1,0 ponto e o OPSD por 0,9 pontos em média.
• Especificidade de Domínio: Os ganhos foram mais pronunciados em tarefas de raciocínio científico e baseadas em rubricas (por exemplo, +8,2 pontos em ResearchQA, +4,9 pontos em RubricHub), onde recompensas escalares frequentemente falham em capturar a qualidade da resposta.
• Generalização: O método demonstrou generalização robusta para benchmarks médicos fora do domínio (MedMCQA, PubMedQA) sem esquecimento catastrófico, sugerindo que os critérios aprendidos capturam estruturas de raciocínio gerais.
• Estudos de Ablação:
  • Tipo de Perda: A Forward KL mostrou-se o objetivo mais eficaz, gerando o maior desempenho médio e mantendo uma entropia (diversidade) de aluno mais alta em comparação com a Reverse KL ou a Divergência JS.
  • Fonte da Rubrica: O uso de rubricas geradas pelo gerador do Estágio I apresentou resultados competitivos com o uso de rubricas de referência de verdade fundamental (ground-truth), validando a escalabilidade da abordagem de dois estágios.
  • Robustez: O método permaneceu eficaz mesmo com entradas de rubrica degradadas (genéricas, ruidosas ou reduzidas), embora rubricas específicas de instância aprendidas tenham fornecido a supervisão mais forte.

Significância e Alegações

O artigo afirma que o RCSD oferece uma abordagem livre de verificadores para o pós-treinamento de modelos de raciocínio abertos. Ao preservar a estrutura de nível de critério durante a otimização e converter rubricas em orientação densa ao nível de token, o método aborda o gargalo de atribuição de crédito inerente à otimização de recompensa escalar e o viés de trajetória específica da destilação condicionada por referência.

Os autores sustentam que o RCSD é particularmente significativo para tarefas onde respostas de alta qualidade não podem ser totalmente capturadas por verificação automática (respostas de correspondência exata ou testes de unidade) ou recompensas de resultado escalares. Ao permitir que o modelo aprenda o que propriedades uma resposta deve satisfazer (via rubricas) em vez de como imitar um caminho de solução específico, o RCSD facilita melhorias de raciocínio mais flexíveis e robustas. O trabalho sugere que o feedback estruturado e multidimensional é um sinal de supervisão superior para tarefas de raciocínio complexas em comparação tanto com recompensas esparsas quanto com a destilação de trajetória única.