Resumo Técnico: Pense-Com-Rúbricas

1. Declaração do Problema

As abordagens atuais de Aprendizado por Reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs) destacam-se em tarefas verificáveis onde existem rótulos de verdade fundamental. No entanto, estender o RL para tarefas de seguimento de instruções abertas e não verificáveis permanece desafiador devido à falta de sinais de recompensa confiáveis. As soluções existentes frequentemente dependem de recompensas escalares ou de modelos de recompensa generativos monolíticos, que fornecem supervisão excessivamente grosseira para capturar a qualidade matizada das respostas.

Embora os recentes paradigmas "Rúbrica-como-Recompensa" tenham melhorado isso ao decompor tarefas em critérios estruturados e interpretáveis, uma limitação crítica persiste: as rúbricas são tratadas exclusivamente como avaliadores externos. Nos frameworks atuais, as rúbricas são aplicadas post-hoc para medir o desempenho após o modelo ter gerado uma resposta. Este design impede que as rúbricas guiem ativamente o processo de geração do modelo ou sua trajetória de raciocínio, deixando-as desconectadas do traço de raciocínio primário da política.

2. Metodologia: Pense-Com-Rúbricas

Os autores propõem o PENSE-COM-RÚBRICAS, um paradigma novel que internaliza a geração de rúbricas como parte intrínseca do processo de raciocínio do modelo. Em vez de gerar uma resposta diretamente, o modelo primeiro constrói uma rúbrica auto-gerada para definir critérios de sucesso e, em seguida, gera uma resposta condicionada a esses critérios.

2.1 Paradigma Central

A trajetória da política $\tau$ é fatorizada em duas etapas sequenciais:

1. Geração de Rúbrica: O modelo gera uma rúbrica auto-gerada $\hat{r}$ com base na instrução de entrada $x$: $\hat{r} \sim \pi_\theta(\hat{r} | x)$.
2. Geração de Resposta: O modelo gera a resposta final $y$ condicionada tanto à instrução quanto à rúbrica auto-gerada: $y \sim \pi_\theta(y | x, \hat{r})$.

Isso transforma o modelo de um executor passivo em um deliberador ativo que estabelece regras de sucesso antes de raciocinar.

2.2 Fluxo de Treinamento

O processo de treinamento consiste em duas etapas:

Etapa 1: Aquecimento SFT
Para garantir que o modelo adira ao formato específico <rúbrica>...</rúbrica><resposta>...</resposta> e para evitar que o RL desperdice etapas na conformidade de formato, os autores realizam o Ajuste Fino Supervisionado (SFT).

• Destilação do Professor: As respostas são destiladas a partir do Gemini-2.5-Flash no conjunto de dados Openrubrics.
• Objetivo: Maximizar a verossimilhança sobre toda a trajetória, inicializando a política com uma estrutura estável que separa a construção da rúbrica da geração da resposta.

Etapa 2: Treinamento RL
O modelo é otimizado usando o algoritmo DAPO com um sistema de recompensa composto $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$.

• Verificador de Rúbrica: Um verificador especializado e leve (destilado do Qwen3-32B-Instruct) avalia se uma resposta satisfaz critérios específicos, emitindo uma pontuação de conformidade ponderada.
• Recompensa de Consistência com Rúbrica Dourada ($R_{gold}$): Mede a conformidade da resposta final contra a rúbrica "dourada" de verdade fundamental ($r^*$) do Openrubrics.
• Recompensa de Consistência com Rúbrica Auto-gerada ($R_{self}$): Mede a conformidade da resposta final contra a própria rúbrica gerada pelo modelo ($\hat{r}$). Isso impõe o alinhamento interno.
• Recompensa de Formato ($R_{fmt}$): Previne a "exploração de recompensa" (por exemplo, gerar critérios triviais) garantindo que a rúbrica e a resposta sejam analisadas com sucesso e que o número de critérios caia dentro de uma faixa razoável (5–15, com pico em 10).

2.3 Hipótese Chave

Os autores hipotetizam que a otimização conjunta de $R_{gold}$ e $R_{self}$ cria um ciclo de feedback: se uma resposta satisfaz a rúbrica auto-gerada e também pontua altamente na rúbrica dourada, a rúbrica auto-gerada é implicitamente incentivada a alinhar-se com o padrão dourado ($S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$).

3. Contribuições Principais

1. Mudança de Paradigma: Transforma as rúbricas de métricas de avaliação externas em etapas cognitivas internas, permitindo que os modelos adaptem dinamicamente os critérios a contextos específicos dentro da cadeia de raciocínio.
2. Fluxo de Treinamento Unificado: Introduz um método que combina supervisão de rúbricas auto-geradas e douradas, demonstrando que a supervisão explícita sobre a qualidade da rúbrica é desnecessária; a aprendizagem de rúbricas emerge através da otimização conjunta da consistência da resposta.
3. Auto-evolução Escalável: Demonstra que os modelos podem alcançar desempenho competitivo usando apenas supervisão de rúbrica auto-gerada, sugerindo um caminho para auto-evolução escalável sem dependência de anotações externas de verdade fundamental.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos Qwen3-8B e Qwen3-4B em três benchmarks de seguimento de instruções: IFEval, IFBench e InfoBench.

• Ganhos de Desempenho: O PENSE-COM-RÚBRICAS supera consistentemente a linha de base "Rúbrica-como-Recompensa" (que usa rúbricas douradas apenas como recompensas externas).
  • No modelo de 8B, a configuração de recompensa mista alcançou uma melhoria média de 3,87 pontos sobre a linha de base.
  • No modelo de 4B, a melhoria foi de 4,16 pontos.
• Composição de Recompensa: A configuração de recompensa mista (combinando consistência dourada e auto-gerada) produziu os melhores resultados. No entanto, a configuração "Apenas recompensa auto-gerada" (57,17% média) superou ligeiramente a configuração "Apenas recompensa dourada" (56,81%), validando a viabilidade da auto-evolução.
• Eficiência: O comprimento médio de pensamento para o PENSE-COM-RÚBRICAS (231 tokens) foi significativamente menor do que o pensamento vanilla (401 tokens), indicando que as rúbricas condensam requisitos vitais em um processo simplificado.

Análise de Mecanismo

• Melhoria Implícita de Qualidade: A supervisão via rúbricas douradas melhora implicitamente a qualidade das rúbricas auto-geradas, mesmo sem comparação direta em nível de rúbrica.
• Consistência Interna: A supervisão de rúbrica auto-gerada melhora significativamente a consistência entre as próprias rúbricas do modelo e suas respostas. Modelos não treinados frequentemente falham em seguir seus próprios critérios gerados; a auto-supervisão mitiga essa inconsistência interna.
• Qualidade da Rúbrica vs. Desempenho: Embora a supervisão apenas-auto melhore o desempenho no seguimento de instruções, as rúbricas resultantes não são necessariamente avaliadores de propósito geral melhores (como visto no RewardBench-2). Seu valor reside em manter a consistência de restrições durante o próprio processo de geração do modelo.

5. Significado e Alegações

O artigo alega que o PENSE-COM-RÚBRICAS oferece uma solução robusta para alinhar LLMs com instruções abertas, fechando a lacuna entre a modelagem de recompensa e a geração de política.

• Guia Ativo: Ao tratar as rúbricas como etapas de raciocínio internas em vez de verificações externas, o modelo guia ativamente sua própria geração em direção aos resultados desejados, imitando a metacognição humana.
• Potencial de Auto-evolução: A capacidade do modelo de melhorar usando apenas rúbricas auto-geradas sugere um caminho viável para auto-evolução escalável, reduzindo a dependência de anotações externas de verdade fundamental.
• Generalizabilidade: O paradigma permanece eficaz em diferentes escalas de modelo (de 4B a 8B) e várias configurações de pesos de recompensa, demonstrando robustez.

Os autores concluem que integrar a geração de rúbricas na trajetória de raciocínio é um paradigma geral para o alinhamento de tarefas abertas, oferecendo uma abordagem mais estruturada e autoconsistente do que os métodos tradicionais de "pensar" ou "cadeia de pensamento".