Resumo Técnico: Compute as Teacher (CaT)

Declaração do Problema

O pós-treinamento de modelos de linguagem de grande escala (LLMs) para habilidades especializadas geralmente depende de Ajuste Fino Supervisionado (SFT) com respostas de referência rotuladas por humanos ou de Aprendizado por Reforço (RL) com recompensas verificáveis provenientes de verificadores programáticos. Embora eficazes para domínios como matemática e código, essas abordagens falham em domínios não verificáveis (por exemplo, orientação em saúde, escrita criativa, diálogo livre) onde:

1. Múltiplas respostas válidas existem, e especialistas podem discordar.
2. A verificação de regras determinística é impraticável.
3. A anotação humana é cara, difícil de escalar ou indisponível.

Alternativas existentes, como usar um LLM como juiz para pontuar saídas livres, sofrem de inconsistência, viés de verbosidade e exploração de recompensas. O artigo pergunta: O computo em tempo de inferência pode substituir a supervisão ausente?

Metodologia: Compute as Teacher (CaT)

Os autores propõem Compute as Teacher (CaT), um framework que converte o computo em tempo de inferência em sinais de supervisão para treinamento por RL sem exigir rótulos de verdade fundamental. O framework opera em duas etapas principais, aproveitando trajetórias paralelas geradas pela política atual $\pi_t$.

1. Estimativa de Referência

Em vez de depender de uma referência fornecida por humanos, o CaT agrega $G$ trajetórias paralelas ($o_{1:G}$) geradas para um prompt $q$ em uma pseudo-referência ($s$). Essa agregação captura a incerteza do modelo, pois as trajetórias frequentemente diferem exatamente onde o modelo está inseguro.

• Estratégias de Agregação: O framework é agnóstico ao método. Ele explora Síntese, onde uma política âncora congelada ($\pi_0$) condiciona-se ao conjunto de trajetórias para gerar uma nova resposta reconciliada. Isso permite que o sistema combine fragmentos corretos de diferentes trajetórias (por exemplo, etapas intermediárias corretas de uma e uma conclusão válida de outra).
• Alternativas: Estratégias de seleção como Voto Majoritário ou Best-of-N também são compatíveis, embora a síntese seja destacada por sua capacidade de construir respostas fora da distribuição original das trajetórias.

2. Derivação de Recompensa

A pseudo-referência $s$ é usada para derivar recompensas para as trajetórias individuais, a fim de atualizar a política via Otimização de Política Relativa em Grupo (GRPO). O mecanismo difere com base na verificabilidade do domínio:

• Domínios Verificáveis (por exemplo, Matemática, Código): As recompensas são binárias, baseadas em se a resposta final de uma trajetória corresponde à resposta da pseudo-referência.
• Domínios Não Verificáveis (por exemplo, Saúde): O artigo introduz Critérios Auto-Propostos.
  • A política âncora $\pi_0$ gera um conjunto de critérios binários e verificáveis ($R = \{r_1, \dots, r_n\}$) derivados especificamente da pseudo-referência $s$ (por exemplo, "recomenda consultar um profissional médico").
  • Um modelo juiz independente ($\pi_J$) pontua cada trajetória contra esses critérios.
  • A recompensa é a fração de critérios satisfeitos. Isso decompõe julgamentos qualitativos difusos em verificações binárias específicas e auditáveis, mitigando a instabilidade da pontuação direta de LLM como juiz.

Loop de Treinamento

O processo itera: a política gera trajetórias $\to$ a estimativa de referência cria $s$ $\to$ a derivação de recompensa pontua as trajetórias contra $s$ $\to$ o GRPO atualiza a política. Crucialmente, o framework amortiza o custo computacional de gerar múltiplas trajetórias e agregá-las durante o treinamento, permitindo que a política final treinada produza saídas únicas de alta qualidade no momento da inferência.

Principais Contribuições

1. Critérios Auto-Propostos: Um mecanismo de recompensa novel para RL não verificável que decompõe o julgamento em critérios binários gerados a partir de pseudo-referências, eliminando a necessidade de critérios ou respostas de referência anotados por humanos.
2. Framework Compute as Teacher (CaT): Um paradigma geral para transformar computo de inferência em supervisão via estimativa de referência e derivação de recompensa. Demonstra que a síntese (agregação generativa) pode superar bases de seleção ao reconciliar informações distribuídas entre trajetórias.
3. Validação Empírica: Experimentos abrangentes em três famílias de modelos (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) em domínios não verificáveis (HealthBench) e verificáveis (MATH-500).

Resultados

• Ganhos de Desempenho: Modelos treinados com CaT alcançam até +30% de melhoria relativa no HealthBench e +33% no MATH-500 em comparação com a política inicial não treinada.
• Eficiência: Modelos treinados igualam ou superam a qualidade da agregação em tempo de inferência (por exemplo, síntese) enquanto usam 9× menos computo em tempo de teste. O modelo aprende a internalizar a capacidade de agregação, exigindo apenas uma passagem direta na inferência.
• Domínios Não Verificáveis: Critérios auto-propostos performam comparavelmente a critérios anotados por médicos especialistas no HealthBench e superam significativamente a pontuação direta "Modelo como Juiz".
• Síntese vs. Seleção: A estimativa de referência baseada em síntese supera as bases de seleção (Voto Majoritário, Best-of-N) em domínios não verificáveis. Em casos onde a síntese discorda do consenso, ela está correta 70–86% das vezes, frequentemente corrigindo erros presentes em todas as trajetórias individuais.
• RL vs. SFT: RL com recompensas de critério supera consistentemente o Ajuste Fino Supervisionado (SFT) em referências sintetizadas, sugerindo que o RL generaliza melhor a partir de dados limitados e sintetizados.

Significado e Afirmações

O artigo afirma que o CaT fornece uma solução prática e "plug-and-play" para o pós-treinamento de LLMs em domínios onde respostas de referência são escassas, caras ou inexistentes. Ao aproveitar o computo de inferência para gerar sua própria supervisão, o framework:

• Preenche a lacuna entre RL verificável e não verificável, funcionando como uma abordagem unificada.
• Reduz a dependência de anotação humana, oferecendo um caminho para domínios especializados onde o rótulo de especialistas é um gargalo.
• Amortiza custos computacionais, deslocando o trabalho pesado de agregação do tempo de inferência (repetidamente) para o tempo de treinamento (uma vez), resultando em implantação mais eficiente.

Os autores notam limitações, incluindo a dependência da capacidade do modelo base de gerar trajetórias diversas e o potencial de platôs de desempenho à medida que as trajetórias convergem (colapso de entropia). No entanto, posicionam o CaT como um passo significativo em direção à habilitação de aprendizado sem referência em domínios complexos e qualitativos.