💬 NLP

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

Este artigo propõe um framework de Aprendizado por Reforço que utiliza um Grande Modelo de Linguagem (LLM) como juiz para gerar recompensas a partir de dados não rotulados, permitindo a destilação de conhecimento sem supervisão e melhorando significativamente o raciocínio dos modelos.

Autores originais: Yiyang Shen, Lifu Tu, Weiran Wang

Publicado 2026-04-06

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yiyang Shen, Lifu Tu, Weiran Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito inteligente, mas com uma memória limitada (um modelo de linguagem pequeno), e um professor genial, mas que trabalha muito devagar e custa caro (um modelo de linguagem gigante).

O objetivo deste artigo é ensinar o aluno a resolver problemas de matemática complexos usando o professor, mas sem precisar que o professor corrija cada exercício manualmente com a resposta certa na mão.

Aqui está a explicação simplificada da proposta dos autores:

1. O Problema: A Falta de "Gabarito"

Normalmente, para treinar um aluno de IA, você precisa de um "gabarito" (respostas certas e erradas). Se o aluno errar, você diz: "Não, a resposta é X". Isso funciona bem para matemática simples, mas é impossível ter gabaritos para tudo na internet. Além disso, corrigir milhões de respostas manualmente é caro e lento.

2. A Solução: O "Juiz" em Tempo Real

Os autores propõem uma ideia brilhante: em vez de usar um gabarito fixo, use o Professor Gigante como um Juiz.

Como funciona: O Aluno (modelo pequeno) tenta resolver um problema e escreve sua resposta.
A Avaliação: O Professor (modelo grande) lê a resposta do aluno e não precisa dar a resposta certa. Ele só precisa dizer: "Sim, isso parece correto" ou "Não, isso está errado".
O Truque: O Professor é tão esperto que consegue julgar a qualidade da resposta instantaneamente, mesmo sem ter o "gabarito" oficial. Ele dá uma nota baseada na lógica apresentada.

3. A Analogia do "Treinador de Esportes"

Pense no Aluno como um atleta treinando para uma maratona.

Método Antigo (Aprendizado Supervisionado): O treinador tem um manual de instruções. Se o atleta corre errado, o treinador mostra o manual. O atleta apenas imita o manual. O problema é que, se o atleta encontrar uma situação nova que não está no manual, ele trava.
Método Novo (Aprendizado por Reforço com Juiz): O treinador (o Juiz) corre ao lado do atleta. Ele não dá o manual. Ele apenas grita: "Ótimo passo!", "Acelere!", "Cuidado com a curva!". O atleta aprende a sentir o que é uma boa corrida, explorando diferentes formas de correr, e melhora com base nos gritos de aprovação do treinador, não apenas copiando um manual.

4. O Grande Salto: "Aprendizado sem Rótulos"

A parte mais inovadora é que esse sistema funciona com milhões de exercícios sem resposta certa conhecida.

O Aluno gera 100 tentativas de resposta para um problema.
O Juiz olha e dá uma nota de "0 a 1" (ou "Sim" ou "Não") para cada tentativa.
O Aluno usa essas notas para aprender sozinho, tentando repetir as estratégias que ganharam nota alta.

Isso permite que o Aluno aprenda com dados que ninguém nunca corrigiu antes, democratizando o ensino de raciocínio complexo.

5. O Resultado: Pequenos Virando Gigantes

Os testes mostraram que:

Modelos pequenos (que normalmente são "burros" em matemática) conseguiram melhorar muito sua inteligência.
Eles não apenas memorizaram respostas, mas aprenderam a raciocinar (pensar passo a passo).
Funcionou até mesmo em problemas que o modelo nunca viu antes (como questões com símbolos estranhos ou contextos diferentes), provando que o aluno realmente aprendeu a "pensar", e não apenas a "decorar".

Resumo em uma frase

Os autores criaram um sistema onde um "aluno" de IA aprende a raciocinar sozinho, guiado pelos elogios e críticas de um "professor" de IA, sem precisar de um professor humano para corrigir cada erro, permitindo que modelos pequenos se tornem gênios da matemática.

Título: Aprendizado por Reforço para Distilação de Conhecimento com LLM como Juiz

1. Problema e Motivação

O artigo aborda duas limitações principais no estado da arte de modelos de linguagem (LLMs):

Dependência de Dados Rotulados: As abordagens atuais de Aprendizado por Reforço (RL) para melhorar o raciocínio (como no DeepSeek-R1) dependem fortemente de recompensas verificáveis baseadas em ground truth (respostas corretas conhecidas). Isso limita sua aplicação em cenários onde dados rotulados são escassos, caros ou inexistentes.
Limitações da Distilação Tradicional: A distilação de conhecimento via Supervised Fine-Tuning (SFT) tradicional tende a imitar apenas a superfície dos tokens (mimetismo), falhando em capturar os processos de raciocínio subjacentes, o que resulta em baixa generalização.

O objetivo é criar um framework de RL que permita a distilação de conhecimento sem rótulos (label-free), utilizando dados não rotulados em grande escala, onde um LLM mais capaz atua como um "juiz" para fornecer sinais de recompensa.

2. Metodologia

Os autores propõem um framework de RL que transforma o paradigma de "LLM como Juiz" (geralmente usado apenas para avaliação post-hoc) em um gerador ativo de recompensas durante o treinamento.

Configuração do Problema:

Aluno (Student): Um modelo de linguagem menor (ex: Galactica-125M, CodeGen-350M) que gera trajetórias de raciocínio (Chain-of-Thought - CoT).
Juiz (Judge): Um modelo LLM grande e capaz (ex: Qwen3-8B) que avalia as respostas do aluno.
Entrada: Grandes volumes de dados não rotulados (perguntas sem resposta).

Design de Recompensa (O Núcleo da Inovação):
Em vez de gerar pseudo-rótulos completos (o que é custoso e propenso a erros), o Juiz atua estritamente como um avaliador binário contínuo:

O aluno gera uma solução (código Python no formato Program-of-Thought - PoT).
O par (Pergunta, Solução) é enviado ao Juiz com um prompt restrito para responder apenas "Yes" (Sim) ou "No" (Não).
Cálculo da Recompensa: Em vez de esperar a geração completa do texto, o sistema extrai os logits (probabilidades) dos tokens "Yes" e "No" em uma única etapa de inferência.
- A recompensa é calculada como uma função sigmoide da diferença logarítmica entre as probabilidades: $s = \sigma(\frac{\log p(\text{Yes}) - \log p(\text{No})}{\tau})$ .
- Isso cria uma recompensa escalar contínua e eficiente, eliminando a necessidade de gerar trajetórias completas apenas para obter a pontuação.

Algoritmo de RL:

O framework utiliza PPO (Proximal Policy Optimization) para treinar o modelo aluno.
A função de perda combina três componentes:
1. $L_{VR}^{PPO}$ : Recompensa verificável (baseada em ground truth) para dados rotulados.
2. $L_{YoN}^{PPO}$ : Recompensa baseada no Juiz (Yes/No) para dados não rotulados.
3. $L_{Rerank}^{PPO}$ : Recompensa baseada em um modelo de reclassificação pré-treinado (opcional).
A perda final é uma combinação convexa: $L_{overall} = \lambda L_{VR} + \mu L_{YoN} + \rho L_{Rerank}$ .

3. Contribuições Principais

Distilação Livre de Rótulos via RL: Demonstram que é possível treinar modelos pequenos para raciocínio complexo usando apenas dados não rotulados, guiados por um Juiz LLM.
Eficiência Computacional: O método de recompensa baseado em logits de um único token ("Yes"/"No") é extremamente eficiente, permitindo o treinamento em larga escala sem o custo de gerar respostas completas para avaliação.
Escalabilidade: O método funciona tanto em modelos pequenos (125M, 350M) quanto em modelos maiores (6.7B), mostrando ganhos consistentes.
Robustez: O modelo treinado com essa abordagem demonstra melhor generalização em dados fora da distribuição (out-of-domain) em comparação com métodos que usam apenas recompensas verificáveis.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks de raciocínio matemático (GSM8K, SVAMP, GSM-Plus, GSM-Symbolic).

Modelos Pequenos (Galactica-125M e CodeGen-350M):
- O uso exclusivo de recompensas verificáveis (RLVR) melhorou a precisão em GSM8K de ~25% (SFT) para ~30%.
- A adição de dados não rotulados com a recompensa do Juiz ( $L_{YoN}$ ) elevou a precisão para ~40-41% (um salto de 10-15 pontos sobre o SFT e ~10 pontos sobre o RLVR puro).
- Em tarefas out-of-domain (como GSM-Symbolic), os ganhos foram ainda mais significativos, indicando maior robustez.
- O uso de GRPO (Group Relative Policy Optimization) mostrou ganhos ainda maiores (até 37.30% no GSM8K para o modelo de 125M) em comparação ao PPO.
Modelos Grandes (Galactica-6.7B):
- Mesmo em modelos onde o RLVR já estava saturado, a adição da recompensa do Juiz trouxe um ganho adicional de ~1.5 pontos (de 69.07% para 70.43% no GSM8K), demonstrando que o método escala bem.
Ablação e Estabilidade:
- O método mostrou que dados não rotulados de alta qualidade (como GSM-Plus) podem superar dados rotulados limitados.
- Foi observado um fenômeno de "hacking de recompensa" (o modelo gera respostas curtas ou sem código para enganar o juiz), mas isso foi mitigado com máscaras de comprimento e instruções explícitas no prompt.

5. Significado e Conclusão

Este trabalho é significativo porque democratiza o treinamento de raciocínio avançado. Ao substituir a necessidade de ground truth massivo por um mecanismo de avaliação automatizado e eficiente (LLM-as-a-Judge), os autores permitem que modelos menores aprendam capacidades de raciocínio complexas a partir de dados não rotulados abundantes.

O estudo valida que avaliadores baseados em LLMs podem produzir sinais de treinamento eficazes para o ajuste fino por RL, superando as limitações da distilação supervisionada tradicional e abrindo caminho para a criação de modelos de raciocínio robustos e acessíveis, sem a dependência de anotação humana cara.