🤖 machine learning

Label-Free Reinforcement Learning via Cross-Model Entropy

Este artigo propõe a Entropia Cruzada de Modelo (CME), um sinal de recompensa para aprendizado por reforço sem rótulos que aproveita a verossimilhança logarítmica da saída de um gerador sob um modelo verificador independente para permitir um pós-treinamento eficaz no seguimento de instruções abertas, sem depender de rótulos de verdade fundamental ou preferências humanas.

Autores originais: Matt Gorbett, Hossein Shirazi

Publicado 2026-05-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Matt Gorbett, Hossein Shirazi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever histórias ou responder perguntas. Normalmente, para ensiná-lo, você precisa de um professor que conheça as respostas corretas (como um professor de matemática corrigindo uma prova) ou de um juiz humano que diga: "Esta resposta é boa, aquela é ruim". Mas conseguir juízes humanos é caro, e professores de matemática só funcionam para problemas de matemática.

Este artigo apresenta uma nova maneira de ensinar robôs sem precisar de um professor humano ou de um "gabarito de respostas corretas". Eles chamam isso de Entropia Cruzada entre Modelos (CME).

Veja como funciona, usando uma analogia simples:

O Problema: O Robô Falando Consigo Mesmo

Imagine que você pede a um robô para escrever uma história. Para ver se a história é boa, você pede ao mesmo robô que leia sua própria história e diga: "Eu acredito nisso?"

O Risco: Se o robô estiver confuso ou cometer um erro, ele pode, com confiança, dizer a si mesmo: "Sim, isso faz todo o sentido!" No final, ele acaba reforçando seus próprios erros. É como um aluno corrigindo sua própria tarefa de casa e se dando um 'A' mesmo tendo errado tudo.

A Solução: O Medidor de "Surpresa"

Em vez de pedir ao robô para julgar a si mesmo, os autores trazem um segundo robô (um "verificador") de uma família completamente diferente de robôs.

A Configuração: O Robô A (o aluno) escreve uma resposta. O Robô B (o professor) a lê.
A Métrica: Eles não perguntam ao Robô B: "Isso está certo?" Em vez disso, perguntam: "Quão surpreso você está com isso?"
- Se o Robô B ler a resposta e pensar: "Oh, isso é algo muito normal e lógico para dizer", ele não está surpreso. Isso recebe uma pontuação alta.
- Se o Robô B ler a resposta e pensar: "Espere, isso não faz sentido! Isso é estranho!", ele está muito surpreso. Isso recebe uma pontuação baixa.

O Truque "Cruzado entre Modelos"

O segredo é que o Robô A e o Robô B são modelos diferentes (por exemplo, um é feito pelo Google, o outro pelo Meta).

Como são diferentes, o Robô A não pode "enganar" o Robô B usando sua própria lógica interna.
Se o Robô A tentar alucinar (inventar coisas), o Robô B provavelmente ficará surpreso, pois não compartilha dos erros específicos do Robô A.
Isso impede que o robô "burlar o sistema" apenas repetindo seus próprios erros.

Como Eles Usam Isso

Os pesquisadores usaram um método chamado GRPO (uma maneira de treinar robôs) e substituíram a "recompensa" usual por este "Medidor de Surpresa".

O robô gera muitas respostas diferentes para uma pergunta.
O segundo robô lê todas elas e mede o quão "surpreso" ele está com cada uma.
O primeiro robô aprende a gerar respostas que fazem o segundo robô sentir menos surpresa (o que significa que as respostas soam mais naturais e de alta qualidade).

O Que Eles Descobriram

Eles testaram isso em quatro tipos diferentes de robôs (Qwen, Llama, Gemma e OLMo) e descobriram:

Funciona: Os robôs treinados com este "Medidor de Surpresa" ficaram muito melhores em seguir instruções do que os robôs que não foram treinados de forma alguma.
Supera a concorrência: Desempenhou-se tão bem quanto robôs treinados com dados caros de feedback humano, mas sem precisar de nenhum rótulo humano.
Professores melhores são melhores: Quanto mais capaz for o "segundo robô" (o verificador), melhor o primeiro robô aprende.
Aleatório não funciona: Se usassem um robô "aleatório" como professor, isso não ajudou muito. Isso prova que o sinal vem da inteligência real do professor, não apenas de ruído aleatório.

A Conclusão

Este artigo mostra que você pode ensinar um modelo de linguagem grande a ser mais inteligente e útil fazendo com que ele tente não surpreender um modelo diferente e independente. É uma maneira de obter treinamento de alta qualidade sem pagar por juízes humanos ou precisar de um banco de dados de respostas corretas.

Limitações mencionadas por eles:

Requer a execução de dois modelos ao mesmo tempo, o que consome mais poder de computação.
Eles testaram apenas em modelos pequenos e em texto em inglês; ainda não sabem se funciona perfeitamente em modelos enormes ou em outros idiomas.
Há um pequeno risco de o robô aprender apenas a soar exatamente como o segundo robô, em vez de ser verdadeiramente criativo, embora eles não tenham observado isso acontecer em seus testes.

Resumo Técnico: Aprendizado por Reforço sem Rótulos via Entropia Cruzada de Modelos

Declaração do Problema
O pós-treinamento de grandes modelos de linguagem (LLMs) via aprendizado por reforço (RL) está atualmente limitado pela necessidade de um sinal de recompensa confiável. As abordagens existentes enfrentam uma dicotomia:

Verificadores de verdade fundamental: Métodos como PPO e GRPO dependem de correção automaticamente verificável (por exemplo, em matemática ou execução de código). Isso restringe o treinamento por RL a domínios com respostas objetivas, excluindo o seguimento de instruções de natureza aberta.
Rótulos de preferência humana: Métodos como RLHF e DPO exigem anotação humana dispendiosa e são suscetíveis à exploração de recompensas (reward hacking).
Sinais autorreferenciais sem rótulos: Alternativas recentes (por exemplo, TTRL, Evol-RL, RENT) utilizam as próprias saídas do gerador para derivar recompensas via votação majoritária ou entropia de tokens. No entanto, essas são estruturalmente falhas para tarefas abertas: se um modelo está sistematicamente errado, mas internamente consistente, os sinais autorreferenciais reforçam erros em vez de corrigi-los. Além disso, a votação majoritária requer uma resposta canônica, tornando-a inaplicável à geração aberta.

Metodologia: Entropia Cruzada de Modelos (CME)
Os autores propõem a Entropia Cruzada de Modelos (CME), um sinal de recompensa sem rótulos projetado para estender o RL ao seguimento de instruções abertas sem rótulos de verdade fundamental ou preferências humanas.

Conceito Central: Em vez de pedir a um gerador que avalie suas próprias saídas, a CME mede o quão "surpreendente" é a resposta de um gerador para um modelo verificador ( $\pi_\phi$ ) separado e independente.
Definição de Recompensa: A recompensa é definida como o log-verossimilhança negativo da resposta do gerador sob o modelo verificador.
$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$
Onde $y_{aligned}$ representa os tokens do gerador alinhados ao espaço de tokens do verificador.
Fundamentação Teórica: Maximizar a CME esperada é matematicamente equivalente a minimizar a divergência KL reversa $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (até um termo de entropia do gerador). Isso efetivamente destila a política do gerador em direção à distribuição do verificador. Se o verificador for mais competente no domínio do que o gerador, isso impulsiona o gerador para saídas de maior qualidade.
Detalhes de Implementação:
- Integração: A CME é integrada ao framework GRPO (Otimização de Política Relativa em Grupo). Ela substitui a recompensa escalar padrão por um sinal contínuo em nível de token.
- Alinhamento de Tokens: Para lidar com incompatibilidades entre tokenizadores de gerador e verificador (por exemplo, Qwen vs. Gemma), os autores empregam um procedimento de alinhamento em nível de caractere. As log-probabilidades do verificador são ponderadas pela fração de sobreposição de caracteres com os tokens do gerador, garantindo que a log-verossimilhança total seja preservada independentemente da granularidade do tokenizador.
- Loop de Treinamento: A configuração é livre de treinamento para o verificador; os pesos do verificador estão congelados. O gerador é atualizado usando vantagens normalizadas em grupo derivadas das pontuações de CME.

Principais Contribuições

Sinal de Recompensa Novel: Introdução da CME como uma recompensa contínua, livre de treinamento e sem rótulos que depende de avaliação cruzada de modelos em vez de sinais autorreferenciais.
Extensão para RL Aberto: Estende com sucesso o RL sem rótulos ao seguimento de instruções abertas, um regime onde consistência interna e votação majoritária falham.
Validação Empírica: Demonstra que o CME-GRPO melhora o desempenho em quatro famílias de modelos (Qwen, Llama, Gemma, OLMo) e três regimes de treinamento (pré-treinado, SFT, ajustado para instruções) sem usar nenhuma anotação de preferência.
Verificação de Sinal: Prova que o sinal origina-se da avaliação cruzada de modelos e não de regularização genérica, mostrando que um verificador inicializado aleatoriamente produz desempenho significativamente inferior ao de verificadores com pesos reais.

Resultados Experimentais
Os autores avaliaram o CME-GRPO no benchmark AlpacaEval 2.0 (805 prompts) usando LLM-as-Judge (GPT-5.2 e Claude Sonnet 4.6).

Desempenho vs. Base: O CME-GRPO superou o modelo base não treinado em todas as comparações diretas entre todas as famílias de modelos. As taxas de vitória ajustadas por empates variaram de 52,5% a 71,4%.
Desempenho vs. SFT/DPO: Em bases SFT, o CME-GRPO igualou o desempenho de modelos DPO treinados na mesma base usando o conjunto de dados UltraFeedback completo (incluindo anotações de preferência), apesar de o CME-GRPO usar apenas os prompts e nenhum rótulo de preferência.
Capacidade do Verificador: O desempenho escalou com a capacidade do verificador. Um verificador maior (Gemma-4-E4B-it) produziu taxas de vitória mais altas do que os menores. Crucialmente, um verificador inicializado aleatoriamente teve desempenho inferior a todos os verificadores reais, confirmando que o sinal não é um artefato de regularização genérica.
Comparação com Métodos Autorreferenciais: O CME-GRPO superou consistentemente o RENT (um método de minimização de entropia autorreferencial), particularmente em bases pré-treinadas onde sinais autorreferenciais são propensos a reforçar erros.

Significado e Alegações
O artigo afirma que a CME fornece um caminho viável para o pós-treinamento de LLMs para tarefas abertas sem o custo proibitivo de dados de preferência humana ou os riscos estruturais de recompensas autorreferenciais. Ao aproveitar a "surpresa" de um modelo independente e capaz, o método alinha o gerador a uma distribuição de alta qualidade sem exigir correção de verdade fundamental.

Os autores observam que, embora o método seja eficaz, ele depende da suposição de que o verificador é mais competente que o gerador no domínio alvo. Eles também reconhecem limitações, incluindo a sobrecarga computacional de executar um verificador junto com o gerador, o potencial de deriva em direção ao estilo do verificador (colapso de modo) e o fato de que as avaliações dependem de juízes LLM em vez de classificações humanas. O trabalho sugere que respostas "não surpreendentes" para um modelo capaz são um forte proxy para alta qualidade na ausência de rótulos explícitos.