Label-Free Reinforcement Learning via Cross-Model Entropy

Riepilogo Tecnico: Apprendimento per Rinforzo Senza Etichette tramite Entropia Incrociata tra Modelli

Enunciato del Problema
L'addestramento post-training di grandi modelli linguistici (LLM) tramite apprendimento per rinforzo (RL) è attualmente ostacolato dalla necessità di un segnale di ricompensa affidabile. Gli approcci esistenti presentano una dicotomia:

1. Verificatori basati su verità fondamentale: Metodi come PPO e GRPO si basano su una correttezza automaticamente verificabile (ad esempio, in matematica o nell'esecuzione del codice). Ciò limita l'addestramento RL a domini con risposte oggettive, escludendo il seguire istruzioni a risposta aperta.
2. Etichette di preferenza umana: Metodi come RLHF e DPO richiedono un'annotazione umana costosa e sono suscettibili all'hacking della ricompensa.
3. Segnali auto-referenziali senza etichette: Alternative recenti (ad esempio, TTRL, Evol-RL, RENT) utilizzano le stesse uscite del generatore per derivare ricompense tramite votazione a maggioranza o entropia dei token. Tuttavia, questi sono strutturalmente difettosi per compiti a risposta aperta: se un modello è sistematicamente errato ma internamente coerente, i segnali auto-referenziali rafforzano gli errori invece di correggerli. Inoltre, la votazione a maggioranza richiede una risposta canonica, rendendola inapplicabile alla generazione a risposta aperta.

Metodologia: Entropia Incrociata tra Modelli (CME)
Gli autori propongono l'Entropia Incrociata tra Modelli (CME), un segnale di ricompensa senza etichette progettato per estendere l'RL al seguire istruzioni a risposta aperta senza etichette di verità fondamentale o preferenze umane.

• Concetto Fondamentale: Invece di chiedere a un generatore di valutare le proprie uscite, la CME misura quanto la risposta di un generatore sia "sorprendente" per un modello verificatore ($\pi_\phi$) separato e indipendente.
• Definizione della Ricompensa: La ricompensa è definita come il log-verosimiglianza negativo della risposta del generatore sotto il modello verificatore.
  $$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$$
  Dove $y_{aligned}$ rappresenta i token del generatore allineati allo spazio dei token del verificatore.
• Fondamento Teorico: Massimizzare la CME attesa è matematicamente equivalente a minimizzare la divergenza KL inversa $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (a meno di un termine di entropia del generatore). Ciò distilla efficacemente la politica del generatore verso la distribuzione del verificatore. Se il verificatore è più competente nel dominio rispetto al generatore, ciò spinge il generatore verso uscite di qualità superiore.
• Dettagli di Implementazione:
  • Integrazione: La CME è integrata nel framework GRPO (Group Relative Policy Optimization). Sostituisce la ricompensa scalare standard con un segnale continuo a livello di token.
  • Allineamento dei Token: Per gestire le discrepanze tra i tokenizer del generatore e del verificatore (ad esempio, Qwen vs Gemma), gli autori adottano una procedura di allineamento a livello di carattere. Le log-probabilità del verificatore sono ponderate in base alla frazione di sovrapposizione di caratteri con i token del generatore, garantendo che il log-verosimiglianza totale sia preservato indipendentemente dalla granularità del tokenizer.
  • Ciclo di Addestramento: La configurazione è priva di addestramento per il verificatore; i pesi del verificatore sono fissi. Il generatore viene aggiornato utilizzando vantaggi normalizzati per gruppo derivati dai punteggi CME.

Contributi Chiave

1. Segnale di Ricompensa Innovativo: Introduzione della CME come ricompensa continua, priva di addestramento e senza etichette, che si basa sulla valutazione incrociata tra modelli anziché su segnali auto-referenziali.
2. Estensione all'RL a Risposta Aperta: Estende con successo l'RL senza etichette al seguire istruzioni a risposta aperta, un regime in cui la coerenza interna e la votazione a maggioranza falliscono.
3. Validazione Empirica: Dimostra che CME-GRPO migliora le prestazioni su quattro famiglie di modelli (Qwen, Llama, Gemma, OLMo) e tre regimi di addestramento (pre-addestrato, SFT, addestrato alle istruzioni) senza utilizzare alcuna annotazione di preferenza.
4. Verifica del Segnale: Dimostra che il segnale origina dalla valutazione incrociata tra modelli e non da una regolarizzazione generica, mostrando che un verificatore inizializzato casualmente produce prestazioni significativamente inferiori rispetto ai verificatori con pesi reali.

Risultati Sperimentali
Gli autori hanno valutato CME-GRPO sul benchmark AlpacaEval 2.0 (805 prompt) utilizzando LLM-as-Judge (GPT-5.2 e Claude Sonnet 4.6).

• Prestazioni vs. Base: CME-GRPO ha superato il modello base non addestrato in ogni confronto diretto tra tutte le famiglie di modelli. I tassi di vittoria aggiustati per i pareggi sono variati dal 52,5% al 71,4%.
• Prestazioni vs. SFT/DPO: Su backbones SFT, CME-GRPO ha eguagliato le prestazioni dei modelli DPO addestrati sulla stessa base utilizzando l'intero dataset UltraFeedback (incluso le annotazioni di preferenza), nonostante CME-GRPO utilizzasse solo i prompt e nessuna etichetta di preferenza.
• Capacità del Verificatore: Le prestazioni sono aumentate con la capacità del verificatore. Un verificatore più grande (Gemma-4-E4B-it) ha prodotto tassi di vittoria più elevati rispetto a quelli più piccoli. Crucialmente, un verificatore inizializzato casualmente ha ottenuto prestazioni inferiori rispetto a tutti i verificatori reali, confermando che il segnale non è un artefatto della regolarizzazione generica.
• Confronto con Metodi Auto-Referenziali: CME-GRPO ha costantemente superato RENT (un metodo di minimizzazione dell'entropia auto-referenziale), in particolare su backbones pre-addestrati dove i segnali auto-referenziali tendono a rafforzare gli errori.

Significato e Affermazioni
Il documento afferma che la CME offre una via praticabile per l'addestramento post-training di LLM per compiti a risposta aperta senza il costo proibitivo dei dati di preferenza umana o i rischi strutturali delle ricompense auto-referenziali. Sfruttando la "sorpresa" di un modello indipendente e capace, il metodo allinea il generatore a una distribuzione di alta qualità senza richiedere correttezza basata su verità fondamentale.

Gli autori notano che, sebbene il metodo sia efficace, si basa sull'assunzione che il verificatore sia più competente del generatore nel dominio target. Riconoscono anche le limitazioni, inclusi l'overhead computazionale dell'esecuzione di un verificatore insieme al generatore, il potenziale di deriva verso lo stile del verificatore (collasso del modo) e il fatto che le valutazioni si basano su giudici LLM piuttosto che su valutazioni umane. Il lavoro suggerisce che le risposte "non sorprendenti" per un modello capace sono un forte proxy per l'alta qualità in assenza di etichette esplicite.