Label-Free Reinforcement Learning via Cross-Model Entropy

Technisches Fazit: Label-freies Reinforcement Learning mittels Cross-Model Entropy

Problemstellung
Das Nachtrainieren großer Sprachmodelle (LLMs) durch Reinforcement Learning (RL) wird derzeit durch die Notwendigkeit eines zuverlässigen Belohnungssignals behindert. Bestehende Ansätze stehen vor einer Dichotomie:

1. Ground-Truth-Verifizierer: Methoden wie PPO und GRPO verlassen sich auf automatisch überprüfbare Korrektheit (z. B. in Mathematik oder Codeausführung). Dies beschränkt das RL-Training auf Domänen mit objektiven Antworten und schließt das offene Befolgen von Anweisungen aus.
2. Menschliche Präferenzlabels: Methoden wie RLHF und DPO erfordern teure menschliche Annotation und sind anfällig für Reward-Hacking.
3. Label-freie selbstreferenzielle Signale: Neuere Alternativen (z. B. TTRL, Evol-RL, RENT) nutzen die eigenen Ausgaben des Generators, um Belohnungen durch Mehrheitsvoting oder Token-Entropie abzuleiten. Diese sind jedoch für offene Aufgaben strukturell fehlerhaft: Wenn ein Modell systematisch falsch, aber intern konsistent ist, verstärken selbstreferenzielle Signale Fehler, anstatt sie zu korrigieren. Darüber hinaus erfordert Mehrheitsvoting eine kanonische Antwort, was es für die offene Generierung unanwendbar macht.

Methodik: Cross-Model Entropy (CME)
Die Autoren schlagen Cross-Model Entropy (CME) vor, ein label-freies Belohnungssignal, das entwickelt wurde, um RL auf das offene Befolgen von Anweisungen ohne Ground-Truth-Labels oder menschliche Präferenzen zu erweitern.

• Kernkonzept: Anstatt den Generator zu bitten, seine eigenen Ausgaben zu bewerten, misst CME, wie „überraschend" die Antwort eines Generators für ein separates, unabhängiges Verifizierer-Modell ($\pi_\phi$) ist.
• Definition der Belohnung: Die Belohnung ist definiert als der negative Log-Likelihood der Antwort des Generators unter dem Verifizierer-Modell.
  $$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$$
  Dabei repräsentiert $y_{aligned}$ die Token des Generators, die an den Token-Raum des Verifizierers angepasst sind.
• Theoretische Fundierung: Die Maximierung der erwarteten CME ist mathematisch äquivalent zur Minimierung der reverse KL-Divergenz $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (bis auf einen Entropie-Term des Generators). Dies destilliert effektiv die Policy des Generators in Richtung der Verteilung des Verifizierers. Wenn der Verifizierer in der Domäne kompetenter ist als der Generator, treibt dies den Generator zu qualitativ hochwertigeren Ausgaben.
• Implementierungsdetails:
  • Integration: CME ist in das GRPO-Framework (Group Relative Policy Optimization) integriert. Es ersetzt die standardmäßige skalare Belohnung durch ein token-level, kontinuierliches Signal.
  • Token-Alignment: Um Diskrepanzen zwischen den Tokenizern von Generator und Verifizierer zu handhaben (z. B. Qwen vs. Gemma), wenden die Autoren ein Zeichen-basiertes Alignierungsverfahren an. Die Log-Wahrscheinlichkeiten des Verifizierers werden mit dem Anteil der Zeichenüberlappung mit den Token des Generators gewichtet, wodurch die gesamte Log-Likelihood unabhängig von der Granularität des Tokenizers erhalten bleibt.
  • Trainingsloop: Das Setup ist für den Verifizierer training-frei; die Gewichte des Verifizierers sind eingefroren. Der Generator wird unter Verwendung von gruppen-normalisierten Advantages aktualisiert, die aus den CME-Werten abgeleitet sind.

Hauptbeiträge

1. Neuartiges Belohnungssignal: Einführung von CME als kontinuierliches, training-freies, label-freies Belohnungssignal, das auf Cross-Model-Evaluation statt auf selbstreferenziellen Signalen basiert.
2. Erweiterung auf offenes RL: Erfolgreiche Erweiterung von label-freiem RL auf das offene Befolgen von Anweisungen, einem Regime, in dem Selbstkonsistenz und Mehrheitsvoting versagen.
3. Empirische Validierung: Zeigt, dass CME-GRPO die Leistung über vier Modellfamilien (Qwen, Llama, Gemma, OLMo) und drei Trainingsregime (pretrained, SFT, instruction-tuned) verbessert, ohne jegliche Präferenz-Annotationen zu verwenden.
4. Signal-Verifizierung: Beweist, dass das Signal aus Cross-Model-Evaluation und nicht aus generischer Regularisierung stammt, indem gezeigt wird, dass ein zufällig initialisierter Verifizierer deutlich schlechtere Leistungen erzielt als Verifizierer mit realen Gewichten.

Experimentelle Ergebnisse
Die Autoren evaluierten CME-GRPO auf dem AlpacaEval 2.0-Benchmark (805 Prompts) unter Verwendung von LLM-as-Judge (GPT-5.2 und Claude Sonnet 4.6).

• Leistung vs. Basis: CME-GRPO übertraf das untrainierte Basismodell in jedem Head-to-Head-Vergleich über alle Modellfamilien hinweg. Die tie-adjusted Win-Raten lagen zwischen 52,5 % und 71,4 %.
• Leistung vs. SFT/DPO: Auf SFT-Backbones erreichte CME-GRPO die Leistung von DPO-Modellen, die auf demselben Basis-Modell unter Verwendung des vollständigen UltraFeedback-Datensatzes (einschließlich Präferenz-Annotationen) trainiert wurden, obwohl CME-GRPO nur die Prompts und keine Präferenzlabels verwendete.
• Verifizierer-Fähigkeit: Die Leistung skalierte mit der Fähigkeit des Verifizierers. Ein größerer Verifizierer (Gemma-4-E4B-it) erzielte höhere Win-Raten als kleinere. Entscheidend war, dass ein zufällig initialisierter Verifizierer alle realen Verifizierer unterbot, was bestätigt, dass das Signal kein Artefakt generischer Regularisierung ist.
• Vergleich mit selbstreferenziellen Methoden: CME-GRPO schnitt konsistent besser ab als RENT (eine selbstreferenzielle Methode zur Entropieminimierung), insbesondere bei pretrained Backbones, bei denen selbstreferenzielle Signale dazu neigen, Fehler zu verstärken.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CME einen gangbaren Weg zum Nachtrainieren von LLMs für offene Aufgaben bietet, ohne die prohibitiven Kosten menschlicher Präferenzdaten oder die strukturellen Risiken selbstreferenzieller Belohnungen. Durch die Nutzung der „Überraschung" eines unabhängigen, kompetenten Modells richtet die Methode den Generator auf eine hochwertige Verteilung aus, ohne Korrektheit im Sinne von Ground-Truth zu erfordern.

Die Autoren weisen darauf hin, dass die Methode zwar effektiv ist, aber von der Annahme abhängt, dass der Verifizierer im Zielbereich kompetenter ist als der Generator. Sie erkennen zudem Einschränkungen an, darunter den Rechenaufwand für das parallele Ausführen eines Verifizierers neben dem Generator, die potenzielle Drift in Richtung des Stils des Verifizierers (Mode Collapse) und die Tatsache, dass Evaluierungen auf LLM-Judges statt auf menschlichen Bewertungen beruhen. Die Arbeit legt nahe, dass „unüberraschende" Antworten auf ein kompetentes Modell ein starker Proxy für hohe Qualität sind, wenn keine expliziten Labels vorliegen.