Technische Zusammenfassung: EVOLM – Selbstentwickelnde Sprachmodelle durch ko-evolvierte diskriminierende Rubriken

1. Problemstellung

Aktuelle Nachtrainierungsmethoden für Large Language Models (LLMs), insbesondere Reinforcement Learning from Human Feedback (RLHF), sind stark auf externe Überwachung angewiesen, um Belohnungssignale zu generieren. Diese Quellen umfassen menschliche Präferenzannotationen, proprietäre API-basierte Bewerter (LLM-as-a-judge), skalare Belohnungsmodelle oder überprüfbare Ground-Truth-Antworten. Jede dieser Quellen setzt eine fundamentale Obergrenze für die Modellverbesserung: Menschliche Urteilsfähigkeit kann keine Fähigkeiten über ihre eigenen Grenzen hinaus überwachen; proprietäre APIs schaffen Abhängigkeiten und Kostenbarrieren; skalare Belohnungsmodelle sind anfällig für Reward-Hacking; und überprüfbare Belohnungen sind auf Domänen mit Ground-Truth-Antworten beschränkt.

Während LLMs aus dem Pretraining erhebliches evaluatives Wissen kodieren, gelingt es den aktuellen Methoden nicht, dieses latente Wissen in ein zuverlässiges, selbsttragendes Trainingssignal zu strukturieren. Die zentrale Herausforderung besteht darin, diese Evaluierungskapazität so zu extrahieren und zu strukturieren, dass eine zuverlässige Bewertung ohne externe Überwachung möglich ist und das Modell sich über die Grenzen statischer Bewertungskriterien hinaus selbst verbessern kann.

2. Methodik: EVOLM

Die Autoren schlagen EVOLM vor, ein Nachtrainierungsframework, das es einem einzelnen Sprachmodell ermöglicht, seine eigenen Generierungs- (Policy) und Evaluierungs- (Rubrik) Fähigkeiten ko-evolvieren zu lassen. Die Kerninnovation ist die explizite Strukturierung evaluativen Wissens in diskriminierende Rubriken – natürliche Sprachkriterien, die optimiert sind, um einem kleinen, eingefrorenen Bewerter zu helfen, zwischen bevorzugten und nicht bevorzugten Antworten zu unterscheiden.

2.1 Kernkomponenten

• Policy-Modell ($\pi_\theta$): Generiert Antworten auf Fragen.
• Rubrik-Generator ($\rho_\phi$): Erzeugt instanzspezifische Bewertungskriterien (Rubriken) in natürlicher Sprache für eine gegebene Frage.
• Eingefrorener Bewerter ($J$): Ein kleines, festes Sprachmodell (z. B. Qwen3-1.7B), das Antworten gegen die generierten Rubriken bewertet. Die Parameter des Bewerter bleiben während des Trainings eingefroren.

2.2 Trainingsziel und Mechanismus

EVOLM behandelt die Rubrik als latente Variable und formalisiert die Rubrikgenerierung mittels variationeller Inferenz. Das Ziel ist die Maximierung der diskriminierenden Nützlichkeit der Rubrik: Eine Rubrik ist „gut", wenn sie vom eingefrorenen Bewerter angewendet dem bevorzugten Antwort ($a^+$) eine höhere Punktzahl zuweist als der nicht bevorzugten Antwort ($a^-$).

Das Trainingsziel maximiert die Evidence Lower Bound (ELBO) und belohnt Rubriken, die die Punktdifferenz zwischen bevorzugten und nicht bevorzugten Antworten vergrößern:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
In der Praxis wird dies mittels einer randbasierten Belohnung in Kombination mit einer Format-Belohnung optimiert, um sicherzustellen, dass die Rubrik einem strukturierten JSON-Schema folgt, das vom Bewerter geparst werden kann.

2.3 Ko-evolvierender Trainingsloop

Die Methode wechselt zwischen zwei Phasen unter Verwendung des GRPO-Algorithmus (Group Relative Policy Optimization):

1. Phase 1 (Policy-Update): Der Rubrik-Generator ist eingefroren. Die Policy generiert Antworten, die vom eingefrorenen Bewerter unter Verwendung der aktuellen Rubriken bewertet werden. Die Policy wird aktualisiert, um diese rubrikbasierten Belohnungen zu maximieren.
2. Phase 2 (Rubrik-Update): Die Policy ist eingefroren. Präferenzpaare $(a^+, a^-)$ werden aus den eigenen Ausgaben der Policy konstruiert. Der Rubrik-Generator erzeugt Kandidatenrubriken, die vom Bewerter für beide Antworten bewertet werden. Der Rubrik-Generator wird aktualisiert, um die Punktdifferenz zwischen der bevorzugten und der nicht bevorzugten Antwort zu maximieren.

2.4 Konstruktion von Präferenzpaaren

Um externe Labels zu vermeiden, konstruiert EVOLM Präferenzpaare vollständig aus den eigenen Ausgaben der Policy unter Verwendung dreier komplementärer Methoden:

• Temporaler Kontrast: Paart eine aktuelle Antwort ($a^+$) mit einer früheren Antwort ($a^-$) aus einem vorherigen Trainingscheckpoint. Da sich die Policy verbessert, erzeugt die zeitliche Lücke ein natürliches Curriculum zunehmender Schwierigkeit.
• Abgeleitete Frage (IQ): Die Policy leitet die Frage ab, auf die eine bevorzugte Antwort antwortet, und generiert dann eine nicht bevorzugte Antwort auf diese abgeleitete Frage, um die Relevanz zu testen.
• Rubrik-konditioniert (RC): Generiert eine bevorzugte Antwort, konditioniert auf die Rubrik, und eine nicht bevorzugte Antwort, konditioniert nur auf die Frage, um die Nützlichkeit der Rubrik zu testen.

3. Hauptbeiträge

• Selbstentwickelndes Framework: EVOLM ist die erste Methode, die Rubrikqualität formal als diskriminierende Nützlichkeit definiert und einen Rubrik-Generator end-to-end ohne externe Überwachung, proprietäre APIs oder aufgaben spezifische Verifizierer trainiert.
• Ko-Evolution: Das Framework etabliert einen Feedback-Loop, bei dem die Verbesserung der Policy die Rubriken dazu zwingt, sich zu schärfen (um diskriminierend zu bleiben), und schärfere Rubriken informativere Belohnungen liefern, um eine weitere Policy-Verbesserung voranzutreiben.
• Rubrik-Enrichment-Mechanismus: Qualitative Analysen zeigen, dass trainierte Rubriken sich von abstrakten Labels zu konkreten, überprüfbaren Checks entwickeln. Sie kodieren spezifische erwartete Werte (z. B. „die Antwort ist 144") und zerlegen Einschränkungen in einzeln überprüfbare Teilaufgaben, wodurch holistische Urteile in Mustererkennung transformiert werden, die selbst kleine Bewerter zuverlässig durchführen können.
• Generalisierung: Die gelernten Rubriken übertragen sich effektiv auf unsichtbare Policies, verschiedene Modellfamilien und Out-of-Distribution-Domänen (z. B. Deep-Research-Aufgaben) ohne Nachtraining.

4. Experimentelle Ergebnisse

Die Experimente wurden mit Qwen3-8B als Policy-/Rubrik-Generator und Qwen3-1.7B als eingefrorener Bewerter durchgeführt.

• Downstream-Leistung: Die mit EVOLM trainierte Policy erreichte im Durchschnitt 69,3% auf dem OLMo3-Adapt-Suite (12 Benchmarks) und übertraf:
  • Policies, die mit GPT-4.1-angefragten Rubriken trainiert wurden (66,7%).
  • Policies, die mit Qwen3-8B-angefragten Rubriken trainiert wurden (67,5%).
  • State-of-the-art skalare Belohnungsmodelle (SkyWork-RM-V2) mit 59,7%.
  • Andere rubrikbasierte RL-Methoden (RAR, RRD, RLCER, RUBRIC-ARM), die zwischen 66,7% und 67,6% lagen.
• Rubrikqualität: Die gelernten Rubriken übertrafen GPT-4.1 auf RewardBench-2 um 25,7% (46,0% vs. 20,3% in spezifischen Metriken, obwohl der Abstract eine Verbesserung von 25,7% gegenüber GPT-4.1-Rubriken auf dem Benchmark zitiert).
• Generalisierung:
  • Cross-Policy: Rubriken, die auf Qwen3-8B trainiert wurden, verbesserten die Downstream-Leistung bei unsichtbaren Qwen3-4B- und Llama-3.1-8B-Policies im Vergleich zu GPT-4.1-angefragten Rubriken.
  • Cross-Judge: Rubriken, die mit einem 1.7B-Bewerter trainiert wurden, blieben effektiv, wenn sie mit größeren Bewertern (Qwen3-8B, OLMo-3-7B) gepaart wurden, und zeigten signifikante Gewinne gegenüber angeregten Baselines.
  • Out-of-Distribution: Bei Deep-Research-Aufgaben (HealthBench, ResearchQA) erreichten EVOLM-Rubriken eine höhere paarweise Übereinstimmung mit expertenmenschlichen Rubriken als GPT-4.1 (58,4% vs. 52,5% auf HealthBench).
• Ablationsstudien:
  • Bewertergröße: Ein kleiner 1.7B-Bewerter produzierte die beste Downstream-Policy, was darauf hindeutet, dass die Qualität des Rubrikinhalts kritischer ist als die Fähigkeit des Bewerter.
  • Trainingsdynamik: Der ko-evolvierende Trainingsansatz übertraf das sequenzielle Training (zuerst Rubriken, dann Policy trainieren) und unterstreicht die Bedeutung des adaptiven Feedback-Loops.
  • Reward-Überoptimierung: Das skalare Belohnungsmodell, das trotz Dominanz bei statischen Benchmarks (RewardBench-2: 86,4%) die schwächste Downstream-Policy produzierte, bestätigt, dass statische Kriterien versagen, sich an die sich verschiebende Policy-Verteilung anzupassen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass EVOLM demonstriert, dass die Strukturierung der Evaluierungskapazität eines Modells in ko-evolvierende diskriminierende Rubriken Selbstverbesserung ohne externe Überwachung ermöglicht.

Die Autoren argumentieren, dass jede externe Belohnungsquelle eine Obergrenze auferlegt: Menschliche Urteilsfähigkeit kann nicht über ihre eigenen Kapazitäten hinaus überwachen, und statische Kriterien können sich nicht an die Ausgabeverteilung anpassen, die eine lernende Policy erzeugt. Durch die Ko-Evolution der Evaluierungskriterien mit der Policy entfernt EVOLM diese Einschränkungen. Es wird gezeigt, dass die gelernte Evaluierungsstruktur übertragbar ist auf unsichtbare Policies, Bewerter und Domänen, was einen Weg hin zu autonomer, skalierbarer Selbstverbesserung in Sprachmodellen andeutet.

Die Arbeit positioniert Rubriken nicht nur als Werkzeug für Interpretierbarkeit, sondern als Mechanismus, um latentes evaluatives Wissen aus dem Pretraining zu extrahieren und in ein zuverlässiges, selbsttragendes Trainingssignal zu strukturieren.