Technisches Resümee: SCOPE – Self-Play via Co-Evolving Policies for Open-Ended Tasks

Problemstellung

Aktuelle Reinforcement Learning (RL)-Ansätze für das Training von Large Language Models (LLMs) bei offenen Aufgaben (z. B. tiefgehende Recherche, komplexe QA, kreatives Schreiben) stehen vor einem fundamentalen Engpass: Sie hängen von externer Supervision ab. Diese Supervision besteht typischerweise aus kuratierten menschlichen Prompts, Referenzantworten oder „Frontier-Model“-Richtern (stärkere LLMs, die als Evaluatoren eingesetzt werden). Diese Abhängigkeiten binden die Modellleistung an die Qualität menschlicher Daten und begrenzen die Skalierbarkeit.

Bestehende Self-Play-Methoden für LLMs versuchen, dies zu umgehen, indem sie Task-Generatoren und Solver ko-evolvieren lassen. Diese bisherigen Ansätze (z. B. SPICE, Dr. Zero, R-Zero) sind jedoch auf Domänen mit verifizierbaren Antworten beschränkt (String-Matches, numerische Gleichheit, Code-Ausführung). Offene Aufgaben besitzen keine eindeutige korrekte Antwort, was eine regelbasierte Verifizierung unmöglich macht. Während rubrikbasierte Evaluierung einen Weg aufzeigt, hängen bisherige rubrikbasierte RL-Methoden (z. B. RaR, DR Tulu, RPG) immer noch von kuratierten Prompts oder externen Frontier-Model-Richtern ab, wodurch sie keinen wahrhaft datenfreien, selbstüberwachten Kreislauf erreichen.

Methodik: SCOPE

Die Autoren führen SCOPE (Self-play via Co-evolving Policies for Open-Ended tasks) ein, das erste Framework, das datenfreies Self-Play auf offene Aufgaben überträgt. Das System operiert ohne kuratierte Daten oder externe Richter und verlässt sich statattdessen auf einen „Self-Judge“, der aus dem Basismodell selbst abgeleitet wird.

Kernarchitektur

SCOPE ko-evolviert zwei Policies, die vom selben Basismodell $M_0$ initialisiert wurden, zusammen mit einer festen dritten Rolle:

1. Challenger ($C_t$): Eine evolvierende Policy, die darauf trainiert ist, offene, dokumentengestützte Aufgaben zu generieren. Sie führt Multi-Turn-Retrieval über einen unbeschrifteten Korpus durch, um Aufgaben zu konstruieren, die nahe an der aktuellen Leistungsfähigkeit des Solvers liegen.
2. Solver ($S_t$): Eine evolvierende Policy, die darauf trainiert ist, die Aufgaben des Challengers zu lösen. Sie nutzt Multi-Turn Retrieval-Augmented Generation (RAG), um Evidenz zu sammeln und Antworten zu synthetisieren.
3. Judge ($J = M_0$): Eine eingefrorene Kopie des ursprünglichen Basismodells. Es erfüllt zwei kritische Funktionen:
   • Rubrik-Generierung: Für jede Aufgabe $q$ und jedes Quelldokument $d$ generiert der Judge auf das Dokument gestützte, aufgabenspezifische Evaluierungsrubriken (Kriterien).
   • Bewertung: Der Judge bewertet die Antworten des Solvers anhand dieser Rubriken.

Trainingsschleife

Der Trainingsprozess wechselt zwischen zwei Phasen, die mittels Group Relative Policy Optimization (GRPO) optimiert werden:

Phase 1: Challenger-Training

• Der Challenger generiert eine Aufgabe $q$ basierend auf einem Quelldokument $d$.
• Qualitätskontrollen (Quality Gates): Der Judge wendet binäre Prüfungen an, um sicherzustellen, dass die Aufgabe identifizierbare Entitäten referenziert und im Quelldokument fundiert ist. Aufgaben, die diese Kontrollen nicht bestehen, werden verworfen, um zu verhindern, dass der Challenger generische, Reward-Hacking-Prompts erstellt.
• Schwierigkeits-Belohnung (Difficulty Reward): Der vorherige Solver ($S_{t-1}$) versucht die Aufgabe zu lösen. Der Judge bewertet die Antworten. Der Challenger wird dafür belohnt, Aufgaben zu generieren, bei denen die durchschnittliche Punktzahl des Solvers nahe einer Zielschwierigkeit $\tau = 0,5$ liegt. Dies stellt sicher, dass die Aufgaben herausfordernd, aber lösbar bleiben, was die Feedback-Varianz maximiert.

Phase 2: Solver-Training

• Der Challenger generiert einen Pool an Aufgaben.
• Filterung: Aufgaben werden basierend auf Qualitätskontrollen und Schwierigkeit gefiltert (es werden nur solche behalten, deren mittlere Solver-Punktzahl im Bereich $[0,2, 0,8]$ liegt).
• Solver-Belohnung: Der Solver wird auf diesen gefilterten Aufgaben trainiert. Die Belohnungsfunktion kombiniert:
  • Rubrik-Score: Gewichteter Durchschnitt binärer Urteile zu spezifischen Kriterien.
  • Format- & Such-Belohnungen: Fördert die korrekte Werkzeugnutzung und Struktur.
  • Längenstrafe (Length Penalty): Eine auf Kosinus basierende Strafe verhindert, dass der Solver die Tendenz des Judges ausnutzt, längere Ausgaben zu bevorzugen, indem er übermäßig verbose Antworten generiert.

Theoretische Begründung

Das Paper argumentiert, dass nachhaltige Selbstverbesserung lernbare Information erfordert. SCOPE erreicht dies durch:

1. Aufgaben-Fundierung (Task Grounding): Der Challenger und der Judge beobachten das Quelldokument $d$, während der Solver nur die Aufgabe $q$ sieht. Der Solver muss $d$ abrufen, um die Aufgabe zu lösen, wodurch eine Informationslücke entsteht.
2. Verborgene-Rubrik-Lücke (Hidden-Rubric Gap): Die Rubriken $G$ enthalten dokumentenspezifische Kriterien, die durch die Aufgabe $q$ nicht vollständig offenbart werden. Der Solver muss die spezifischen Details in $d$ abrufen, um die Rubrik zu erfüllen.
   Während sich der Solver verbessert, schließt er die Lücke bei aktuellen Aufgaben. Der Challenger muss ko-evolvieren, um neue Aufgaben vorzuschlagen, bei denen die Lücke weiterhin offen bleibt, um zu verhindern, dass das Lernsignal sättigt.

Zentrale Beiträge

1. Erstes datenfreies Self-Play für offene Aufgaben: SCOPE ist das erste Framework, das erfolgreich datenfreies Self-Play auf offene Aufgaben anwendet, ohne auf kuratierte Prompts oder externe Frontier-Model-Richter angewiesen zu sein.
2. Rubrikbasierte Selbstbewertung: Es demonstriert, dass eine eingefrorene Kopie des Basismodells effektiv aufgabenspezifische Rubriken erstellen und Antworten bewerten kann, was die Notwendigkeit externer Supervision ersetzt.
3. Notwendigkeit der Ko-Evolution: Das Paper liefert empirische Belege dafür, dass ein statischer Challenger die Verbesserung nicht nachhaltig aufrechterhalten kann; der Challenger muss mit dem Solver ko-evolvieren, um die „Schwierigkeitsfront“ (difficulty frontier) zu wahren.
4. Generalisierung: Trotz des Trainings ausschließlich auf dokumentengestützten offenen Aufgaben verbessert SCOPE die Leistung bei Short-Form QA und kreativem Schreiben, was auf transferierbare Gewinne in den Bereichen Retrieval und Synthese hindeutet.

Experimentelle Ergebnisse

Die Autoren evaluierten SCOPE auf drei instruktionsgestimmten Modellen (Qwen2.5-7B, Qwen3-8B, OLMo-3-7B) über acht offene Benchmarks und sieben Short-Form QA Benchmarks hinweg.

• Leistung bei offenen Aufgaben: SCOPE verbesserte die Leistung bei offenen Aufgaben um +5,4 bis +10,4 Punkte. Bemerkenswert ist, dass bei Qwen2.5-7B der Durchschnittsscore von 24,4 auf 34,8 stieg (+10,4).
• Vergleich zu kuratierten Daten: SCOPE erreichte oder übertraf GRPOdata, eine Baseline, die auf ca. 9.000 menschlich kuratierten Prompts mit Frontier-Model-Rubriken trainiert wurde. Beispielsweise erreichte SCOPE bei Qwen3-8B 43,1 gegenüber 41,5 bei GRPOdata.
• Short-Form QA Transfer: Obwohl nur auf offenen Aufgaben trainiert, verbesserte SCOPE die Short-Form QA Scores um +7,8 bis +13,8 Punkte und übertraf GRPOdata auf allen drei Modellen.
• Kreatives Schreiben: SCOPE zeigte signifikante Gewinne beim kreativen Schreiben (bis zu +7,4), einem Bereich, in dem GRPOdata oft unter das Basismodell zurückfiel, was darauf hindeutet, dass corpusgestütztes Self-Play robuste Synthesefähigkeiten aufbaut.
• Ablationsstudien:
  • Ko-Evolution: Das Einfrieren des Challengers führte zu vernachlässigbaren Gewinnen (+0,8 gegenüber +3,4 für volles SCOPE), da die Aufgaben zu einfach wurden.
  • Reward-Design: Das Entfernen von Qualitätskontrollen oder Längenstrafen führte zu „Reward Hacking“ (generische Aufgaben oder aufgeblähter Text), was die Leistung unter das Niveau des Basismodells sinken ließ.
  • Rubrik-Qualität: Die Qualität der Rubrik-Generierung (nicht die Bewertungsfähigkeit) wurde als Flaschenhals identifiziert. Rubriken von kleineren Modellen (4B) enthielten oft nicht spezifische Fakten aus dem Dokument, während 8B+ Modelle fundierte, diskriminative Kriterien produzierten.

Bedeutung und Ansprüche

Das Paper behauptet, dass SCOPE einen bedeutenden Schritt in Richtung skalierbarer, datenfreier Selbstverbesserung für LLMs darstellt. Durch die Ersetzung der Abhängigkeit von menschlich kuratierten Daten und Frontier-Model-Richtern durch einen in sich geschlossenen Kreislauf aus ko-evolvierenden Policies und rubrikbasierter Selbstbewertung erweitert SCOPE den Anwendungsbereich von Self-Play über verifizierbare Domänen (Mathe, Code) hinaus auf komplexe, offene Denkaufgaben.

Die Autoren merken bescheiden an, dass die mehrstufige Pipeline mehr Rechenleistung erfordert als ein einstufiges GRPO, was die aktuellen Experimente auf 7–8B Modelle begrenzt. Sie argumentieren jedoch, dass in einem „Post-Data-Regime“, in dem kuratierte Supervision erschöpft ist, der Austausch von Rechenleistung gegen kontinuierliche Selbstverbesserung ein gerechtfertigter und notwendiger Weg ist. Die Ergebnisse legen nahe, dass offene Aufgaben durch selbstgenerierte Signale gemeistert werden können, sofern das System eine dynamische Informationsasymmetrie zwischen dem Task-Generator und dem Solver aufrechterhält.