🤖 AI

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

Das Paper schlägt Reinforcement Learning with Self-Verifiable Rewards (RLSVR) vor, ein Paradigma, das offene Aufgaben in verifizierbare Proxy-Umgebungen transformiert – exemplarisch durch die von Sozialdeduktionsspielen inspirierte SpyRL-Methode –, um eine skalierbare, bias-freie Selbstverbesserung großer Sprachmodelle über traditionelle verifizierbare Domänen wie Mathematik und Programmierung hinaus zu ermöglichen.

Ursprüngliche Autoren: Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

Veröffentlicht 2026-08-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer wie brillante Studenten sind, die mathematische Probleme oder Programmieraufgaben mit perfekter Präzision lösen können, weil es einen klaren Lösungsschlüssel gibt. Wenn sie die Antwort falsch geben, weiß der Lehrer sofort Bescheid und der Student lernt aus seinem Fehler. So werden viele der heute klügsten KI-Modelle trainiert: Sie üben Aufgaben, bei denen die „richtige“ Antwort offensichtlich und überprüfbar ist. Aber was passiert, wenn der Lehrer nach einem Gedicht, einer lustigen Geschichte oder einer Zusammenfassung eines langen Nachrichtenberichts fragt? Es gibt keinen einzelnen Lösungsschlüssel für Kreativität. Woher soll ein Computer wissen, ob seine Geschichte „gut“ ist, ohne dass ein menschlicher Lehrer jedes einzelne Blatt bewertet? Dies ist das große Rätsel, das Forscher zu lösen versuchen: Wie bringt man eine KI bei, besser in offenen, kreativen Aufgaben zu werden, ohne dass ein Mensch jedes Mal über ihre Schulter schauen muss?

Das Papier, das Sie gleich lesen werden, geht dies an, indem es einen Trick aus einem anderen Zweig der Wissenschaft namens „selbstüberwachtem Lernen“ (self-supervised learning) entlehnt. Denken Sie an einen Studenten, der, anstatt darauf zu warten, dass ein Lehrer ihm einen Test gibt, sein eigenes kleines Spiel erfindet, um zu üben. Er könnte ein Wort in einem Satz unkenntlich machen und versuchen zu erraten, welches es war. Auch wenn dieses Spiel nicht die Abschlussprüfung ist, hilft der Akt des Spielens ihm dabei, die Sprache besser zu lernen. Die Forscher in diesem Papier fragen: „Können wir eine KI dazu bringen, ein ähnliches Spiel zu spielen, um besser im Schreiben und im logischen Denken zu werden, selbst wenn es keinen Lösungsschlüssel gibt?“ Sie schlagen eine neue Methode vor, um KI zu trainieren, die RLSVR (Reinforcement Learning with Self-Verifiable Rewards) genannt wird. Anstatt zu versuchen zu erraten, ob eine Geschichte „gut“ ist (was schwer und subjektiv ist), verwandeln sie die Aufgabe in ein Spiel, bei dem die KI ihre eigene Arbeit mithilfe strenger, eingebauter Regeln überprüfen kann.

Das Spionagespiel: Wie die KI lernt, besser zu schreiben

Die Forscher entwickelten eine spezifische Version dieser Idee namens SpyRL. Um dies zu verstehen, stellen Sie sich eine Gruppe von fünf Freunden vor, die im Kreis sitzen und das Spiel „Wer ist der Spion?“ spielen (inspiriert vom beliebten Partyspiel Who Is the Spy?).

So funktioniert das Spiel in der Welt der KI:

Der Aufbau: Die Gruppe erhält eine Schreibanweisung, wie zum Beispiel: „Schreibe eine Geschichte über einen Roboter, der sich verliebt.“ Vier der Spieler (die „Zivilisten“) erhalten die vollständige, komplette Anweisung. Ein Spieler (der „Spion“) erhält eine kaputte, unvollständige Version der Anweisung – vielleicht fehlen die Hälfte der Wörter oder sie sind durcheinandergewürfelt.
Die Leistung: Jeder muss eine Geschichte basierend auf dem schreiben, was er sieht. Die Zivilisten haben alle Informationen, also können sie eine großartige, detaillierte Geschichte schreiben. Der Spion hingegen fehlen Teile. Um nicht entdeckt zu werden, muss der Spion erraten, welche Teile fehlten, und eine Geschichte schreiben, die so aussieht, als würde sie zum Thema passen, obwohl er völlig im Dunkeln tappt.
Die Entdeckung: Nachdem alle fertig geschrieben haben, liest die Gruppe alle Geschichten und stimmt darüber ab, wer sie für den Spion halten.
Die Belohnung: Hier liegt der magische Teil. Da der Computer, der das Spiel steuert, genau weiß, wer der Spion war (da er die Rolle zugewiesen hat), kann er die Abstimmung sofort überprüfen.
- Wenn die Gruppe den Spion korrekt identifiziert, erhalten die Wähler eine Belohnung.
- Wenn der Spion herausgestimmt wurde, erhält der Spion eine „Bestrafung“ (einen niedrigen Score).
- Wenn die Zivilisten aus Versehen herausgestimmt wurden, erhalten sie einen niedrigeren Score.

Dies schafft eine perfekte, selbstprüfende Schleife. Die KI braucht keinen Menschen, der sagt: „Diese Geschichte war langweilig.“ Stattdessen liefert die Spiellogik das Feedback. Wenn die Geschichte des Spions zu vage war oder nicht zum Thema passte, werden die anderen Spieler ihn entdecken und ihn herausstimmen. Wenn die Zivilisten eine Geschichte schrieben, die verwirrend oder themenfremd war, könnten sie aus Versehen herausgestimmt werden, was sie lehrt, klarer zu kommunizieren.

Was sie herausgefunden haben

Die Forscher testeten dieses „Spionagespiel“ auf drei sehr unterschiedlichen Arten von Aufgaben:

Zusammenfassen langer Berichte (wie das Umwandeln eines 20-seitigen Regierungsdokuments in eine kurze Zusammenfassung).
Kreatives Schreiben (Schreiben von Geschichten basierend auf Prompts).
Mathematisches Denken (Lösen komplexer mathematischer Probleme).

Die Ergebnisse waren ziemlich überraschend. Normalerweise haben Methoden, die darauf basieren, zu „erraten“, wie gut ein kreatives Stück ist (indem sie andere KI-Modelle als Richter nutzen), Schwierigkeiten, sich nennenswert zu verbessern. Aber SpyRL gelang es durch die Verwandlung der Aufgabe in ein Spiel mit klaren Regeln, die KI dazu zu bringen, bessere Geschichten und Zusammenfassungen zu schreiben.

In ihren Experimenten schlug die mit SpyRL trainierte KI andere fortgeschrittene Methoden zur Selbstverbesserung. Beispielsweise gewannen die mit SpyRL trainierten Modelle bei kreativen Schreibaufgaben etwa 77,3 % der Fälle im Vergleich zur untrainierten Version desselben Modells. Bei mathematischen Problemen, bei denen die Antworten normalerweise leicht überprüfbar sind, verbesserte SpyRL die Ergebnisse dennoch signifikant und steigerte die mathematische Genauigkeit eines Modells bei einigen schwierigen Benchmarks um fast 9 %.

Das Papier legt nahe, dass dieser Ansatz deshalb funktioniert, weil er die KI dazu zwingt, der Qualität ihrer Ausgabe Aufmerksamkeit zu schenken. Um das Spiel zu gewinnen (oder zumindest nicht zu verlieren), muss die KI Geschichten schreiben, die kohärent, kreativ und logisch fundiert sind. Wenn sie etwas Schwaches oder Verwirrendes schreibt, wird sie von den anderen Spielern „ertappt“.

Warum das wichtig ist

Der entscheidende Punkt ist, dass man keinen menschlichen Lehrer oder einen perfekten Lösungsschlüssel braucht, um einer KI beizubringen, wie man kreativ ist. Indem man eine vage Aufgabe (wie „schreibe eine gute Geschichte“) in ein strukturiertes Spiel mit verborgenen Rollen und klaren Gewinn-/Verlustbedingungen verwandelt, kann die KI lernen, sich selbst zu verbessern. Die Forscher zeigen, dass diese Methode nicht nur für Mathematik funktioniert (wo Antworten leicht überprüfbar sind), sondern auch für Schreiben und Zusammenfassen, wo „Richtigkeit“ meist eine Frage der Meinung ist.

Sie fanden heraus, dass das Signal für das Training besser wird, je mehr Spieler am Spiel beteiligt sind (bis zu einem gewissen Punkt), was darauf hindeutet, dass eine „Menge“ von KIs, die debattieren und abstimmen, hilft, schlechte Ideen herauszufiltern. Während das Papier nicht behauptet, dass dies jedes Problem der KI löst, bietet es einen vielversprechenden neuen Weg: die chaotische, subjektive Welt der menschlichen Kreativität in ein Spiel zu verwandeln, das der Computer spielen, gewinnen und von dem er lernen kann – und das alles ganz allein.

Technisches Resümee: Von RLVR zu RLSVR

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat signifikante Fortschritte bei reasoning-orientierten Large Language Models (LLMs) für Domänen mit deterministischen Ergebnissen, wie Mathematik und Programmierung, vorangetrieben. In diesen Settings kann ein Verifizierer $V(x, y)$ deterministisch prüfen, ob eine Ausgabe $y$ gegeben die Eingabe $x$ korrekt ist, was eine unvoreingenommene, unbegrenzte und kostenfreie Supervision ermöglicht.

RLVR bleibt jedoch weitgehend unanwendbar auf offene Aufgaben (z. B. kreatives Schreiben, Textzusammenfassung, allgemeines Reasoning), bei denen Korrektheit subjektiv ist und es keine deterministische Grundwahrheit gibt. Aktuelle Ansätze zur Überbrückung dieser Lücke stützen sich auf:

Gelernte Präferenzsignale (z. B. RLHF, DPO), die eine teure menschliche Annotation erfordern.
Modellbasierte Proxys (z. B. LLM-as-a-Judge, Self-Rewarding-Mechanismen), die einen Evaluations-Bias einführen, durch die Kapazität des Judges begrenzt sind und erhebliche Inferenzkosten verursachen.

Die Kernherausforderung besteht darin, dass diese Methoden versuchen, ein unverifizierbares Qualitätsziel $Q(x, y)$ direkt zu approximieren, anstatt ein verifizierbares Signal aus den Daten selbst zu konstruieren.

2. Methodik: RLSVR und SpyRL

Das Paper schlägt Reinforcement Learning with Self-Verifiable Rewards (RLSVR) vor, ein Paradigma, das die Prinzipien des selbstüberwachten Lernens (Konstruktion von Pretext-Aufgaben mit automatisch generierten Labels) auf das Gebiet des RLVR erweitert. RLSVR transformiert eine offene Aufgabe in eine Proxy-Umgebung, in der Belohnungen selbst-verifizierbar sind – abgeleitet aus den internen Regeln und Interaktionsergebnissen der Umgebung statt aus externen Judges.

2.1 Das RLSVR-Framework

RLSVR operiert durch eine Aufgaben-Transformation $\Phi$ , die eine Zielaufgabe $(D, \tau)$ auf eine Proxy-Umgebung $E$ abbildet:

Injektion latenter Variablen: Die Umgebung sampelt eine Eingabe $x$ und eine latente Variable $z$ (z. B. eine verborgene Identität oder einen perturbierten Zustand) und protokolliert $z$ als die Grundwahrheit.
Konditionierte Aufgabenausführung: Agenten führen die Zielaufgabe basierend auf Beobachtungen abgeleitet von $(x, z)$ aus.
Verifizierbare Interaktion: Die Umgebung stellt eine Frage über $z$ , die unter Verwendung der Aufgabenergebnisse beantwortet werden muss. Entscheidend ist, dass die korrekte Beantwortung von der Qualität der Ausgabe abhängt.
Regelbasierte Belohnung: Die Belohnung wird berechnet, indem das Interaktionsergebnis gegen das protokollierte $z$ geprüft wird, was keinen externen Verifizierer erfordert.

2.2 SpyRL: Eine Instanziierung mittels informationsasymmetrischem Self-Play

Die Autoren instanziieren RLSVR mit SpyRL (Self-PlaY Reinforcement Learning), einem Multi-Agenten-Framework, das vom sozialen Detektionsspiel „Who Is the Spy?“ inspiriert ist.

Spielmechanik:

Agenten: Eine Gruppe von $n$ Agenten besteht aus $n-1$ „Zivilisten“ und einem „Spion“.
Asymmetrische Information:
- Zivilisten: Erhalten die vollständige Aufgaben-Eingabe $x$ .
- Spion: Erhält eine degradierte Version $g(x)$ (z. B. ein kontinuierliches Textsegment, das maskiert oder entfernt wurde), was ein Informationsdefizit erzeugt.
Performanz-Phase: Alle Agenten generieren Ausgaben $y_i$ für die Zielaufgabe (z. B. Zusammenfassung, kreatives Schreiben, mathematisches Reasoning) basierend auf ihren jeweiligen Beobachtungen.
Detektions-Phase: Agenten analysieren alle Ausgaben und stimmen ab, um den Spion zu identifizieren.
Belohnungssignal:
- Detektions-Belohnung ( $R_D$ ): Deterministisch verifizierbar. Wenn ein Agent für den korrekten Spion-Index $u$ stimmt, erhält er eine positive Belohnung; andernfalls Null.
- Performanz-Belohnung ( $R_P$ ): Abgeleitet aus den Abstimmungsergebnissen. Der Spion erhält eine negative Belohnung proportional zur Anzahl der Stimmen, die er erhält (Verdacht), während Zivilisten Belohnungen basierend auf einer Nullsummen-Beschränkung relativ zum Gruppendurchschnitt erhalten.
- Alignment: Ausgaben, die das Informationsdefizit nicht erfolgreich verbergen (d. h. geringere Qualität aufweisen), ziehen mehr Stimmen auf sich, was zu niedrigeren Belohnungen führt. Somit wird die unverifizierbare „Qualität“ der Ausgabe in ein verifizierbares „Identitätserkennungs“-Problem umgewandelt.

Optimierungsstrategie:
SpyRL verwendet eine abwechselnde Optimierung zwischen der Performanz-Policy ( $\pi^P_\theta$ ) und der Detektions-Policy ( $\pi^D_\phi$ ).

Role-Advantage Estimation (RAE): Um das strukturelle Ungleichgewicht zu adressieren, bei dem Spione inhärent schwierigere Aufgaben bewältigen müssen, kalibriert RAE die Belohnungen, indem rollenspezifische Baselines subtrahiert werden. Dies stellt sicher, dass das Gradientensignal die Leistung relativ zur Schwierigkeit der Rolle widerspiegelt, statt nur die absolute Belohnungsgröße.
Abwechselnde Updates: Das System wechselt zwischen der Optimierung der Performer (um bessere, täuschendere Ausgaben zu generieren) und der Detektoren (um Schwächen besser zu identifizieren). Dies verhindert Policy-Stagnation und lokale Gleichgewichte, die bei festem Self-Play üblich sind.

3. Kernbeiträge

RLSVR-Paradigma: Der Vorschlag von Reinforcement Learning with Self-Verifiable Rewards, der Prinzipien des selbstüberwachten Lernens in RLVR integriert, um skalierbares Training für offene Aufgaben ohne externe Verifizierer zu ermöglichen.
SpyRL-Framework: Die Einführung von SpyRL, einer informationsasymmetrischen Self-Play-Methode, die offene Generierung als Multi-Agenten-Sozialdetektionsspiel umformuliert und dadurch verifizierbare Belohnungen durch regelbasierte Identitätsinferenz erzeugt.
Empirische Validierung: Umfassende Evaluierung über Textzusammenfassung, kreatives Schreiben und mathematisches Reasoning, die zeigt, dass SpyRL bestehende Selbstverbesserungsmethoden (R-Zero, Absolute Zero) bei nicht-verifizierbaren Aufgaben übertrifft und gleichzeitig die Leistung bei verifizierbaren Reasoning-Aufgaben beibehält oder verbessert.
Generalisierung: Nachweis, dass der Ansatz auf domänenspezifische Zusammenfassungen (wissenschaftliche Arbeiten) generalisiert und Fähigkeiten über Aufgaben hinweg transferiert (z. B. verbessert auf Zusammenfassung trainierte Modelle das kreative Schreiben).

4. Experimentelle Ergebnisse

Die Autoren evaluierten SpyRL auf Qwen3-4B und Qwen3-8B Modellen in drei Domänen:

Nicht-verifizierbare Aufgaben (Zusammenfassung & Kreatives Schreiben):
- Zusammenfassung: SpyRL erreichte die höchsten ROUGE-L Scores über fünf Benchmarks (GovReport, Multi-News, etc.). Beispielsweise verbesserte SpyRL auf GovReport mit Qwen3-4B den ROUGE-L Score von 33,2 (Absolute Zero) auf 36,7. In paarweisen A/B-Tests gegen Baselines gewann SpyRL die Mehrheit der Vergleiche (z. B. 74,6 % Win-Rate auf GovReport).
- Kreatives Schreiben: SpyRL übertraf Baselines in GPT-4o-paarweisen Evaluationen signifikant in Dimensionen wie Neuartigkeit, Emotion und Kohärenz. Auf WritingPrompts erreichte SpyRL eine Win-Rate von 84,3 % gegenüber dem untrainierten Backbone und 78,9 % gegenüber R-Zero.
- Korrelation: Die Analyse zeigte eine starke positive Korrelation zwischen der Anzahl der erhaltenen Verdachtsstimmen und niedrigerer Output-Qualität (gerankt durch GPT-4o), was die validiert, dass die stimmbasierte Belohnung tatsächlich mit der Aufgabenleistung korreliert.
Verifizierbare Aufgaben (Mathematisches Reasoning):
- SpyRL übertraf Baselines konsistent auf sieben Benchmarks (GSM8K, Math500, AIME 24/25, Minerva, MMLU-Pro, GPQA-D).
- Auf Qwen3-8B verbesserte SpyRL die Math500-Genauigkeit auf 81,2 % (vs. 78,4 % für R-Zero) und AIME 25 auf 23,3 % (vs. 14,2 % für R-Zero).
Kosteneffizienz:
- Im Gegensatz zu Rubric-as-Reward (RaR) Baselines, die ca. 200–900 $ an Verifizierer-Kosten pro Experiment verursachen, benötigt SpyRL keinen externen Verifizierer und verlässt sich ausschließlich auf die internen Regeln des Spiels.
Ablationsstudien:
- Abwechselnde Optimierung: Essenziell für die Leistung; ein gemeinsames Training führte zu einer Verschlechterung (z. B. sank die Math500-Genauigkeit von 68,2 % auf 53,1 %).
- Gruppengröße: Die Erhöhung der Spieler von 3 auf 5 lieferte die größten Gewinne; eine weitere Skalierung zeigte abnehmende Grenzerträge.
- RAE: Das Entfernen der Role-Advantage Estimation verursachte signifikante Leistungseinbußen, was die Notwendigkeit der Kalibrierung für die Informationsasymmetrie bestätigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Verifizierbarkeit keine intrinsische Eigenschaft einer Aufgabe sein muss, sondern durch Aufgaben-Transformation konstruiert werden kann. Durch die Umwandlung der offenen Qualitätsbewertung in ein verifizierbares Identitätserkennungsproblem ermöglicht SpyRL eine skalierbare, verifiziererfreie Selbstverbesserung für allgemeine offene Fähigkeiten.

Die Autoren argumentieren, dass ihr Ansatz den fundamentalen Engpass von RLVR in nicht-deterministischen Domänen adressiert:

Er eliminiert die Abhängigkeit von voreingenommenen menschlichen Präferenzen oder teuren LLM-Judges.
Er bietet ein stabiles, regelbasiertes Belohnungssignal, das aus der Umgebung selbst abgeleitet wird.
Er zeigt, dass Self-Play nicht auf inhärent verifizierbare Domänen (wie Mathe/Code) beschränkt ist, sondern durch geeignetes Umgebungsdesign auch auf kreative und generative Aufgaben ausgeweitet werden kann.

Die Ergebnisse legen nahe, dass Aufgaben-Transformation die Grenzen der aktuellen skalierbaren RLVR-basierten Selbstverbesserung erweitern kann und einen Weg zur Ausbildung offener LLM-Fähigkeiten ohne menschliche Supervision aufzeigt.