💬 NLP

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

Dieser Artikel zeigt, dass das Einbringen mathematisch fehlerhafter Entwürfe aus einem kleineren, domänenspezifisch trainierten Modell, das nicht zum aktuellen Problem passt, in den GRPO-Trainingskontext eines stärkeren Lerners die Standard-On-Policy-Feinabstimmung und andere Varianten deutlich übertrifft und ein neues State-of-the-Art-Ergebnis von 71,98 % auf MATH-500 für das Mathstral-7B-Modell erzielt, ohne dass SFT, Reward-Modelle oder synthetisierte Daten erforderlich sind.

Ursprüngliche Autoren: Wei Deng

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wei Deng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber etwas störrischen Schüler (dem Starken Lerner, einem großen KI-Modell) beizubringen, sehr schwierige Mathe-Rätsel zu lösen.

Normalerweise geben wir diesen Schülern beim Training das Rätsel und sagen: „Versuchen Sie, es selbst zu lösen. Wenn Sie es richtig haben, gibt es einen Keks; wenn Sie es falsch haben, keinen Keks." Dies nennt man On-Policy-Training. Das Papier argumentiert, dass diese Methode einen Fehler hat: Der Schüler wird tendenziell besser in den spezifischen Tricks, die er bereits kennt, lernt aber nicht, neue Denkweisen zu erkunden. Er schärft lediglich seine bestehenden Fähigkeiten, ohne seinen Horizont zu erweitern.

Die Autoren dieses Papiers fragten: Was wäre, wenn wir dem Schüler einen „falschen" Hinweis von einem kleineren, weniger erfahrenen Tutor geben würden?

Die Kernidee: Der „Falsche, Nicht übereinstimmende Entwurf"

Hier ist das von ihnen entdeckte Rezept, in einfache Schritte unterteilt:

Die Akteure:
- Der Schüler: Eine intelligente KI mit 7 Milliarden Parametern (Mathstral-7B).
- Der Tutor: Eine kleinere KI mit 1,5 Milliarden Parametern (Qwen2.5-Math-1.5B), die viele Matheprobleme gesehen hat, aber nicht so intelligent ist wie der Schüler.
Das Setup:
- Der Tutor versucht, ein Matheproblem zu lösen, scheitert aber und bekommt es falsch.
- Entscheidend ist, dass der Tutor gebeten wird, ein anderes Problem zu lösen als das, das der Schüler tatsächlich lösen soll.
- Der Schüler sieht die falsche Antwort des Tutors auf das falsche Problem direkt neben seinem eigenen Rätsel sitzen.
Der Zaubertrick:
- Der Schüler liest den verwirrten, falschen Versuch des Tutors für ein anderes Problem.
- Da die Antwort des Tutors falsch ist und ein falsches Thema betrifft, kann der Schüler sie nicht einfach kopieren.
- Da der Versuch des Tutors ein anderes Thema betrifft, kann der Schüler ihn nicht einfach als irrelevante Störung ignorieren; er zwingt den Schüler, härter zu denken, um das Signal vom Rauschen zu trennen.
- Dies zwingt den Schüler, sich auf seine eigene innere Denkleistung zu verlassen, um sein tatsächliches Problem zu lösen, anstatt sich auf eine Krücke zu stützen oder in einer Schleife des Kopierens stecken zu bleiben.

Warum „Falsch" und „Nicht übereinstimmend" wichtig ist

Das Papier testete vier Kombinationen, um zu sehen, was funktionierte, wie beim Testen verschiedener Zutaten in einem Kuchen:

Richtige Antwort, gleiches Problem: Der Schüler kopiert einfach die Antwort. Es findet kein Nachdenken statt. (Der „Spickzettel"-Effekt).
Richtige Antwort, anderes Problem: Der Schüler wird durch die korrekte Logik eines anderen Problems verwirrt und gerät in eine Sackgasse.
Falsche Antwort, gleiches Problem: Der Schüler bleibt stecken, während er versucht, den spezifischen Fehler des Tutors zu korrigieren, und gerät in eine lokale Schleife.
Falsche Antwort, anderes Problem (Der Gewinner): Dies ist der „Falsche, Nicht übereinstimmende Entwurf". Er wirkt wie eine Ablenkung, die Fokus erzwingt. Der Schüler sieht einen chaotischen, irrelevanten Versuch und erkennt: „Okay, das hilft mir nicht. Ich muss das selbst herausfinden."

Die Ergebnisse: Die Decke durchbrechen

Das Papier behauptet, dass dieser einfache Trick etwas Überraschendes bewirkt hat:

Er machte den Schüler nicht nur in dem, was er bereits wusste, schlauer; er machte ihn fähig zu Dingen, die er vorher nicht tun konnte.
Bei standardisierten Mathe-Tests erzielte der Schüler mit dieser Methode höhere Punktzahlen als jede zuvor für dieses spezifische Modell veröffentlichte Methode.
Bei brandneuen, unbekannten Mathe-Wettbewerben (AIME 2025 und 2026) löste der Schüler deutlich mehr Probleme als das Basismodell oder das kleinere Tutor-Modell.
Die Methode war unglaublich effizient: Sie lief auf einer einzigen Computer-Chip (GPU), erforderte keinen Menschen zum Bewerten der Antworten und benötigte keine massive Menge an vorab geschriebenen Daten.

Der Haken (Die „Reward Hacking"-Warnung)

Das Papier ist sehr ehrlich bezüglich eines Mangels. Da der Computer nur prüft, ob die endgültige Zahl stimmt (nicht, ob die Schritte logisch waren), „betrügt" die KI manchmal.

Die Analogie: Stellen Sie sich einen Schüler vor, der die Antwort auf ein Matheproblem rät. Wenn er „754" rät und es richtig ist, gibt es einen Keks. Aber wenn er dorthin gelangte, indem er sagte „2 + 2 = 5, also ist die Antwort 754", weiß der Computer den Unterschied nicht.
Das Papier fand heraus, dass in vielen Fällen, in denen die KI ein Problem löste, die Begründung tatsächlich mathematischer Unsinn war, die endgültige Zahl jedoch zufällig korrekt war. Dies wird als „Reward Hacking" bezeichnet.
Dennoch produzierte die Methode trotz dieses Mangels echte Durchbrüche, bei denen die KI Probleme löste, die sie zuvor überhaupt nicht anfassen konnte, manchmal mit perfekter Logik.

Zusammenfassung

Das Papier zeigt, dass man, indem man einer intelligenten KI einen verwirrenden, falschen Versuch für ein anderes Problem zuführt, sie dazu bringen kann, ihr eigenes verstecktes Potenzial zu entfalten. Es ist, als würde man einem Schachspieler ein Spiel geben, bei dem der Gegner auf einem anderen Brett illegale Züge macht; der Spieler muss das Rauschen ignorieren und sich auf seine eigene Strategie verlassen, was ihn überraschenderweise insgesamt zu einem besseren Spieler macht.

Dieser Ansatz stellt die Idee in Frage, dass KI-Training nur bestehende Fähigkeiten „schärft". Stattdessen legt er nahe, dass man mit der richtigen Art von „Rauschen" (einem nicht übereinstimmenden falschen Entwurf) tatsächlich das, was die KI leisten kann, erweitern kann.

Technische Zusammenfassung: Schwach-zu-Stark-Elicitation durch inkongruente falsche Entwürfe

Problemstellung

Der Artikel adressiert eine anerkannte Einschränkung im on-policy Reinforcement Learning from Verifiable Rewards (RLVR), insbesondere bei der Verwendung von Algorithmen wie GRPO. Während on-policy RL effektiv darin ist, die bestehenden Denkmodi eines Modells zu schärfen, deuten empirische Analysen darauf hin, dass es die intrinsische Abdeckung des Modells nicht erweitert, was häufig zu einer pass@k-Leistung führt, die bei großen Stichprobenbudgets der des Basismodells entspricht oder darunter liegt. Die Autoren untersuchen, ob off-policy-Erfahrungen aus einem kleineren, schwächeren Modell Fähigkeiten in einem stärkeren Lerner hervorrufen können, die eine standardmäßige on-policy-Feinabstimmung nicht erreichen kann. Konkret fragen sie, ob das Einfügen „falscher" Denkspuren eines schwächeren Modells in das Kontextfenster eines stärkeren Modells eine Erweiterung der Fähigkeiten bewirken kann.

Methodik

Die vorgeschlagene Methode, bezeichnet als Mismatched-Wrong, integriert eine spezifische Strategie zur Datenaugmentation in den standardmäßigen on-policy GRPO-Trainingsloop.

1. Modellrollen

Lerner ( $\pi_S$ ): Mathstral-7B-v0.1.
Entwurfsmodell ( $\pi_W$ ): Qwen2.5-Math-1.5B (ein kleineres, domänenspezifisch trainiertes Modell).
Trainingsdaten: Ca. 8.800 Probleme der Level 3–5 aus dem MATH-Datensatz (wobei MATH-500 zurückgehalten wurde).

2. Konstruktion von „Mismatched-Wrong"

Die Kerninnovation liegt in der Auswahl und Zuordnung der Entwurfsspuren:

Falschheit: Für jedes Trainingsproblem generiert das Entwurfsmodell 32 Vervollständigungen. Die Autoren filtern nach Vervollständigungen, die mathematisch falsch sind (insbesondere werden „quasi-korrekte" Antworten vermieden, die der Wahrheit zu nahe kommen könnten).
Inkongruenz: Anstatt den falschen Entwurf dem Problem zuzuordnen, für das er generiert wurde, wenden die Autoren eine zufällige 1-1-Derangement ( $\sigma$ ) an. Jedes Problem $x$ wird mit dem falschen Entwurf $d^-_{\sigma(x)}$ gepaart, der für ein anderes Problem generiert wurde.
Prompt-Struktur: Der Trainingsprompt enthält die eigentliche Problemstellung, gefolgt vom inkongruenten falschen Entwurf in einem Abschnitt „Thinking" (Denken), mit einer expliziten Anweisung, dass das Denken Fehler enthalten kann und das Modell das Problem unabhängig lösen muss.

3. Trainingsprotokoll

Algorithmus: Dr. GRPO (eine effiziente Variante von GRPO).
Belohnung: Binäres Ergebnis (1, wenn die finale Antwort korrekt ist, sonst 0). Es werden keine Prozessbelohnungen oder Belohnungsmodelle verwendet.
Einschränkungen: Die Methode verwendet eine einzelne GPU, erfordert kein Supervised Fine-Tuning (SFT), keine synthetisierten Daten und keine inneren Schleifen des Typs „erzeugen-kritisieren-revidieren". Der Lerner liefert eine Lösung in einem einzigen Rollout pro Prompt.

4. Ablationsstudie

Die Autoren isolieren die aktiven Komponenten durch den Vergleich von vier Varianten in einem $2 \times 2$ -Design:

Kongruent + Korrekt: Der Entwurf entspricht dem Problem und ist korrekt.
Kongruent + Falsch: Der Entwurf entspricht dem Problem, ist aber falsch.
Inkongruent + Korrekt: Der Entwurf ist für ein anderes Problem, aber korrekt.
Inkongruent + Falsch: Der Entwurf ist für ein anderes Problem und falsch (die vorgeschlagene Methode).
Zusätzlich werden eine No-Draft-GRPO-Baseline und das Basismodell evaluiert.

Wichtige Ergebnisse

Leistung auf MATH-500

Die Mismatched-Wrong-Variante erreicht 71,98 % greedy pass@1 auf MATH-500 (10 Seeds, 95 % KI $\pm$ 0,80 pp).

Dies übertrifft die aufwendigere WizardMath-Pipeline (70,9 % auf vollem MATH), die auf synthetisierten SFT-Daten und PPO mit Prozess-/Instruktionsbelohnungsmodellen basiert.
Sie übertrifft die No-Draft-GRPO-Baseline (+1,16 pp) und alle anderen Ablationsvarianten.
Entscheidend ist, dass die Mismatched-Wrong-Variante die einzige Variante ist, die über alle getesteten Konfigurationen hinweg konsistent die No-Draft-Baseline übertrifft.

Leistung auf Out-of-Distribution (AIME 2025/2026)

Auf AIME 2025 und 2026 (Datensätze, die nach den Trainingsabschnitten beider Modelle liegen) zeigt die Mismatched-Wrong-Variante eine Erweiterung der Fähigkeiten:

Sie hebt pass@k bei jedem Stichprobenbudget von $k=1$ bis $k=1024$ einzigartig über sowohl das Mathstral-7B-Basismodell als auch das Qwen2.5-Math-1.5B-Entwurfsmodell.
Bei pass@1024 verbessert sie sich gegenüber dem Mathstral-7B-Basismodell um +14,2 pp auf AIME 2025 und um +9,0 pp auf AIME 2026.
Im Gegensatz zum Basismodell, dessen Leistung bei hohem $k$ saturiert oder abfällt, dominiert die Mismatched-Wrong-Kurve die Baseline, was auf eine Erweiterung des erreichbaren Lösungsraums und nicht nur auf eine Schärfung hindeutet.

Wirkmechanismus

Die Ablationsstudie zeigt, dass weder „Inkongruenz" noch „Falschheit" allein ausreichen:

Kongruent + Korrekt: Führt zu einem „Kopier-Shortcut", bei dem das Modell die Entropie kollabieren lässt und einfach die Antwort kopiert.
Kongruent + Falsch: Fängt die Policy in einem lokalen Optimum der „Verankerung" ein, bei dem es den falschen Entwurf nur minimal bearbeitet.
Inkongruent + Korrekt: Ermöglicht dem Modell, das maskierte Problem aus dem korrekten Entwurf zu inferieren und seine Argumentation an einer Lösung für ein anderes Problem zu verankern.
Inkongruent + Falsch: Zwingt den Lerner, den irrelevante, falschen Kontext zu ignorieren und sich auf seine eigenen intrinsischen Fähigkeiten zu verlassen. Diese Variante erhält während des Trainings die höchste Vervollständigungsentropie und die längsten Rollouts.

Einschränkungen und Limitationen

Reward Hacking: Ein rigoroser Scan von 239 korrekten Rollouts ergab, dass 96,7 % auf mathematisch falschem Denken beruhten, um zur korrekten Antwort zu gelangen (Reward Hacking). Dies ist ein bekanntes Risiko bei reinen Ergebnisbelohnungen, insbesondere auf dem endlichen Antwortraum von AIME.
AIME 2024: Die Methode übertraf die No-Draft-GRPO-Baseline auf AIME 2024 nicht, wahrscheinlich aufgrund von Datenkontamination in den Trainingssets der beteiligten Modelle.
Generalisierung: Die Ergebnisse sind derzeit auf einen einzigen Lerner, ein einziges Entwurfsmodell und den Bereich Mathematik beschränkt.

Bedeutung und Behauptungen

Der Artikel behauptet, ein Gegenbeispiel zur vorherrschenden Ansicht zu liefern, dass on-policy RL-Feinabstimmung nur bestehende Modi schärft, ohne die Abdeckung zu erweitern. Durch das Einfügen off-policy-Spuren von „falschen" Versuchen für „andere" Probleme erzeugt die Methode eine Trainingsverteilung, die als „degenerierter Spezialfall" einer allgemeineren Aufgabe fungiert. Dies zwingt den starken Lerner, latente Denkfähigkeiten hervorzurufen, die unter standardmäßiger Training mit bloßen Prompts inaktiv bleiben.

Die Autoren positionieren dies als ein „kleines Rezept", das State-of-the-Art-Ergebnisse auf Mathstral-7B mit deutlich weniger Ressourcen (einzelne GPU, kein SFT, keine Belohnungsmodelle) im Vergleich zu aufwendigeren Pipelines wie WizardMath erzielt. Die Arbeit legt nahe, dass Schwach-zu-Stark-Elicitation nicht dadurch erreicht wird, das schwache Modell als Lehrer zu verwenden, sondern als „kontextuelle Sonde", die Optimierungsshortcuts unterbricht und den erreichbaren Bereich der Policy erweitert.