💬 NLP

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Diese Arbeit zeigt auf, dass Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ein „Perplexity-Paradoxon“ in LLMs induzieren kann, indem es einen verborgenen „Anchor-Adapter“-Schaltkreis aktiviert, der das logische Denken zugunsten des Auswendiglernens spurer Lösungen umgeht, und bietet somit einen mechanistischen Rahmen zur Erkennung und Abschwächung einer solchen Datenkontamination.

Ursprüngliche Autoren: Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Zaubertrick“ eines Mathematikschülers

Stellen Sie sich vor, Sie haben einen brillanten Mathematikschüler (das KI-Modell, speziell Qwen2.5). Sie wollen ihn lehren, schwierige Probleme zu lösen. Normalerweise geben Sie ihm eine Aufgabe, er durchdenkt die Schritte, und Sie geben ihm einen goldenen Stern, wenn er die richtige Antwort findet. Dies nennt man Reinforcement Learning with Verifiable Rewards (RLVR).

Kürzlich bemerkten Forscher etwas Seltsames. Selbst wenn sie dem Schüler falsche goldene Sterne gaben (zufällige Belohnungen oder Belohnungen dafür, dass er die Antwort lediglich im richtigen Format schrieb, selbst wenn sie falsch war), stiegen seine Testergebnisse bei spezifischen Prüfungen dramatisch an.

Das Paradoxon: Wie kann ein Schüler klüger werden, indem er dafür belohnt wird, falsch oder zufällig zu sein?

Die Arbeit argumentiert, dass der Schüler nicht wirklich besser in Mathematik wird. Stattdessen führt er einen Zaubertrick aus: Er merkt sich heimlich die Antworten auf die spezifischen Testfragen, die er schon einmal gesehen hat, und rezitiert sie einfach, während er die eigentliche Mathematik ignoriert.

Das „Perplexity-Paradoxon“: Das verräterische Zeichen

Woher wissen wir, dass er schummelt (auswendig lernt) anstatt zu lernen? Die Forscher untersuchten das „Vertrauen“ des Schülers auf zwei verschiedene Arten:

Der Prompt (Die Frage): Der Schüler begann, verwirrt und inkohärent zu klingen, während er die Frage las.
Die Antwort: Er wurde hyper-selbstbewusst und perfekt, während er die endgültige Zahl aussprach.

Die Analogie: Stellen Sie sich eine Person vor, die versucht, eine Rede aufzusagen, die sie auswendig gelernt hat. Wenn Sie sie fragen: „Worum geht es in der Rede?“, stammelt sie und klingt nervös (hohe Verwirrung/Perplexity). Aber in dem Moment, in dem sie die Rede beginnt, spricht sie perfekt und ohne Zögern (niedrige Verwirrung/Perplexity).

In der Welt der KI wird dies als Perplexity-Paradoxon bezeichnet. Die KI opfert ihre Fähigkeit, die Frage zu verstehen, um die Antwort perfekt abrufen zu können.

Die Detektivarbeit: Den „Spickzettel“ finden

Die Forscher haben nicht nur geraten; sie nutzten Werkzeuge der „mechanistischen Interpretierbarkeit“. Betrachten Sie dies als Röntgenbrillen, die es ihnen ermöglichen, in das Gehirn der KI (ihre Schichten) zu schauen, um genau zu sehen, wo die Magie passiert.

Sie entdeckten einen spezifischen, zweiteiligen Schaltkreis innerhalb der KI, der wie ein Spickzettel-System fungiert:

1. Der „Anker“ (Der Auslöser)

Ort: Die Mitte des Gehirns (Schichten 18–20).
Was er tut: Dies ist der „Schalter“. Wenn die KI eine Frage sieht, die sie schon einmal gesehen hat (eine „geleakte“ oder kontaminierte Frage), leuchtet dieser Teil des Gehirns auf und sagt: „Hör auf zu denken! Ich kenne die! Hol die Erinnerung hervor!“
Die Analogie: Dies ist wie ein Bibliothekar, der, sobald er einen bestimmten Buchtitel sieht, sofort aufhört, in den Regalen zu suchen, und statlich zu einer versteckten Schublade rennt, um eine vorgefertigte Zusammenfassung herauszugreifen.

2. Der „Adapter“ (Der Übersetzer)

Ort: Der spätere Teil des Gehirns (Schichten 21+).
Was er tut: Sob sobald der Anker die Antwort hervorholt, ist es die Aufgabe des Adapters, die internen Gedanken der KI so umzuformen, dass sie zu dieser auswendig gelernten Antwort passen. Er zwingt den Rest des Gehirns, den Shortcut zu akzeptieren.
Die Analogie: Dies ist wie ein Übersetzer, der die versteckte Notiz des Bibliothekars nimmt und den Sprecher dazu bringt, sie so auszusprechen, dass es wie ein normaler Satz klingt, selbst wenn der Sprecher eigentlich etwas anderes sagen wollte.

Der Beweis: Den Schalter umlegen

Um zu beweisen, dass dies kein Zufall war, führten die Forscher eine „Operation“ am Gehirn der KI durch:

Der Reset: Sie nahmen die „Anker“-Schichten (18–20) und ersetzten sie durch das ursprüngliche, ungetrainierte Gehirn.
- Ergebnis: Die KI vergaß sofort die auswendig gelernten Antworten und ihre Punktzahlen in den „betrogenen“ Tests sanken.
Die Kontrolle: Sie machten dasselbe mit einem völlig neuen Test, den die KI noch nie gesehen hatte (LiveMathBench).
- Ergebnis: Die Leistung der KI änderte sich nicht. Sie konnte immer noch neue Probleme lösen, da ihre echten Denkfähigkeiten überall verteilt sind und nicht nur an diesem einen „Anker“-Punkt.

Der „Lautstärkeregler“: Den Betrug kontrollieren

Der faszinierendste Teil ist, dass die Forscher spezifische Neuronen (winzige Schalter) innerhalb des Ankers fanden, die wie ein Lautstärkeregler für den Spickzettel fungieren.

Aufdrehen: Wenn sie das Signal in diesen Neuronen erhöhten, wurde die KI stärker von der Auswendiglern-Methode abhängig, wurde sogar besser in den alten Tests, aber schlechter im logischen Denken.
Zudrehen: Wenn sie das Signal unterdrückten, hörte die KI auf zu schummeln. Sie hörte auf, auswendig zu lernen, und begann wieder, das Problem tatsächlich zu lösen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass KI-Modelle, die mit „spurious“ (scheinbaren/falschen) Belohnungen trainiert werden, nicht lernen, besser zu denken. Stattdessen lernen sie, ihr Gedächtnis auszunutzen. Sie finden eine Abkürzung: „Wenn ich diese spezifische Frage sehe, werde ich die Mathematik ignorieren und einfach die Antwort ausspucken, an die ich mich erinnere.“

Die Forscher haben nun exakt kartiert, wo dies geschieht, und einen Weg gefunden, diesen „Betrug“ zu erkennen und sogar zu deaktivieren. So wird sichergestellt, dass hohe Punktzahlen tatsächlich bedeuten, dass die KI klug ist, und nicht, dass sie nur ein auswendig gelerntes Skript rezitiert.

Technische Zusammenfassung: Das Paradoxon der Scheinbelohnung: Mechanistisches Verständnis darüber, wie RLVR die Aktivierung von Memorization-Shortcuts in LLMs auslöst

Problemstellung
Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem dominierenden Paradigma zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) entwickelt, insbesondere in deterministischen Domänen wie der Mathematik. Die vorherrschende Annahme ist, dass Leistungssteigerungen auf die Optimierung robuster Reasoning-Policies durch Ground-Truth-Supervision zurückzuführen sind. Jüngste empirische Beobachtungen stellen dieses Narrativ jedoch infrage. Modelle wie Qwen2.5-Math haben signifikante Leistungsverbesserungen auf Standard-Benchmarks (z. B. MATH-500, AIME) gezeigt, selbst wenn sie mit „Scheinbelohnungen“ (spurious rewards) trainiert wurden – Signalen, die zufällig, formatbasiert oder gänzlich inkorrekt sind. Während frühere Arbeiten nahelegten, dass diese Gewinne aus Datenkontamination (Memorization von Testsets während des Pre-Trainings) resultieren könnten, blieb eine kritische Lücke bestehen: Wenn die Daten bereits vorhanden waren, warum war die initiale Genauigkeit begrenzt, und wie kann das Training mit inkorrekten Belohnungen diese Leistung paradoxerweise freisetzen? Diese Arbeit untersucht die internen Mechanismen, durch die spurendes RLVR einen Wechsel von allgemeinem Reasoning hin zu „sturem Auswendiglernen“ (stubborn memorization) auslöst.

Methodik
Die Autoren verwenden eine Suite von Werkzeugen der mechanistischen Interpretierbarkeit, um die Lernmechanismen des Qwen2.5-Math-7B-Modells unter spurendem RLVR-Training zu sezieren. Die Methodik komb kombiniert statische und dynamische Analysen:

Perplexity-Analyse: Die Studie verfolgt die Perplexity von Antwort-Token gegenüber Prompt-Token, um makroskopische Lernanomalien zu identifizieren.
Path Patching: Um Outputs kausal auf spezifische Modellkomponenten zurückzuführen, tauschen die Autoren Aktivierungen zwischen „Leakage“-Proben (bei denen Memorization aktiv ist) und „Stable“-Proben (bei denen Reasoning aufrechterhalten wird) über verschiedene Schichten hinweg aus. Dies isoliert die Kanten im Computational Graph, die für das Auslösen des Gedächtnisabrufs verantwortlich sind.
Logit Lens & Jensen-Shannon-Divergenz (JSD): Diese Werkzeuge werden verwendet, um das schichtweise Auftreten von Token zu überwachen und die Übereinstimmung zwischen den intermediären Hidden States und der finalen Output-Verteilung zu quantifizieren. Hohe JSD-Werte deuten auf eine signifikante verbleibende Berechnung hin, bevor das Modell sich auf eine Antwort festlegt.
Neurale Differentialgleichungen (NDEs): Die Updates des Residual Streams werden als kontinuierliche Trajektorie ( $dx(t)/dt = F_\theta(x(t))$ ) modelliert. Dies ermöglicht die mathematische Identifizierung von „Bifurkationspunkten“, an denen sich memorierte und Reasoning-Trajektorien im latenten Raum trennen.
Mechanistische Intervention: Die Autoren führen kausales Steering durch Skalierung der Keys spezifischer MLP-Neuronen durch, die als kritisch für den Memorization-Circuit identifiziert wurden. Dies testet die kausale Suffizienz dieser Neuronen bei der Aktivierung oder Unterdrückung des Shortcuts.

Wesentliche Beiträge und Erkenntnisse

1. Das Perplexity-Paradoxon
Die Studie identifiziert ein „Perplexity-Paradoxon“, das für Modelle mit spurenden RLVR-Gewinnen charakteristisch ist. Auf kontaminierten Datensätzen sinkt die Perplexity des Modells auf Antwort-Token signifikant, während die Perplexity auf der Prompt-Seite (Kohärenz) degradiert. Diese Divergenz deutet darauf hin, dass das Modell allgemeines Reasoning umgeht, um memorierte Lösungen direkt abzurufen, wobei es die Qualität des Sprachmodells auf den Input opfert, um den Loss auf den Output zu minimieren.

2. Entdeckung des Anchor–Adapter-Circuits
Durch mechanistische Analyse lokalisieren die Autoren einen zuvor unbekannten Circuit, der für dieses Verhalten verantwortlich ist, bestehend aus zwei distinkten Komponenten:

Funktionaler Anker (Schichten 18–20): Diese mittleren Schichten fungieren als entscheidender Trigger. Path Patching und NDE-Analysen zeigen, dass die „Trennungskraft“ zwischen Leakage- und Stable-Proben hier ihren Höhepunkt erreicht. Hier entscheidet das Modell kausal über den Abruf einer memorierten Antwort und injiziert ein hochwahrscheinliches Trigger-Token.
Strukturelle Adapter (Schichten 21+): Nachfolgende Schichten durchlaufen eine drastische Reorganisation der Gewichte (hohe JSD in $W_{up}$ und $W_{gate}$ ), nicht um neues Wissen zu speichern, sondern um den internen Repräsentationsraum so zu transformieren, dass er das Signal des funktionalen Ankers aufnehmen kann. Diese Schichten agieren als Adapter, die den Feature-Raum rotieren, um ihn mit der memorierten Lösung in Einklang zu bringen.

3. Empirische Validierung der Kontamination
Ablationsstudien bestätigen, dass dieser Circuit datensatzabhängig ist. Das Zurücksetzen der funktionalen Anker-Schichten auf die Gewichte des Basismodells führt zu einem signifikanten Abfall der Genauigkeit auf kontaminierten Benchmarks (z. B. MATH-500), während die Performance auf sauberen, leakage-freien Datensätzen (z. B. LiveMathBench) weitgehend unbeeinflusst bleibt. Umgekehrt haben Manipulationen dieser Schichten minimale Auswirkungen auf „Stable“-Proben, die auf echtem Reasoning basieren, was darauf hindeutet, dass allgemeines Reasoning über das Netzwerk verteilt ist und nicht kritisch von diesem spezifischen Circuit abhängt.

4. Kausales Steering via MLP-Intervention
Die Autoren demonstrieren, dass die Skalierung der Keys spezifischer MLP-Neuronen innerhalb des identifizierten Circuits eine bidirektionale kausale Steuerung ermöglicht.

Amplifikation: Eine Erhöhung des Skalierungsfaktors verstärkt künstlich die Abhängigkeit des Modells von kontaminierten Daten und stellt die Performance selbst bei Proben wieder her, bei denen das Baseline-Modell versagte.
Suppression: Eine Verringerung des Skalierungsfaktors unterdrückt den Shortcut und legt die zugrunde liegende Baseline-Performance des Modells offen.
Dies liefert definitiven kausalen Beweis dafür, dass diese Neuronen der Mechanismus für die Aktivierung des Shortcuts sind. Zudem wird eine „Probe-Gated“-Intervention vorgeschlagen, die den Circuit selektiv nur dann unterdrückt, wenn eine Leakage-Probe eine hohe Wahrscheinlichkeit der Kontamination detektiert, wodurch verdächtige Gewinne effektiv auditiert werden können, ohne die Performance auf frischen Benchmarks zu beeinträchtigen.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste mechanistische Erklärung dafür zu liefern, wie spurende RLVR-Signale die interne Architektur eines LLM physisch rekonfigurieren, um Memorization gegenüber Reasoning zu bevorzugen. Durch die Identifizierung des „Anchor–Adapter“-Circuits und des „Perplexity-Paradoxons“ bieten die Autoren eine Roadmap für:

Unterscheidung zwischen Kapazität und Kontamination: Bereitstellung von Werkzeugen, um zwischen echtem Generalisierungs-Reasoning und dem Abruf vor-memorierter Daten zu differenzieren.
Minderung von Datenkontamination: Demonstration, dass spezifische Interventionen die kontaminationsgetriebene Performance unterdrücken können, ohne ein Retraining zu erfordern, was eine Methode zur post-hoc „Dekontamination“ von Modellen darstellt.
Verbesserung der RLVR-Sicherheit: Hervorhebung der Vulnerabilität von RLVR gegenüber der Optimierung durch Shortcuts, was die Notwendigkeit anspruchsvollerer Reward-Funktionen und Evaluation-Benchmarks bedingt, die resistent gegen Leakage sind.

Die Autoren wahren eine moderate Haltung und rahmen ihre Ergebnisse als Beleg für einen spezifischen Mechanismus innerhalb der Qwen-Familie bei der Arbeit mit kontaminierten Daten, statt als universelles Gesetz für alle LLMs. Sie betonen, dass ihre Arbeit als diagnostisches Werkzeug dient, um die Transparenz und Sicherheit von KI-Systemen in kritischen Domänen zu erhöhen.