🤖 machine learning

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

Dieser Beitrag stellt LaRA vor, ein schichtweises Repräsentationsanalyse-Framework, das Datenkontamination in nach dem Reinforcement Learning nachtrainierten großen Sprachmodellen durch die Identifizierung geometrischer Abweichungen wie verstärkte Störungsempfindlichkeit, gerichteter Kollaps und lokale Starrheit aufdeckt und damit bestehende Detektionsmethoden auf Ausgabenebene übertrifft.

Ursprüngliche Autoren: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Spickzettel" in der Prüfung

Stellen Sie sich vor, Sie trainieren einen brillanten Schüler (ein Large Language Model), um schwierige Matheprobleme zu lösen. Sie geben ihm eine riesige Bibliothek an Übungsbüchern zum Lernen. Allerdings sind einige der „Übungsfragen" in diesen Büchern tatsächlich exakt dieselben Fragen, die in ihrer Abschlussprüfung vorkommen werden.

Dies wird als Datenkontamination bezeichnet. Wenn der Schüler die Antworten auf die Prüfungsfragen während des Lernens auswendig lernt, wird er die Prüfung bestehen, aber er hat nicht wirklich gelernt, wie man denkt oder schlussfolgert. Er hat sich nur den Spickzettel gemerkt.

Lange Zeit versuchten Wissenschaftler, dieses Schummeln zu entdecken, indem sie die Endantworten des Schülers betrachteten. Sie fragten: „Klingt der Schüler zu selbstbewusst? Antwortet er zu schnell?" (Diese werden als Output-Level-Signale bezeichnet).

Das Problem: In der neuen Ära des „Reinforcement Learning" (RL) lernt der Schüler, indem er viele verschiedene Lösungswege ausprobiert, nicht nur durch das Auswendiglernen von Wörtern. Aus diesem Grund ist es, als würde man einen Schummler nur anhand seiner Endnote ertappen wollen – oft ist es zu spät, und der Schummler kann sich leicht eine gute Note fälschen.

Die Lösung: LaRA (Die „Röntgen"-Vision)

Die Autoren schlagen eine neue Methode namens LaRA vor. Anstatt die Endantwort zu betrachten, schaut LaRA dem Schüler während des Denkens in den Kopf.

Stellen Sie sich das Gehirn des Schülers als ein mehrstöckiges Gebäude mit vielen Etagen (Schichten) vor. Wenn eine Frage das Gebäude hinaufgeht, verändert sich das Verständnis des Schülers auf jeder Etage.

Normales Lernen: Wenn ein Schüler eine neue Frage erhält, ist sein Gehirn flexibel. Wenn Sie die Formulierung der Frage leicht ändern (eine „Perturbation"), verschieben sich seine inneren Gedanken und passen sich natürlich an.
Auswendiglernen (Kontamination): Wenn ein Schüler eine Antwort auswendig gelernt hat, wird sein Gehirn starr. Es ist wie ein Roboter mit einem vorab aufgezeichneten Skript. Wenn Sie die Frage leicht ändern, weiß das innere Skript des Roboters nicht, wie es sich anpassen soll, oder es gerät in Panik und verschiebt sich auf eine seltsame, unnatürliche Weise.

Wie LaRA funktioniert: Die drei „Tests"

LaRA agiert wie ein Detektiv, der dem Schüler dieselbe Frage auf drei leicht unterschiedliche Arten stellt und beobachtet, wie seine inneren Gehirnwellen (Repräsentationen) reagieren. Sie messen drei spezifische Dinge:

Der „Schock-Test" (Magnitude der Repräsentationsverschiebung):
- Die Analogie: Stellen Sie sich vor, Sie nehmen ein Schlüsselelement aus einer Mathefrage heraus (z. B. entfernen Sie die Zahl „5" und ersetzen sie durch eine Lücke).
- Der normale Schüler: Sein Gehirn berechnet das gesamte Problem neu. Sein inneres „Gedankenmuster" verschiebt sich erheblich, weil sich die Mathematik geändert hat.
- Der Schummler: Weil er die Antwort auswendig gelernt hat, verwirrt das Entfernen einer Zahl ihn oder lässt sein Gehirn in einem riesigen, unnatürlichen Ausschlag verschieben. Er ist zu empfindlich gegenüber dem fehlenden Stück, weil er darauf vertraut hat, dass es vorhanden ist.
Der „Menschen-Test" (Richtungs-Kollaps):
- Die Analogie: Stellen Sie sich vor, Sie bitten 10 verschiedene Personen, ein Problem zu lösen. Ihre Gehirne bewegen sich normalerweise in leicht unterschiedliche Richtungen, weil jeder ein wenig anders denkt.
- Der normale Schüler: Sein Gehirn bewegt sich in eine einzigartige, vielfältige Richtung.
- Der Schummler: Sein Gehirn kollabiert in eine einzige, starre Richtung. Es ist, als würde eine Menschenmenge plötzlich im Gleichschritt marschieren. Dieser „Kollaps" tritt auf, weil sie nur einen auswendig gelernten Pfad abspulen, anstatt neue Ideen zu erkunden.
Der „Umformulierungs-Test" (Repräsentationsstabilität):
- Die Analogie: Stellen Sie dem Schüler dieselbe Frage, aber formulieren Sie sie komplett um (z. B. „Wie viele Äpfel?" vs. „Was ist die Anzahl der Früchte?").
- Der normale Schüler: Sein Gehirn bleibt stabil und konsistent. Er weiß, dass es dasselbe Problem ist.
- Der Schummler: Sein Gehirn wird starr und unveränderlich. Er ist so fest in der spezifischen auswendig gelernten Formulierung verankert, dass selbst eine leichte Umformulierung seinen inneren Zustand im Vergleich zu seiner Bewältigung normaler Fragen „steif" und unnatürlich wirken lässt.

Die Ergebnisse: Die Schummler ertappen

Die Forscher testeten dies an mehreren KI-Modellen, die mit Reinforcement Learning trainiert wurden.

Alte Methoden: Die alten „Output-Level"-Detektoren (Prüfung von Selbstvertrauen oder Wahrscheinlichkeit) wurden oft getäuscht. Sie konnten keinen Unterschied zwischen einem klugen Schüler und einem auswendig lernenden Schummler erkennen.
LaRA: Indem LaRA das „Röntgenbild" der inneren Geometrie des Gehirns betrachtete, entdeckte es erfolgreich die auswendig gelernten Fragen. Es stellte fest, dass kontaminierte Proben (die Schummler) deutliche „Narben" in ihren Gehirnwellen aufwiesen: Sie waren zu empfindlich gegenüber fehlenden Informationen, zu starr in ihrer Richtung und zu steif bei Umformulierungen.

Warum dies wichtig ist

Dieses Papier behauptet, dass wir, um wirklich zu wissen, ob eine KI während ihres fortgeschrittenen Trainings „lernt" oder nur „auswendig lernt", nicht nur zuhören können, was sie sagt. Wir müssen schauen, wie sie denkt. LaRA bietet einen Weg, die innere Gehirnstruktur der KI zu prüfen, um sicherzustellen, dass sie tatsächlich schlussfolgert und nicht nur einen Spickzettel rezitiert.

Kurz gesagt: LaRA ist ein neues Werkzeug, das KI-Modelle beim Schummeln bei ihren Prüfungen ertappt, indem es beobachtet, wie ihre Gehirne reagieren, wenn Sie die Fragen stupsen, stoßen und umformulieren, anstatt nur ihre Endantworten zu benoten.

Technische Zusammenfassung: LaRA – Layer-wise Representation Analysis zur Erkennung von Datenkontamination im RL-Post-Training

Problemstellung

Reinforcement Learning (RL) im Post-Training hat sich als äußerst wirksam erwiesen, um die reasoning-Fähigkeiten von Large Language Models (LLMs) zu verbessern. Dieses Paradigma führt jedoch eine kritische, bisher wenig untersuchte Schwachstelle ein: Datenkontamination, bei der Evaluierungs- oder Benchmark-Stichproben unbeabsichtigt in die RL-Trainingsdaten aufgenommen werden. Eine solche Kontamination kann reward-getriebenes Overfitting und implizites Auswendiglernen hervorrufen und damit die Generalisierungsfähigkeit sowie die Zuverlässigkeit der Evaluation des Trainingsprozesses untergraben.

Bestehende Detektionsmethoden stützen sich primär auf Signale auf Output-Ebene (z. B. Token-Wahrscheinlichkeiten, Entropie oder Perplexität), die aus Pre-Training- oder Supervised Fine-Tuning (SFT)-Kontexten abgeleitet werden. Diese Methoden sind für RL-trainierte Modelle aus zwei Gründen zunehmend unzuverlässig:

Kalibrierungsprobleme: Die Output-Verteilungen von LLMs sind oft schlecht kalibriert, was likelihood-basierte Signale verrauscht.
Zielkonflikt: Im Gegensatz zu Pre-Training oder SFT, die Token-für-Token-Wahrscheinlichkeiten optimieren, optimiert RL die erwarteten Belohnungen über gesamte Reasoning-Trajektorien hinweg. Folglich sind verhaltensbezogene Signale auf Token-Ebene weniger direkt mit dem zugrunde liegenden Trainingsziel abgestimmt.

Methodik: LaRA-Framework

Die Autoren schlagen LaRA (Layer-wise Representation Analysis) vor, ein Framework, das das Detektionsparadigma von Statistiken auf Output-Ebene hin zu Geometrie auf Repräsentationsebene verschiebt. Die Kernhypothese besagt, dass RL-induziertes Auswendiglernen abnormale geometrische Reaktionen in den internen Hidden States des Modells unter kontrollierten Störungen erzeugt.

1. Experimentelles Setup

Die Autoren konstruieren kontrollierte Kontaminations-Benchmarks unter Verwendung von drei Open-Source-RL-trainierten Modellen (EURUS-2-7B-PRIME, LIMR und Olmo-3.1-7B-RL-Zero-Math).

Members: 30 Mathematikprobleme auf Olympiade-Niveau aus dem eigenen RL-Trainingsset des Modells.
Non-Members: 30 Probleme aus AIME 2026 (nicht gesehene Daten).
Training: Die Modelle durchlaufen zusätzliches RL-Training auf einem Korpus, der die „Member"-Stichproben enthält, um die Evolution von Kontaminationssignalen zu simulieren und zu verfolgen.

2. Störungsstrategie (Perturbation Strategy)

Für eine gegebene Frage $q_0$ generiert das Framework:

Semantische Nachbarn: Eine Menge strukturell ähnlicher Fragen $Q = \{q_0, q_1, \dots, q_K\}$ .
Gestörte Varianten: Wichtige Informationen werden aus diesen Fragen mittels eines BLANKIMPORTANT-Operators entfernt, um $q^-_i$ zu erzeugen.
Paraphrasierte Varianten: Für die gestörten Fragen werden semantisch äquivalente Paraphrasen generiert, wobei die Leerstellenpositionen erhalten bleiben, um lokale Invarianz zu testen.

3. Drei geometrische Metriken

Hidden-Repräsentationen werden über alle Transformer-Schichten hinweg extrahiert ( $\ell \in \{0, \dots, L-1\}$ ), um drei komplementäre Metriken zu berechnen:

Representation Shift Magnitude (RSM): Misst die Sensitivität der Repräsentationen gegenüber Informationsentfernung. Sie berechnet die euklidische Norm der Verschiebung ( $\Delta_i = u_i - w_i$ ) zwischen den ursprünglichen und den gestörten Repräsentationen. Ein hohes RSM zeigt an, dass eine auswendig gelernte Stichprobe im Vergleich zu ihren semantischen Nachbarn übermäßig empfindlich auf den Entzug spezifischer Informationen reagiert.
Directional Collapse (DC): Charakterisiert die Organisation von durch Störungen induzierten Änderungen. Sie misst die kosinusförmige Ausrichtung zwischen der Störungsrichtung der ursprünglichen Stichprobe und der durchschnittlichen Störungsrichtung ihrer semantischen Nachbarn. Ein hohes DC zeigt an, dass die Reaktion des Modells auf Störungen in eine gemeinsame, niedrigdimensionale Richtung kollabiert, was auf eine verringerte Repräsentationsvielfalt hindeutet.
Representation Stability Index (RSI): Quantifiziert lokale Starrheit unter paraphrasierenden Störungen. Sie misst die Varianz der Repräsentationen für paraphrasierte Varianten derselben gestörten Frage. Ein niedriger RSI (hohe Stabilität) deutet darauf hin, dass das Modell starre, invariante lokale Repräsentationen für auswendig gelerntes Material gebildet hat.

4. Detektionsprotokoll

Das Framework fasst diese Metriken durch einen dreistufigen Prozess zu einer einzigen Detektionspunktzahl (SLaRA) zusammen:

Robuste Standardisierung: Die Metriken werden gegen eine „saubere" Referenzverteilung (Non-Members) unter Verwendung der Median Absolute Deviation (MAD) komprimiert und standardisiert, um schwer tail-verteilte Verteilungen zu handhaben und eine Inflations von Ausreißern zu verhindern.
Metrik-spezifische Ausrichtung: Die standardisierten Scores werden basierend auf der erwarteten Richtung der Kontamination ausgerichtet (z. B. Umkehrung von RSI, wenn hohe Stabilität auf Kontamination hindeutet).
Layerweise Aggregation: Die ausgerichteten Abweichungen werden über alle Schichten und Metriken gemittelt, um den endgültigen Anomalie-Score zu erzeugen.

Wichtige Ergebnisse

Experimente über mehrere RL-trainierte Modelle und Trainings-Checkpoints hinweg zeigen, dass LaRA bestehende Baselines auf Output-Ebene (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique) übertrifft.

Leistungssteigerung: LaRA erzielt bis zu +9,6 % AUC-Verbesserung und eine 3,5-fach höhere True Positive Rate bei 5 % False Positive Rate (TPR@FPR=5%) im Vergleich zur stärksten vorherigen Methode auf Output-Ebene.
Robustheit: Der kombinierte Score (SLaRA) bleibt über verschiedene RL-Trainings-Epochen hinweg stabil und effektiv, wohingegen Metriken auf Output-Ebene wie Perplexity (PPL) in strengen Niedrig-FPR-Bereichen eine hohe Varianz und geringere Zuverlässigkeit aufweisen.
Geometrische Erkenntnisse: Kontaminierte Stichproben zeigen konsistent:
- Verstärkte Störungssensitivität (hohes RSM).
- Abnormale Richtungskonzentration (hohes DC).
- Erhöhte lokale Starrheit (niedriger RSI/hohe Stabilität).
- Diese Abweichungen werden im Verlauf des RL-Trainings deutlicher, insbesondere in bestimmten Schichtenbereichen (z. B. Schichten 7–9 für Eurus).

Bedeutung und Beiträge

Das Paper beansprucht folgende Beiträge:

Erstes Framework auf Repräsentationsebene für RL: Es ist die erste Arbeit, die ein Framework zur layerweisen Repräsentationsanalyse speziell zur Erkennung von Kontamination im RL-Post-Training vorschlägt und dabei Steifigkeits- und Starrheitsmetriken nutzt.
Überlegenes Detektionsprotokoll: Das vorgeschlagene Protokoll übertrifft Baselines auf Output-Ebene bei diversen RL-Modellen konsistent und bietet ein zuverlässigeres Signal zur Auditierung von RL-trainierten Reasoning-Modellen.
Empirische Erkenntnisse: Die Studie liefert neue Belege dafür, dass RL-Training die Repräsentationsgeometrie auf eindeutige Weise beeinflusst und nachweisbare „geometrische Signaturen" des Auswendiglernens erzeugt, die über Schichten hinweg bestehen bleiben und gegenüber Verschiebungen des Trainingsstadiums robust sind.

Die Autoren schließen, dass die Auditierung auf Repräsentationsebene zwar einen rechenintensiven Overhead mit sich bringt, jedoch notwendig ist, um die Grenzen von Signalen auf Output-Ebene im RL-Bereich zu überwinden und damit die Transparenz und Zuverlässigkeit der LLM-Evaluation zu verbessern.