💬 NLP

LogitTrace: Detecting Benchmark Contamination via Layerwise Logit Trajectories

Dieser Beitrag stellt LogitTrace vor, ein Framework, das Benchmark-Kontamination in großen Sprachmodellen durch die Analyse von schichtweisen Logit-Trajektorien erkennt, um zwischen den frühen Commitment-Mustern auswendig gelernter Beispiele und der schrittweisen Evidenzakkumulation bei tatsächlich begründeten Antworten zu unterscheiden.

Ursprüngliche Autoren: Zirui He, Haiyan Zhao, Yingcong Li, Ali Payani, Mengnan du

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zirui He, Haiyan Zhao, Yingcong Li, Ali Payani, Mengnan du

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Spickzettel" im Klassenzimmer

Stellen Sie sich einen Schüler vor, der einen sehr schwierigen Mathe-Test schreibt. Er erzielt eine perfekte Punktzahl. Man könnte denken: „Wow, das ist ein Genie!" Aber was, wenn er tatsächlich die Antworten auf genau diese Fragen während der Lernzeit auswendig gelernt hat? Er schlussfolgert nicht durch die Mathematik; er ruft die Antworten lediglich aus dem Gedächtnis ab.

In der Welt der Künstlichen Intelligenz (KI) nennt man dies Benchmark-Kontamination. Das passiert, wenn die Testfragen, anhand derer eine KI bewertet wird, versehentlich in den Trainingsdaten der KI landen (dem „Lehrbuch", das sie studiert hat). Die KI sieht intelligent aus, aber sie betrügt tatsächlich, indem sie sich die Antworten merkt.

Der alte Weg, Betrüger zu fangen

Früher versuchten Forscher, diesen Betrug zu erkennen, indem sie auf die Oberfläche schauten:

Der „Copy-Paste"-Check: Hat die KI die Antwort wortwörtlich genau wie die Trainingsdaten geschrieben? (Wenn der Lehrer die Frage umformuliert, könnte die KI diesen Check nicht bestehen.)
Der „Selbstbewusstsein"-Check: Wirkt die KI ungewöhnlich sicher?
Der „Geschwindigkeit"-Check: Ist sie zu schnell fertig?

Der Fehler: Diese Methoden sind zerbrechlich. Wenn jemand die Frage umformuliert (z. B. „Was ist 2+2?" in „Berechnen Sie die Summe von zwei und zwei" ändern), weiß die KI die Antwort möglicherweise immer noch, weil sie das Konzept auswendig gelernt hat, aber die alten Detektoren können es nicht mehr erkennen. Es ist wie ein Schüler, der sich den Lösungsschlüssel gemerkt hat, aber scheitert, wenn der Lehrer die Schriftart ändert.

Die neue Lösung: LogitTrace (Die „Gedankenprozess"-Kamera)

Die Autoren schlagen ein neues Werkzeug namens LogitTrace vor. Anstatt nur die endgültige Antwort zu betrachten, die die KI schreibt, schaut LogitTrace darauf, wie die KI denkt, während sie das Problem löst.

Die Analogie: Die Fabrik-Fließband

Stellen Sie sich die KI als eine Fabrik mit 30 verschiedenen Montagestationen (Schichten) vor, die hintereinander arbeiten.

Sauberes Denken (echtes Schlussfolgern): Während das Produkt (die Antwort) die Linie hinunterwandert, sammeln die Arbeiter an jeder Station langsam Beweise. Sie diskutieren, wägen Optionen ab und einigen sich allmählich auf das Endprodukt. Die Entscheidung baut sich langsam und stetig auf.
Auswendig gelerntes Denken (Betrug): Wenn die KI dieses Problem zuvor gesehen hat, ist es wie ein Arbeiter, der das Endprodukt bereits kennt. Er muss keine Beweise sammeln. Er entscheidet sich sofort an der allerersten Station für die Antwort. Der Rest der Fabrik kopiert nur diese frühe Entscheidung.

LogitTrace ist wie eine Hochgeschwindigkeitskamera, die die „Vertrauensniveaus" der KI an jeder einzelnen Station (Schicht) aufzeichnet, während sie die Frage verarbeitet. Es interessiert sich nicht für die endgültige Antwort; es interessiert sich für die Trajektorie (den Weg), den die KI dorthin genommen hat.

Funktionsweise (Schritt für Schritt)

Einblick gewähren: Die Forscher verwenden eine Technik namens „Logit-Linse", um einen Blick auf die internen „Gedanken" (Wahrscheinlichkeiten) der KI in jeder Schicht des Netzwerks zu werfen, nicht nur am Ende.
Den Pfad verfolgen: Sie kartieren, wie sich die Präferenz der KI für eine bestimmte Zahl von der ersten bis zur letzten Schicht verändert.
- Sauberes Beispiel: Der Pfad ist eine sanfte Steigung. Die KI schränkt ihre Wahlmöglichkeiten langsam ein.
- Kontaminiertes Beispiel: Der Pfad ist eine steile Klippe. Die KI legt sich sehr früh auf die Antwort fest und bleibt dort.
Der Detektiv: Sie füttern diese „Gedankenpfade" in einen kleinen, einfachen KI-Detektor (ein 1D-CNN). Dieser Detektor lernt, den Unterschied zwischen einem „langsamen Aufbau" (sauber) und einer „frühen Festlegung" (auswendig gelernt) zu erkennen.

Was sie fanden

Das Papier testete dies an mehreren KI-Modellen mit Matheproblemen. Hier sind die wichtigsten Erkenntnisse:

Es funktioniert, auch wenn sich die Fragen ändern: Als die Forscher die Matheprobleme umformulierten, übersetzten oder leicht veränderten, versagten die alten Detektoren (sie konnten nicht erkennen, dass die KI betrog). LogitTrace funktionierte immer noch. Es konnte immer noch sehen, dass die KI sich zu früh auf die Antwort festlegte, was bewies, dass sie sich erinnerte und nicht schlossfolgerte.
Das „LoRA"-Experiment (Der smoking gun): Um zu beweisen, dass dies kein Zufall war, nahmen sie eine saubere KI und zwangen sie, spezifische Matheprobleme mit einer Technik namens LoRA (eine Art Feinabstimmung) auswendig zu lernen.
- Bevor sie das Auswendiglernen erzwangen, zeigte die KI „saubere" Gedankenpfade.
- Nachdem sie das Auswendiglernen erzwangen hatten, änderten sich die Gedankenpfade der KI und sahen exakt wie das „Betrugs"-Muster aus (frühe Festlegung).
- Warum das wichtig ist: Dies beweist, dass LogitTrace tatsächlich den Akt des Auswendiglernens erkennt und nicht nur zufälliges Rauschen.

Das Fazit

LogitTrace ist eine neue Möglichkeit zu erkennen, ob eine KI wirklich intelligent ist oder nur ein Papagei. Indem es die „innere Reise" betrachtet, wie eine KI eine Antwort bildet, anstatt nur das Endergebnis, kann es Betrug aufspüren, selbst wenn die Testfragen umgeschrieben oder getarnt sind. Es bietet einen ehrlicheren Blick darauf, ob KI-Modelle tatsächlich lernen zu schlussfolgern oder nur ihre Lehrbücher auswendig lernen.

Technische Zusammenfassung: LogitTrace

Problemstellung

Large Language Models (LLMs) werden häufig an herausfordernden Benchmarks (z. B. AIME, Math500) evaluiert. Ein kritisches Problem ist die Benchmark-Kontamination, bei der Testdaten oder deren Varianten im Trainingskorpus erscheinen. Dies ermöglicht es Modellen, auswendig gelernte Lösungen zu reproduzieren, während sie gleichzeitig so wirken, als würden sie schlussfolgern, wodurch Leistungsmetriken aufgebläht und die wahren Generalisierungsfähigkeiten verschleiert werden.

Bestehende Detektionsmethoden stützen sich primär auf:

Oberflächenüberlappung: Lexikalische Ähnlichkeit oder exakte Übereinstimmungen bei der Vervollständigung.
Vervollständigungsverhalten: Ob das Modell den Zieltext aus partiellen Prompts rekonstruieren kann.
Statistiken der finalen Ausgabe: Perplexität, Ausgabe-Wahrscheinlichkeit oder distributionelle Übereinstimmung.

Diese Ansätze leiden unter erheblichen Robustheitsproblemen. Wenn Benchmark-Elemente umformuliert, übersetzt oder strukturell verändert werden, verschlechtern sich oberflächliche Signale rasch und versagen oft bei der Erkennung von Kontamination, die trotz fehlender wortwörtlicher Überlappung fortbesteht.

Methodik: LogitTrace

Die Autoren schlagen LogitTrace (Layerweise Logit-Trajektorien) vor, ein Framework, das Kontamination durch die Analyse der zeitlichen Dynamik der Modellentscheidungsfindung über die Netzwerkschichten hinweg erkennt, anstatt sich ausschließlich auf die finale Ausgabe zu verlassen.

Kernkonzept

Die Hypothese lautet, dass Auswendiglernen beeinflusst, wie eine Antwort entsteht, und nicht nur, was die Antwort ist. Kontaminierte Beispiele zeigen tendenziell eine frühere Festlegung auf eine spezifische Lösung über die Schichten hinweg, während saubere Beispiele eine graduelle Anhäufung von Evidenz aufweisen.

Technischer Ablauf

Repräsentationsextraktion (Logit Lens):
- Für einen gegebenen Eingabewert $x$ werden die versteckten Zustände $h^{(\ell)}$ des Modells in jeder Schicht $\ell$ durch die Unembedding-Matrix ( $W_U$ ) projiziert, um Vokabularverteilungen $p^{(\ell)}$ zu erhalten.
- Da der Fokus auf numerischem Schlussfolgern liegt, wird die Verteilung auf Zifferntokens ($0-9$) beschränkt.
- Für jede Schicht berechnen die Autoren:
  - Ziffernwahrscheinlichkeiten $p^{(\ell)}(d)$ .
  - Ziffern-Entropie $H^{(\ell)}$ .
  - Maximale Ziffernwahrscheinlichkeit $m^{(\ell)}$ .
  - Erste Ordnungs-Zeitdifferenzen ( $\Delta$ ) dieser Metriken.
Feature-Konstruktion:
- Diese Metriken bilden eine mehrkanalige Sequenztrajektorie $X \in \mathbb{R}^{C \times T}$ , wobei $C=24$ Kanäle (12 Rohfeatures + 12 Differenzfeatures) und $T$ die Anzahl der Schichten ist.
- Diese Trajektorie erfasst die Entwicklung der Präferenz des Modells für bestimmte Ziffern während der Verarbeitung der Eingabe.
Detektionsmodell:
- Ein leichtgewichtiges 1D-Convolutional Neural Network (CNN) wird trainiert, um diese Trajektorien als „kontaminiert" oder „sauber" zu klassifizieren.
- Die Architektur umfasst drei Faltungsschichten mit ReLU-Aktivierung, globales Average Pooling und einen binären Klassifikationskopf.
- Der Detektor wird auf einem operativen Kontaminationsdatensatz trainiert (z. B. AIME 1983–2024 als kontaminiert vs. AIME 2025 als sauber) und bleibt während der Evaluation fixiert.

Hauptbeiträge

LogitTrace-Framework: Einführung eines Detektors, der kontaminationsassoziierte Entscheidungsdynamiken aus layerweisen Logit-Trajektorien identifiziert und über oberflächliche Hinweise hinausgeht.
Muster der frühen Festlegung: Empirischer Nachweis, dass kontaminierte Beispiele im Vergleich zu sauberen Beispielen konsistent eine frühere Festlegung auf Antworten über die Schichten hinweg aufweisen, ein Signal, das bei Umformulierung, Übersetzung und Perturbation robust bleibt.
Kontrollierter kausaler Nachweis: Validierung durch LoRA-Injektionsexperimente. Durch das Fine-Tuning von Modellen auf Zielstichproben mit variierenden LoRA-Rängen zeigen die Autoren, dass wiederholte Exposition dieselben Trajektorienmuster induziert, die bei natürlich kontaminierten Beispielen beobachtet werden, und dass die Konfidenzwerte des Detektors mit der Stärke des Fine-Tunings monoton ansteigen.

Experimentelle Ergebnisse

Die Methode wurde an vier Open-Source-LLMs (Qwen-2.5-7B, Qwen-2.5-Math-7B, Llama-3.1-8B, Qwen-3-8B) über vier Textverteilungen hinweg evaluiert: Original, Umformuliert, Übersetzt und Perturbiert.

Robustheit: Während auf Vervollständigung basierende Baselines (z. B. exakte Übereinstimmung, TS-Guessing) bei umformulierten oder übersetzten Eingaben Kontaminationsentdeckungsraten unter 20 % verzeichneten, behielt LogitTrace hohe Entdeckungsraten bei (z. B. 63,1 % bei umformuliertem Qwen-2.5-7B gegenüber 16,7 % für Baselines).
Falsch-Positiv-Raten: LogitTrace reduzierte die Anzahl der falsch positiven Klassifikationen bei sauberen Stichproben im Vergleich zu auf Verteilungen basierenden Methoden (z. B. Perplexität oder Ausgabeverteilung) erheblich, die häufig saubere, umformulierte Eingaben fälschlicherweise als kontaminiert markierten.
Ablationsstudien:
- Schichttiefe: Signale treten früh auf; die Verwendung der ersten 1/3 der Schichten erzielte F1-Scores von ~68 %, während die volle Tiefe ~95 % erreichte.
- Architektur: Das 1D-CNN schnitt besser ab als MLP- und Transformer-Baselines, insbesondere bei der Aufrechterhaltung einer niedrigen False-Positive-Rate (5,56 % gegenüber 16,67 % für Transformer).
Externe Generalisierung: Bei Anwendung auf die MMLU-Mathematik-Teilmenge (Zero-Shot) identifizierte LogitTrace ~95 % der Stichproben als „seen-like" (ähnlich gesehen). Diese Gruppe wies eine signifikant höhere Modellleistung auf (Top-1-Genauigkeit +0,33) im Vergleich zur „not-seen"-Gruppe, was darauf hindeutet, dass der Detektor echte Vertrautheit erfasst.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LogitTrace Nachweise jenseits von Oberflächenüberlappung und Konfidenz der finalen Ausgabe liefert. Durch die Analyse der internen Dynamik des Modells bietet es eine robustere Linse zur Untersuchung von auswendiglernähnlichem Verhalten.

Kausaler Zusammenhang: Die LoRA-Injektionsexperimente liefern kontrollierte kausale Nachweise dafür, dass die Trajektorienmuster ein direktes Ergebnis der Exposition des Modells gegenüber Trainingsdaten sind und nicht oberflächliche Artefakte.
Praktischer Nutzen: Das Framework bietet ein Werkzeug zur Neubewertung von Benchmark-Kontamination, insbesondere in Szenarien, in denen Standard-Detektionsmethoden aufgrund von Paraphrasierung oder Übersetzung versagen.
Einschränkungen: Die Autoren weisen darauf hin, dass LogitTrace auf operativen Labels angewiesen ist (da echte Trainingskorpora nicht verfügbar sind) und Zugriff auf Repräsentationen der Zwischenschichten erfordert, was seine Anwendung auf Closed-Source-Modelle, die nur finale Ausgaben offenlegen, einschränkt. Darüber hinaus konzentriert sich die aktuelle Implementierung auf numerisches Schlussfolgern; eine Erweiterung auf offene Aufgaben würde neue Feature-Definitionen erfordern.