🤖 AI

The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations

Dieser Artikel zeigt, dass zeitliche Wissensdrift in großen Sprachmodellen als geometrisch orthogonale Richtung im Residualstrom kodiert ist, was bestehende unsicherheitsbasierte Detektionsmethoden unwirksam macht, während gleichzeitig demonstriert wird, dass ein einfacher linearer Prober veraltete Informationen zuverlässig identifizieren kann, indem er direkt auf den internen Wissenszustand des Modells zugreift.

Ursprüngliche Autoren: Rania Elbadry, Ahmed Heakl, Fan Zhang, Dani Bouch, Yuxia Wang, Preslav Nakov, Zhuohan Xie

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rania Elbadry, Ahmed Heakl, Fan Zhang, Dani Bouch, Yuxia Wang, Preslav Nakov, Zhuohan Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der selbstbewusst veraltete KI

Stellen Sie sich vor, Sie fragen eine sehr kluge, gut informierte Bibliothekarin (eine KI) nach dem aktuellen Präsidenten eines Landes im Jahr 2025. Wenn diese Bibliothekarin mit Büchern trainiert wurde, die 2022 veröffentlicht wurden, wird sie Ihnen möglicherweise mit großer Zuversicht den Namen der Person nennen, die den Posten 2022 innehatte.

Der beängstigende Teil? Die Bibliothekarin klingt bei dieser alten Tatsache genauso sicher, fließend und zuversichtlich wie bei einer brandneuen Tatsache. Aktuelle Werkzeuge zur Erkennung von „Halluzinationen" (Lügen oder erfundenen Antworten) suchen nach Anzeichen von Verwirrung, wie etwa Stottern oder mangelndem Selbstvertrauen. Da die Bibliothekarin jedoch zuversichtlich falsch liegt, versagen diese Werkzeuge beim Aufspüren des Fehlers. Sie denken: „Oh, sie klingt sicher, also muss sie recht haben."

Die Entdeckung: Ein versteckter „Zeit-Schalter"

Die Forscher in diesem Papier entdeckten, dass dies kein Fehler ist, sondern ein strukturelles Merkmal der Funktionsweise dieser KI-Gehirne.

Stellen Sie sich das interne Gehirn der KI als einen riesigen, mehrdimensionalen Raum vor.

Achse A (Richtigkeit): Eine Richtung im Raum sagt der KI: „Ist diese Antwort wahr oder falsch?"
Achse B (Selbstvertrauen): Eine andere Richtung sagt der KI: „Wie sicher bin ich?"
Achse C (Zeitdrift): Die Forscher entdeckten eine dritte, verborgene Richtung, die völlig unabhängig von den ersten beiden ist. Diese Achse verfolgt eine spezifische Sache: „Hat sich die reale Welt seit meinem Training verändert?"

Das entscheidende Ergebnis ist, dass diese „Zeitdrift"-Achse geometrisch orthogonal (in einem perfekten 90-Grad-Winkel) zu den Achsen „Richtigkeit" und „Selbstvertrauen" steht.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Temperatur eines Raumes mit einem Lineal zu messen. Egal wie sehr Sie das Lineal betrachten, Sie werden die Temperatur niemals finden, da die Temperatur auf einer völlig anderen Dimension existiert. Ebenso ist die „Zeitdrift" auf einer anderen Dimension als das „Selbstvertrauen" lokalisiert; daher sind alle Werkzeuge, die nur das Selbstvertrauen oder die Richtigkeit prüfen, blind dafür, dass das Wissen der KI veraltet ist.

Das Experiment: Die „Zeitdrift" aufspüren

Die Forscher bauten ein neues Werkzeug (eine „lineare Sonde"), das speziell darauf ausgelegt ist, diese verborgene „Zeitdrift"-Achse zu finden.

Der Datensatz: Sie erstellten einen massiven Test mit 3.500 Fragen zu Fakten, die sich im Laufe der Zeit ändern (wie etwa, wer ein Sportteam trainiert oder wer eine Regierung anführt). Sie wussten genau, wann sich die „reale Welt"-Antwort änderte.
Die Ergebnisse:
- Alte Werkzeuge: Als sie bestehende Methoden anwandten (Prüfung auf Verwirrung oder geringes Selbstvertrauen), schnitten die Werkzeuge nicht besser ab als ein Münzwurf (etwa 50 % Genauigkeit). Sie konnten keinen Unterschied zwischen einer zuversichtlichen Lüge und einer zuversichtlichen, veralteten Tatsache erkennen.
- Neues Werkzeug: Ihr neuer „Zeitdrift"-Detektor funktionierte hervorragend und erreichte eine Genauigkeit von 83 % bis 95 %. Er konnte genau erkennen, wann die KI alte Neuigkeiten vortrug.

Warum alte Methoden versagen: Der „Abruf-Schaltkreis"

Das Papier geht tiefer und erklärt, warum sich die KI so verhält. Sie untersuchten die interne Maschine der KI (den „MLP-Abrufschaltkreis").

Sie stellten fest, dass die internen elektrischen Signale fast identisch aussehen, wenn die KI eine alte Tatsache abruft (Stale Recall) und wenn sie eine erfundene Tatsache erfindet (Confabulation).

Die Analogie: Stellen Sie sich zwei verschiedene Fahrer vor, die exakt dieselbe Route zum Lebensmittelgeschäft nehmen. Einer fährt ein Auto, das tatsächlich am Zielort ist (Richtig). Der andere fährt ein Auto, das in einem Stau aus dem Jahr 2022 stecken geblieben ist (Veraltet). Für einen Beobachter, der die GPS-Signale verfolgt, scheinen die Autos exakt dasselbe zu tun. Der interne „Motor" der KI weiß nicht, ob es sich um „Ich habe eine alte Tatsache gefunden" oder „Ich habe das erfunden" handelt. Er feuert einfach dasselbe Signal ab.

Der „Cross-Cutoff"-Beweis

Um zu beweisen, dass die KI tatsächlich das Datum ihres Trainings „erinnert" (und nicht nur auf die Wörter in der Frage reagiert), führten die Forscher einen cleveren Test durch:

Sie nahmen die exakt gleiche Frage (Byte-für-Byte identisch) und gaben sie zwei verschiedenen KIs.
KI A wurde 2022 trainiert.
KI B wurde 2024 trainiert.
Sie fragten nach einem Ereignis, das sich 2023 verändert hatte.

Das Ergebnis: Der „Zeitdrift"-Detektor der KI von 2022 ging los (schrie: „Das ist veraltet!"), während der Detektor der KI von 2024 still blieb (sagte: „Das ist aktuell!"). Da die Frage identisch war, änderte sich nur der interne Speicher der KI. Dies bewies, dass der Detektor den internen „Wissenszustand" der KI liest und nicht die Frage selbst.

Das Fazit

Das Papier kommt zu dem Schluss, dass zeitliche Drift eine distincte, verborgene Dimension innerhalb von Large Language Models ist.

Da sie auf einer anderen Achse als das Selbstvertrauen verborgen ist, können wir veraltete Antworten nicht einfach dadurch erkennen, dass wir prüfen, wie sicher die KI klingt.
Um dies zu beheben, benötigen wir neue Werkzeuge, die speziell nach dieser „Zeitdrift"-Achse suchen, anstatt das Problem zu lösen, indem wir versuchen, die KI nur „unsicherer" zu machen.

Kurz gesagt: Die KI ist nicht verwirrt; sie steckt einfach in der Vergangenheit fest und verbirgt diese Tatsache in einem Teil ihres Gehirns, den unsere aktuellen Werkzeuge nicht sehen können.

Technische Zusammenfassung: Die Geometrie des Vergessens

Problemstellung

Large Language Models (LLMs) produzieren häufig veraltete Antworten mit derselben Flüssigkeit und Zuversicht wie korrekte. Bei Fragen zu Fakten, die sich seit dem Trainings-Cutoff des Modells geändert haben (z. B. aktuelle Regierungschefs oder Sporttrainer), können Modelle einen veralteten Fakt abrufen, einen vor dem Training gültigen Inhaber nennen oder einen neuen erfinden. Bestehende Detektionsmethoden, die auf Ausgabe-Statistiken (z. B. Token-Entropie, semantische Entropie) oder auf allgemeine Korrektheit oder Unsicherheit trainierte Hidden-State-Probes beruhen, versagen bei der Unterscheidung zwischen diesen Fehlermodi. Insbesondere können sie Stale Recall (Abruf eines Faktus, der zum Trainingszeitpunkt korrekt, aber nun veraltet ist) nicht von Konfabulation (Erdichtung eines Faktus, der nie existierte) unterscheiden. Diese Undurchsichtigkeit lässt Einsätze unfähig, wiederherstellbare Trainingsfehler von Halluzinationen zu unterscheiden.

Die Autoren argumentieren, dass dies kein technisches Versagen, sondern ein strukturelles ist: Temporale Drift (ob ein gespeicherter Fakt seit dem Training verändert wurde) ist im Residualstrom des Modells als ein repräsentationaler Achsenvektor kodiert, der geometrisch sowohl zur Korrektheit als auch zur Unsicherheit orthogonal ist. Folglich ist jede Methode, die ausschließlich auf Signalen für Korrektheit oder Unsicherheit operiert, konstruktionsbedingt strukturell blind gegenüber Drift.

Methodik

Datensatzkonstruktion

Die Autoren stellten einen Datensatz mit 3.511 Abfragen zusammen, die sich über 1.342 eindeutige Fakten in vier Relationen erstrecken (head_of_government, head_coach, chair_of, owned_by) mit einer Präzision der Amtszeit auf Tagesbasis, abgeleitet aus einem eingefrorenen Wikidata-Snapshot (April 2026).

Temporale Wissenszustände: Jedes (Sample, Modell)-Paar wird basierend auf der Ausgabe des Modells im Verhältnis zum Zeitstrahl des Faktus und dem Trainings-Cutoff des Modells ( $\tau_\theta$ $τ_{θ}$ ) in einen von fünf Zuständen klassifiziert:
1. Stable-Correct: Korrekte Antwort, keine Drift.
2. Anachronism: Falsche Antwort (vergangener Inhaber), keine Drift (Fakt hat sich nie geändert).
3. Stale-Recall: Falsche Antwort (vergangener Inhaber), gedriftet (Fakt hat sich nach dem Training geändert).
4. Obsolete-Current: Falsche Antwort (aktueller Inhaber zum Zeitpunkt des Trainings, später ersetzt), gedriftet.
5. Confabulation: Falsche Antwort (erfunden), gedriftet.
Kontrollierte Evaluation: Um zu verhindern, dass Modelle einfach das Abfragejahr erkennen (ein Störfaktor), ist die Evaluation auf Abfragejahre $\ge \tau_\theta + 1$ beschränkt.

Probing und Analyse

Die Studie bewertet sechs instruction-tuned Modelle (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) über vier Architekturfamilien hinweg.

Lineare Probes: L1-regularisierte lineare Probes werden auf Aktivierungen des Residualstroms ( $h^{(\ell)}$ ) trainiert, um das Label is_drifted vorherzusagen. Die Autoren durchlaufen alle Schichten, um die Schicht mit der besten Leistung zu identifizieren.
Tests auf geometrische Unabhängigkeit: Um zu verifizieren, dass die Drift-Achse unabhängig von Korrektheit und Unsicherheit ist, werden fünf komplementäre Maße eingesetzt:
- Gewichtscosinus: Messung des Winkels zwischen den Gewichtsvektoren der Probes für Drift, Korrektheit und Unsicherheit.
- Score-Korrelationen: Pearson-Korrelationen zwischen den Probescores.
- Bidirektionale Nullraum-Projektion: Projektion des Residualstroms auf den Unterraum, der orthogonal zu den Störgrößenrichtungen (Korrektheit/Unsicherheit) liegt, und erneutes Trainieren der Zielprobe.
- Iterative Nullraum-Projektion (INLP): Iteratives Entfernen von Richtungen, die mit Störvariablen assoziiert sind, um eine verteilte Abhängigkeit zu testen.
- Mean-Shift-Dissociation: Vergleich trainierter Probes mit untrainierten Differenz-von-Mittelwerten (DoM)-Richtungen, um Optimierungsartefakte auszuschließen.
Mechanistische Interventionen:
- Activation Patching: Ersetzen korrupter Hidden States durch saubere, um die zeitliche Verarbeitung zu lokalisieren.
- Direct Logit Attribution (DLA): Zerlegung der Ausgabe-Logits zum Vergleich der MLP-Trajektorien für Stale-Recall vs. Konfabulation.
- Causal Steering: Verstärkung oder Unterdrückung der Drift-Richtung, um Änderungen in den Holder-Logits zu beobachten.

Hauptergebnisse

1. Lineare Dekodierbarkeit von Drift

Ein linearer Probe, der direkt auf Drift-Labels trainiert ist, erreicht über alle sechs Modelle hinweg eine AUROC von 0,83–0,95. Im Gegensatz dazu bleiben bestehende Baselines (Token-Entropie, Semantische Entropie, SEP, SAPLMA, CCS) nahe dem Zufallsniveau (0,49–0,57). Dies bestätigt, dass Drift ein linear dekodierbares Signal im Residualstrom ist, aber für Methoden unsichtbar bleibt, die nicht explizit auf Drift trainiert wurden.

2. Geometrische Orthogonalität

Fünf Tests bestätigen, dass die Drift-Achse geometrisch unabhängig vom Unterraum der Korrektheit-Unsicherheit ist:

Gewichtscosinus: $|\cos| \le 0,14$ zwischen Drift und sowohl Korrektheits- als auch Unsicherheitsvektoren.
Score-Korrelationen: $|r| \le 0,20$ zwischen Drift-Scores und Korrektheits-/Unsicherheits-Scores.
Nullraum-Projektion: Das Entfernen der Korrektheits- und Unsicherheitsrichtungen führt zu einer vernachlässigbaren Verschlechterung der AUROC ( $|\Delta| \le 0,008$ ), was bestätigt, dass Drift nicht in deren Spannweite liegt.
INLP: Das Entfernen von 10 Richtungen für jede Störvariable lässt Drift dennoch detektierbar.
Mean-Shift-Dissociation: Trainierte Probes sind nahezu orthogonal, selbst wenn untrainierte Mean-Shift-Richtungen hoch korreliert sind, was darauf hindeutet, dass die Unabhängigkeit strukturell und kein Artefakt der Sparsamkeit ist.

3. Modellspezifität und Eingabeunabhängigkeit

In einem Cross-Cutoff-Experiment mit byte-identischen Eingaben löst der Drift-Probe beim Modell aus, dessen Trainings-Cutoff vor dem Übergang des Faktus liegt, und bleibt beim Modell mit späterem Cutoff stumm. Die Wahrscheinlichkeit $P(A > B)$ reicht über Modellpaare hinweg von 0,975 bis 0,998. Dies beweist, dass der Probe den internen Wissenszustand des Modells detektiert und nicht Eingabeeigenschaften wie Vertrautheit mit Entitäten oder Abfragejahr.

4. Mechanistische Erklärung

Identische Abrufdynamiken: Die Direct Logit Attribution zeigt, dass der MLP-Abrufkreislauf für Stale-Recall und Konfabulation nahezu identische Trajektorien erzeugt ( $r > 0,81$ ). Beide Fehlermodi erreichen ihr Maximum in derselben Schicht, was erklärt, warum die Ausgabevertrauenswürdigkeit (die die Abrufstärke widerspiegelt) sie nicht trennen kann.
Latent aber aktivierbar: Causal Steering zeigt, dass die Drift-Richtung unter normaler Inferenz latent ist (ihre Unterdrückung verursacht keine Ausgabeänderung), aber bei Verstärkung die Holder-Logits neu strukturiert und gezielt den zeitlichen Abrufkreislauf aktiviert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass temporale Drift eine unterscheidende repräsentationale Eigenschaft von LLMs ist, die strukturell orthogonal zu Korrektheit und Unsicherheit steht. Diese geometrische Unabhängigkeit erklärt, warum:

Bestehende Halluzinationsdetektionsmethoden bei veralteten Fakten versagen.
Modelle bei gedrifteten Fakten selbstbewusst falsch liegen können (hohe Zuversicht, niedrige Unsicherheit), weil sie einen echten Abruf veralteter Trainingsdaten durchführen.
Die Detektion temporaler Drift Probes erfordert, die direkt auf Drift-Labels trainiert sind; eine Wiederverwendung von Korrektheits- oder Unsicherheits-Probes ist unzureichend.

Die Autoren schließen, dass eingesetzte Systeme diese spezifische Drift-Achse lesen sollten, um veraltetes Wissen zu identifizieren, anstatt auf Oberflächenebene Fehler zu warten oder sich auf Unsicherheitsschätzungen zu verlassen. Die Arbeit liefert eine mechanistische Erklärung dafür, wie Modelle zeitliche Gültigkeit kodieren, und zeigt, dass dieses Signal über lineare Probes zugänglich ist, was einen Weg zu robusterer zeitlicher Faktenprüfung in LLM-Anwendungen eröffnet.