Technisches Resümee: Richtiges Wissen, falsche Antwort: Testzeit-Steuerung für temporale Faktenkonflikte in Open-Weight-Sprachmodellen

1. Problemdefinition: Parametrischer Temporaler Konflikt (PTC)

Große Sprachmodelle (LLMs), die auf Korpora trainiert wurden, die mehrere Jahre abdecken, kodieren oft sowohl veraltete Fakten als auch deren neuere, nachfolgende Gegenstücke innerhalb ihres parametrischen Gedächtnisses. Ein distinkter Fehlermodus tritt auf, wenn ein Modell den aktualisierten Fakt intern besitzt (rückgewinnbar über temporale Cues), standardmäßig jedoch die veraltete Antwort liefert. Die Autoren formalisieren dies als Parametrischen Temporalen Konflikt (PTC).

Im Gegensatz zu einfachem Wissensdefizit (wo dem Modell der Fakt gänzlich fehlt) oder generischem temporalem Erinnerungsverlust ist PTC durch zwei Bedingungen definiert:

1. Veraltete Präferenz: $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ unter Standard-Prompting.
2. Rückgewinnbarkeit: $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$, wenn ein temporaler Cue (z. B. „Stand 2024...“) bereitgestellt wird.

Bestehende Ansätze, wie kontinuierliches Lernen (Gewichtsupdates) oder Retrieval-Augmented Generation, adressieren diesen spezifischen Fall der Auswahl zwischen koexistierenden Faktenversionen zum Zeitpunkt der Inferenz nicht, ohne die Gewichte zu modifizieren oder externes Retrieval zu nutzen.

2. Methodik: Temporal Attractor Steering (TAS)

Das Paper führt Temporal Attractor Steering (TAS) ein, ein dreistufiges, retrieval-freies und trainingsfreies Inference-Time-Framework, das darauf ausgelegt ist, PTC durch Manipulation der Aktivierungen im Residualstrom zu detektieren, zu lokalisieren und aufzulösen.

Stufe 1: Detektion

Eine leichtgewichtige lineare Sonde (Linear Probe) bewertet, ob eine Abfrage wahrscheinlich PTC aufweist. Die Sonde wird auf verifizierten PTC-Positiven und gematchten Nicht-Konflikt-Negativen trainiert. Wenn der Score einen Schwellenwert $\tau$ überschreitet, wird die Abfrage zur Steuerungsphase weitergeleitet; andernfalls wird sie normal verarbeitet, um das Verhalten bei Nicht-Konflikt-Abfragen zu bewahren.

Stufe 2: Konfliktlokalisierung

Unter Verwendung von Causal Activation Patching identifiziert die Methode eine konfliktkritische Schicht ($\ell^*$). Durch das Patchen von Hidden States aus einem „Temporal-Prompt“-Forward-Pass in einen „Standard-Prompt“-Forward-Pass bestimmen die Autoren, welche Schicht, wenn man in sie interveniert, die Answer-Flip-Rate (AFR) maximiert. Empirische Ergebnisse zeigen, dass diese kritische Schicht in der oberen Hälfte des Netzwerks liegt (z. B. Schichten 23–31 bei 28–32 Schichten umfassenden Modellen).

Stufe 3: Steuerung (Steering)

In der identifizierten Schicht $\ell^*$ wird der Hidden State in Richtung der Repräsentation des neueren Fakts mittels eines vorberechneten Steuerungsvektors $\Delta$ perturbiert:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
wobei $\alpha$ die Interventionsstärke steuert und $c$ den Detektions-Score darstellt. Der Steuerungsvektor $\Delta$ wird durch Mittelung der Differenz zwischen den Hidden States unter temporalen Cues und Standard-Prompts ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$) konstruiert. Die Autoren schlagen drei Varianten der Mittelungs-Granularität vor: global (V1), pro Relation (V2) und pro Domäne (V3). V2 (pro Relation) erweist sich als am effektivsten, da es verhindert, dass starke Signale spezifischer Relationen (wie „Staatsoberhaupt“) durch verrauschte, hochvolumige Relationen verwässert werden.

3. Kernbeiträge

1. Formalisierung und Filterung: Das Paper definiert PTC und führt einen Wissens-Recovery-Filter ein, um echte Konflikte von Wissensabwesenheit zu unterscheiden. Dies stellt sicher, dass die Evaluierung nur Fälle fokussiert, in denen das Modell den neuen Fakt kann, ihn aber standardmäßig nicht abruft.
2. Temporal Attractor Steering (TAS): Ein neuartiges Framework, das auf den Aktivierungen des Residualstroms operiert, um veraltetes parametrisches Wissen selektiv zu überschreiben, ohne ein Retraining oder externes Retrieval zu benötigen. Die theoretische Analyse liefert hinreichende Bedingungen (Lokale Separabilität, Begrenzte Steuerung), unter denen TAS die Präferenz-Ungleichung erfolgreich umkehrt.
3. Verifizierte Multi-Modell-Evaluierung: Die Autoren konstruierten einen 8.746-Datensatz-verifizierten Benchmark, der fünf Wikidata-Relationen (z. B. CEO, Staatsoberhaupt) abdeckt, und evaluierten vier Open-Weight-Modelle (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Experimentelle Ergebnisse

Die Evaluierung wurde auf dem 8.746-Datensatz-Benchmark über drei Modellfamilien durchgeführt.

• PTC-Prävalenz: Die gefilterten PTC-Raten skalieren monoton mit der Modellkapazität, von 4,1 % (Qwen-1.5B) bis 10,3 % (Llama-3.1-8B). Die Rate der veralteten Präferenz (Outdated-Preference-Rate, OPR) ist relativ familieninvariant (~53–54 %).
• Lokalisierung: Single-Layer Activation Patching erreicht Answer-Flip-Rates (AFR) von 0,72–0,85 über alle Modelle hinweg, was bestätigt, dass die Schaltkreise zur Konfliktlösung auf spezifische obere Schichten lokalisiert sind.
• End-to-End-Performance: TAS stellt 29–57 % der verifizierten PTC-Fälle wieder her, während eine Genauigkeit von 85–99 % bei Nicht-Konflikt-Abfragen (Preservation Accuracy) beibehalten wird.
  • Beste Performance: Qwen-2.5-7B erreichte eine Recovery-Rate von 56,9 % bei 94,8 % Preservation.
  • Vergleich zum Baseline-Modell: TAS übertrifft ein angepasstes ITI (Inference-Time Intervention)-Baseline-Modell bei drei der vier Modelle. Speziell erzielt TAS einen Gewinn von +0,142 bis +0,152 in der Recovery gegenüber ITI auf Qwen-Modellen, was auf die Konstruktion des Steuerungsvektors aus verifizierten Konfliktinstanzen statt aus allgemeinen Verhaltens-Kontrasten zurückzuführen ist.
• Cross-Modell-Analyse: PTC-Instanzen sind nicht perfekt über Modelle hinweg ausgerichtet. Interessanterweise ist die Überlappung zwischen Mistral und Llama (unterschiedliche Familien) größer als die Überlappung zwischen den beiden Qwen-Modellen (gleiche Familie), was darauf hindeutet, dass die Aktualität der Trainingsdaten ein stärkerer Prädiktor für die PTC-Ausrichtung ist als die architektonische Abstammung.

5. Bedeutung und Behauptungen

Das Paper beansprucht, eine mechanismus-basierte, retrieval-freie Erklärung dafür zu liefern, wie veraltetes parametrisches Wissen zur Inferenzzeit selektiv überschrieben werden kann.

• Diagnostischer Nutzen: Der Wissens-Recovery-Filter bietet ein kostengünstiges Diagnoseinstrument, um zu bestimmen, ob ein Modell über verwertbare neue Fakten verfügt, bevor eine Intervention versucht wird.
• Stabilität: Die konfliktkritische Schicht ist familien-spezifisch, aber stabil, was eine Wiederverwendung nach der Identifizierung für eine gegebene Modellfamilie ermöglicht.
• Interventions-Effektivität: Die Ergebnisse zeigen, dass temporale Konflikte messbar, lokalisiert und lösbar sind. Das Paper behauptet bescheiden, dass während das verifizierte Konflikt-Steering (TAS) generell das Behavioral-Contrast-Steering (ITI) übertrifft, die optimale Konstruktion des Steuerungsvektors je nach Modellarchitektur variieren kann (z. B. performte ITI besser auf Mistral-7B-v0.3).

Die Arbeit etabliert, dass PTC ein distinkter Fehlermodus ist, der sich von Wissensabwesenheit unterscheidet, und dass gezieltes Activation Steering diese Konflikte effektiv lösen kann, ohne den Rechenaufwand eines Retrainings oder die Latenz eines externen Retrievals zu verursachen.