🤖 machine learning

In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification

Dieser Artikel zeigt, dass In-Context-Learning-Modelle mechanisch dazu gezwungen sind, demonstrierte Token als ein erschöpfendes Vokabular zu behandeln, was zu einem Zusammenbruch der Genauigkeit führt, wenn Label-Plätze mit homogenen oder sogar semantisch gültigen Token gefüllt werden, ein Phänomen, das auf spezifische neuronale Schaltkreise lokalisiert ist, die das semantische Verständnis durch eine formatgesteuerte Token-Wiedergewinnung überschreiben.

Ursprüngliche Autoren: Ming Liu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ming Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber etwas wortwörtlich denkenden Roboter, wie man ein Ratespiel spielt. Sie zeigen ihm einige Beispiele (Demonstrationen), wie das Spiel funktioniert, und bitten ihn dann, die Antwort für eine neue Situation zu erraten. Dies wird „In-Context Learning" (Lernen im Kontext) genannt.

Normalerweise gehen wir davon aus, dass der Roboter die Regeln des Spiels aus Ihren Beispielen lernt. Doch diese Studie entdeckte einen seltsamen Fehler: Der Roboter lernt die Regeln nicht wirklich; er kopiert lediglich die Liste der Antworten, die Sie ihm gegeben haben.

Hier ist die Aufschlüsselung dessen, was die Forscher mit einfachen Analogien herausfanden:

1. Die Falle der „Antwortliste"

Stellen Sie sich vor, Sie zeigen dem Roboter, wie man Tiere identifiziert.

Normaler Fall: Sie zeigen ihm 4 Bilder von Hunden und 4 Bilder von Katzen. Er lernt: „Ah, die Antwort ist normalerweise 'Hund' oder 'Katze'."
Der Fehler (Homogene Labels): Sie zeigen ihm 8 Bilder von Katzen, sagen ihm aber, die Antwort sei für alle von ihnen „Katze". Dann zeigen Sie ihm ein Bild eines Hundes und fragen: „Was ist das?"
- Was Sie erwarten: Der Roboter sieht den Hund und sagt: „Das ist ein Hund."
- Was passiert: Der Roboter schaut auf Ihre Liste mit 8 „Katzen"-Antworten, entscheidet, dass „Katze" das einzige erlaubte Wort im Spiel ist, und sagt trotzdem „Katze" – obwohl es falsch ist.

Die Forscher fanden heraus, dass, wenn Sie dem Roboter eine Liste von Antworten geben, die alle gleich sind, seine Genauigkeit auf nahezu Null einbricht (manchmal weniger als 12 %). Er hört auf, über das Bild nachzudenken, und beginnt zu denken: „Ich muss ein Wort aus der Liste wählen, die Sie mir gerade gegeben haben."

2. Das Experiment mit „Unsinnswörtern"

Um zu beweisen, dass der Roboter nicht einfach nur vom Wort „Katze" verwirrt war, versuchten die Forscher etwas Seltsameres. Sie gaben dem Roboter Beispiele, bei denen die Antworten Unsinnswörter wie „foo", „bar", „vex", „nit" und „orb" waren.

Der Aufbau: Sie zeigten dem Roboter 8 Beispiele mit diesen Unsinnswörtern. Dann zeigten sie ihm ein Bild eines echten Hundes und baten um die Antwort.
Das Ergebnis: Obwohl „foo" und „bar" für einen Hund keinen Sinn ergeben, weigerte sich der Roboter, „Hund" zu sagen. Stattdessen wählte er 42 % bis 67 % der Zeit eines der Unsinnswörter aus Ihrer Liste.
Die Lehre: Der Roboter behandelt die Wortliste, die Sie ihm gegeben haben, als geschlossenes Menü. Wenn „Hund" nicht auf dem von Ihnen bereitgestellten Menü steht, wird der Roboter verhungern, anstatt etwas außerhalb des Menüs zu bestellen. Es spielt keine Rolle, ob die Menüpunkte Unsinn sind; der Roboter greift einfach nach einem davon.

3. Der „Double-Think"-Mechanismus (Wie es im Inneren funktioniert)

Die Forscher schauten in das Gehirn des Roboters (mithilfe einer Technik namens „mechanistische Interpretierbarkeit"), um zu sehen, wie dies geschieht. Sie fanden einen zweistufigen Prozess, den sie „Encode-then-Override" (Kodieren und dann Überschreiben) nennen.

Stellen Sie es sich wie einen Autor vor, der eine Geschichte entwirft:

Schritt 1 (Der intelligente Teil): Die unteren Schichten des Roboterhirns lesen das Bild des Hundes und denken korrekt: „Das ist ein Hund." Er hat die richtige Antwort bereit.
Schritt 2 (Der Fehler): Die oberen Schichten des Roboterhirns schauen auf die Liste der Beispiele, die Sie ihm gegeben haben. Sie sehen, dass die Liste „Katze" (oder „foo") sagt. Sie entscheiden: „Nein, die Regeln dieses spezifischen Gesprächs besagen, dass wir nur Wörter aus dieser Liste verwenden dürfen."
Das Überschreiben: Die oberen Schichten löschen die richtige Antwort („Hund") und zwingen den Roboter, stattdessen ein Wort aus der Liste auszugeben.

Es ist wie bei einem Schüler, der weiß, dass die Matheaufgabe 2+2=4 lautet, aber der Lehrer sagt: „In dieser Klasse verwenden wir nur die Zahlen 5, 6 und 7." Der Schüler kennt die Wahrheit, aber die „Klassenregeln" (die Beispiele) zwingen ihn, stattdessen „5" zu schreiben.

4. Es passiert auch bei großen Robotern

Sie könnten denken: „Vielleicht passiert das nur bei kleinen, dummen Robotern." Die Forscher testeten dies an Modellen, die von sehr klein bis ziemlich groß reichten (bis zu 8 Milliarden Parameter).

Die Erkenntnis: Der Fehler passiert bei allen von ihnen. Selbst die intelligentesten Roboter in ihrer Testgruppe fielen auf die Falle herein. Tatsächlich fielen die größeren Roboter manchmal noch härter darauf herein und sanken von 86 % Genauigkeit auf 0 %, wenn die Beispiele irreführend waren.

5. Die „Letztes-Wort"-Regel

Die Forscher entdeckten auch eine seltsame Eigenart darüber, wann der Roboter zuhört.

Wenn Sie ihm 7 Beispiele für „Katze" und 1 Beispiel für „Hund" ganz am Ende geben, ignoriert der Roboter die ersten 7 und hört auf das letzte.
Wenn Sie das „Hund"-Beispiel am Anfang platzieren, ignoriert der Roboter es vollständig.
Analogie: Der Roboter hat eine sehr kurze Aufmerksamkeitsspanne. Ihn interessiert nur die letzte Liste von Antworten, die er gesehen hat, und er behandelt diese Liste als das absolute Gesetz für die aktuelle Frage.

Zusammenfassung

Die Studie kommt zu dem Schluss, dass diese KI-Modelle das Konzept einer Aufgabe nicht immer „lernen". Stattdessen holen sie oft einfach die Liste der Antworten, die sie Ihnen gezeigt haben, und wählen daraus, wobei sie die eigentliche Bedeutung der Frage ignorieren. Wenn Sie ihnen eine Liste mit Unsinn geben, werden sie mit Unsinn antworten. Wenn Sie ihnen eine Liste nur mit „Katzen" geben, werden sie einen Hund eine „Katze" nennen.

Warum dies wichtig ist (laut der Studie):
Wenn Sie diese Modelle für Aufgaben wie das Sortieren von E-Mails oder das Beantworten von Fragen basierend auf einer Datenbank verwenden und die Beispiele, die Sie heranziehen, zufällig alle dasselbe Label haben (auch versehentlich), hört das Modell auf zu denken und kopiert einfach dieses Label, was zu massiven Fehlern führt. Die Lösung? Stellen Sie sicher, dass die Beispiele, die Sie dem Roboter zeigen, vielfältig sind, und fügen Sie vielleicht ein korrektes Beispiel ganz am Ende der Liste hinzu, um sein Gehirn „zurückzusetzen".

Technische Zusammenfassung: In-Context Fixation

Problemstellung

Während frühere Forschung (Min et al., 2022) feststellte, dass zufällige Demonstrations-Labels nur minimale Auswirkungen auf die Leistung des In-Context-Lernens (ICL) haben, identifiziert diese Arbeit einen kritischen Fehlermodus, der als In-Context Fixation bezeichnet wird. Die Autoren zeigen, dass die Modellgenauigkeit bei Demonstrationen mit homogenen Labels (selbst wenn sie semantisch gültig sind) über verschiedene Architekturen und Aufgaben hinweg auf ≤12 % einbricht.

Kritisch ist, dass die Arbeit argumentiert, der Auslöser liege nicht in der Korrektheit der Labels, sondern im Inhalt des Label-Slots selbst. Das Modell scheint die Tokens, die in den Demonstrationen die Label-Position einnehmen, als ein erschöpfendes Antwortvokabular zu behandeln. Dieses Verhalten widerspricht latenten-konzeptuellen Bayes'schen Erklärungen (Xie et al., 2022), die vorhersagen würden, dass diverse nonsensische Labels zu einer diffusen Posterior-Verteilung führen sollten, die eine semantische Inferenz zur Wiederherstellung ermöglicht. Stattdessen bindet das Modell seine Ausgabe strikt an das demonstrierte Token-Inventar und ignoriert dabei semantische Plausibilität.

Methodik

Die Studie verfolgt einen vielschichtigen Ansatz, der Verhaltensanalyse, kausale mechanistische Interpretierbarkeit und architekturübergreifende Validierung kombiniert:

Experimentelles Setup:
- Aufgaben: Vier Single-Token-Binärklassifizierungsaufgaben (Kategorie, Sentiment, Temperatur, Größe) und eine 4-Klassen-Multiklassifizierung.
- Modelle: Sechs Basismodelle aus drei Familien (Pythia, Llama, Qwen) mit Größen von 0,8B bis 8B Parametern.
- Bedingungen:
  - Garden-Path (GP): Alle 8 Demonstrationen teilen sich ein Label, das der Testantwort entgegengesetzt ist.
  - Varied Nonsense: Demonstrationen verwenden diverse nonsensische Tokens aus der Menge $\{foo, bar, vex, nit, orb\}$ .
  - Multi-token: Verwendung von Verbalisierern wie „very positive", um Format- von Inhaltsfixation zu trennen.
- Metriken: Genauigkeit, Wahrscheinlichkeitsmasse auf demonstrierten Mengen gegenüber korrekten Antworten und Wiederherstellungsraten durch Patching.
Mechanistische Analyse:
- Per-Item Paired Activation Patching: An Pythia-1B eingesetzt, um Aktivierungen der Aufmerksamkeits-Schichten von Kontroll-Prompts (korrekte Labels) in Garden-Path-Prompts zu tauschen und kausale Schaltkreise zu identifizieren.
- Logit Lens: Angewendet auf Llama-3.2-1B, um die Entwicklung der Logits durch die Schichten zu verfolgen und die „encode-then-override"-Trajektorie zu beobachten.
- Direct Logit Attribution (DLA): Zur Identifizierung spezifischer Aufmerksamkeitsköpfe, die zur Fixation beitragen.

Hauptbeiträge

Aufgabenübergreifendes Phänomen: Der Fixationseffekt ist robust über vier Aufgaben, sechs Modelle und drei Modellfamilien (0,8B–8B). In allen 12 Aufgaben $\times$ Modell-Kombinationen fällt die GP-Genauigkeit unter 15 %, mit Lücken von 64–100 Prozentpunkten im Vergleich zu balancierten Kontrollen.
Set-Level-Fixation (Eingeschränktes Vokabular-Retrieval): Die Arbeit zeigt, dass Fixation über die gesamte demonstrierte Label-Menge operiert und nicht nur über ein einzelnes Token. Selbst bei diversen nonsensischen Labels konzentriert das Modell 42–67 % der Wahrscheinlichkeit auf die demonstrierte Menge, während es die semantisch korrekte Antwort unterdrückt ( $P(dog) < 0,2\%$ ). Dies beweist, dass das Modell aus dem demonstrierten Inventar abruft, anstatt aus latenten Konzepten zu inferieren.
Generalisierung auf Multiklassen und Multi-Token:
- Fixation erstreckt sich auf die 4-Klassen-Klassifizierung und reduziert die Genauigkeit auf 0 %, wenn die Labels homogen sind.
- Bei Multi-Token-Verbalisierern zerfällt die Fixation in Format-Level- (Annahme der „very X"-Vorlage) und Content-Level-Komponenten (Polaritäts-Override), die experimentell trennbar sind.
Erster kausaler Schaltkreis für einen ICL-Fehlermodus:
- Bei Pythia-1B stellt per-Item-paired Patching 98,4 % der Genauigkeitslücke wieder her.
- Der Schaltkreis ist auf einen schicht-7-zentrierten Schaltkreis lokalisiert (insbesondere involviert die Schichten 7, 10 und 11).
- Eine spärliche Koalition von nur 4 Köpfen (über 3 Schichten) erreicht eine 87,6 %ige Wiederherstellung, obwohl der Schaltkreis verteilt ist (redundante Pfade existieren).
Architekturübergreifende Replikation: Die Logit-Lens-Analyse an Llama-3.2-1B bestätigt die encode-then-override-Trajektorie: Mittlere Schichten (L9–L11) kodieren die korrekte Antwort, aber obere Schichten (L12–L15) überschreiben sie unter Garden-Path-Bedingungen. Per-Item-Patching an Llama bestätigt die kausale Suffizienz (89 % Wiederherstellung mit den Top-5-Schichten).

Ergebnisse

Dosis-Wirkungs-Beziehung: Die Genauigkeit sinkt monoton, wenn die Anzahl irreführender Demonstrationen zunimmt. Bei Qwen3-8B führt eine einzige zusätzliche irreführende Demonstration (von $k=7$ auf $k=8$ ) zu einem fast diskontinuierlichen Einbruch von 42 % auf 0 % Genauigkeit.
Set-Level-Grenzen: Wenn ein korrektes Label (z. B. „dog") aus der demonstrierten Menge ausgeschlossen wird, wird seine Wahrscheinlichkeit im Vergleich zu balancierten Kontrollen um den Faktor 1,6–9,4 unterdrückt, unabhängig von der semantischen Gültigkeit der Demonstrations-Labels.
Recency-Bias: Eine einzige korrigierende Demonstration an der letzten Position (Position 8) kann die Fixation vollständig aufheben (0 % $\to$ 100 % Genauigkeit) und sieben gegensätzliche Demonstrationen überschreiben.
Kalibrierungsfehler: Kontextuelle Kalibrierungsmethoden lösen die Fixation nicht auf und lassen eine Restlücke von 40 Prozentpunkten.
Instruction Tuning: Instruction-getunte Modelle zeigen unter roher Prompting-Fixation, obwohl Chat-Templates die Lücke bei einigen Modellen (z. B. Llama-3.2-3B-Instruct) verringern können, was darauf hindeutet, dass der Effekt mit dem Prompt-Format interagiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, aufzudecken, dass ICL-Ausgaben eingeschränktes Vokabular-Retrieval sind und keine semantische Inferenz oder latente-konzeptuelle Bayes'sche Aktualisierung. Das Modell bindet seine Ausgabe unabhängig von semantischer Plausibilität an das demonstrierte Token-Inventar.

Mechanistische Einsicht: Die „encode-then-override"-Trajektorie liefert eine mechanistische Erklärung für ICL-Fehler: Das Modell berechnet die Antwort in mittleren Schichten korrekt, verwirft sie jedoch in oberen Schichten zugunsten der demonstrierten Label-Menge.
Theoretische Implikationen: Diese Erkenntnis stellt die Sichtweise von ICL als rein implizite Bayes'sche Inferenz in Frage. Sie deutet auf einen „slot-conditioned set retrieval"-Mechanismus hin, bei dem der Label-Slot den Träger der Ausgabeverteilung definiert.
Praktische Implikationen: Die Autoren identifizieren dies als konkreten Zuverlässigkeitsfehlermodus für eingesetzte Systeme (z. B. RAG-Pipelines, Agenten-Gerüste). Sie schlagen vor, dass Demonstrationsvielfalt kritisch ist; insbesondere kann das Anhängen einer einzigen diversen, korrekt gelabelten Demonstration am Ende eines Prompts den Effekt abschwächen.
Sicherheit: Der Mechanismus stellt eine Angriffsfläche für Prompt-Injection dar, bei der ein Angreifer, der die Auswahl der Demonstrationen kontrolliert, durch Sicherstellung von Label-Homogenität Modellvorhersagen deterministisch überschreiben kann.

Die Arbeit schließt, dass der Effekt zwar bei 8B Parametern bestehen bleibt, die spezifische Schaltkreisarchitektur jedoch vom Modell abhängt (z. B. Pythia vs. Llama), und dass das Phänomen weitere Untersuchungen in größeren Modellen und bei推理aufgaben (reasoning tasks) erfordert.