💬 NLP

Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

Diese Arbeit zeigt auf, dass der Abruf von Fakten in großen Sprachmodellen auf redundanten, verteilten und nicht-kontinuierlichen Berechnungspfaden über mehrere Schichten hinweg beruht, was die Annahme einer lokalisierten Wissensspeicherung infrage stellt und die beobachtete Diskrepanz beim Knowledge Editing erklärt.

Ursprüngliche Autoren: Hail Hochman, Natalie Shapira, Yoav Goldberg

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hail Hochman, Natalie Shapira, Yoav Goldberg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie eine riesige, mehrstöckige Bibliothek vor, in der jedes Buch ein winziges Stück des Wissens der Welt enthält. Lange Zeit glaubten Forscher, dass man, wenn man eine spezifische Tatsache finden wollte – wie etwa „Was ist Angela Merkels Muttersprache?“ – die Antwort in einem ganz bestimmten Raum (einer spezifischen Schicht des Modells) gespeichert und in einer geraden Linie, Stockwerk für Stockwerk, abrufen würde.

Dieses Paper argumentiert, dass die Realität viel chaotischer, flexibler und redundanter ist. Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die „nicht-kontinuierliche“ Aufzugfahrt

Die alte Idee: Um eine Antwort zu erhalten, hält der interne „Aufzug“ des Modells (die Datenverarbeitung) an jedem einzelnen Stockwerk an und prüft die Informationen bei jedem Schritt, vom Erdgeschoss bis zum Dachgeschoss.

Die Entdeckung des Papers: Der Aufzug hält nicht an jedem Stockwerk. Tatsächlich überspringt er oft ganze Etagen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Paket auszuliefern. Sie müssen nicht, dass der Lieferwagen an jedem einzelnen Haus in der Straße hält. Manchmal kann der Lastwagen direkt vom 2. Stock in den 8. Stock springen, die Stockwerke dazwischen ignorieren und trotzdem das Paket an die richtige Tür liefern.
Die Erkenntnis: Die Autoren fanden heraus, dass das Modell nur eine spezifische, verstreute Menge an Schichten benötigt, um eine Tatsache abzurufen. Es kann die Information durch das Netzwerk „teleportieren“, indem es viele Zwischenschritte überspringt, die für diese spezifische Tatsache unnötig sind.

2. Die „redundanten Backup-Routen“

Die alte Idee: Es gibt einen einzigen „korrekten“ Pfad, um eine Tatsache zu finden. Wenn man diesen Pfad blockiert, versagt das Modell.

Die Entdeckung des Papers: Das Modell verfügt über mehrere Backup-Routen, die genauso gut funktionieren.

Die Analogie: Denken Sie an eine Stadt mit einer Hauptautobahn. Wenn Sie die Autobahn blockieren, kommt der Verkehr nicht zum Erliegen; er weicht sofort auf ein komplexes Netz aus Nebenstraßen, Seitenstraßen und sogar eine andere Autobahn aus, die eine längere, kurvenreichere Route nimmt. Beide Routen führen Sie zum selben Ziel, aber sie sehen völlig unterschiedlich aus.
Die Erkenntnis: Für fast jede getestete Tatsache fanden die Forscher einen „Primärpfad“ (die kürzeste, effizienteste Route) und mindestens einen „Alternativpfad“ (eine längere, tiefere Route). Wenn man den Primärpfad blockiert, kann das Modell die Antwort immer noch über den Backup-Pfad finden. Das bedeutet, dass das Wissen nicht nur an einem Ort gespeichert ist; es ist verteilt und redundant.

3. Das „Minimale Team“ vs. Das ganze Orchester

Die alte Idee: Das gesamte Modell arbeitet zusammen, um jede Antwort zu generieren.

Die Entdeckung des Papers: Man braucht nur ein kleines, spezifisches Team von Schichten, um die Aufgabe zu erledigen.

Die Analogie: Stellen Sie sich ein Sinfonieorchester vor, das ein Stück spielt. Sie könnten annehmen, dass jeder Musiker für jede Note benötigt wird. Aber die Autoren fanden heraus, dass für eine bestimmte Tatsache nur wenige spezifische Musiker (Schichten) tatsächlich die Noten spielen. Der Rest des Orchesters ist im Wesentlichen stumm oder macht etwas anderes.
Die Erkenntnis: Sie identifizierten einen „minimalen Attribut-Berechnungspfad“ (minimal attribute computation path). Dies ist die kleinste Gruppe von Schichten, die erforderlich ist, um die korrekte Antwort zu produzieren. Überraschenderweise endet diese Gruppe oft in der Mitte des Modells. Sobald die Information von diesen wenigen Schichten verarbeitet wurde, muss der Rest des Modells keine schwere Arbeit mehr leisten, um die Antwort zu kennen.

4. Das „Editing-Mismatch“-Rätsel

Die alte Idee: Wenn Sie eine Tatsache im Modell ändern wollen (z. B. „Merkels Sprache ist Deutsch“ in „Französisch“ ändern), sollten Sie die spezifische Schicht bearbeiten, in der diese Tatsache gespeichert ist.

Die Entdeckung des Papers: Wo eine Tatsache „gespeichert“ ist und wo man sie „editieren“ muss, sind oft unterschiedliche Orte.

Die Analogie: Stellen Sie sich eine Fabrik-Montagelinie vor. Der Teil, der das Produkt herstellt, befindet sich vielleicht am Anfang der Linie, aber der Teil, der einen Fehler behebt, befindet sich vielleicht ganz am Ende der Linie. Wenn Sie versuchen, das Produkt am Anfang zu reparieren, könnten Sie die Maschine beschädigen.
Die Erkenntnis: Da das Modell diese verstreuten, redundanten Pfade nutzt, reicht es nicht aus, einfach die Schicht zu finden, in der die Daten wie die Antwort „aussehen“. Um eine Tatsache erfolgreich zu editieren, müssen Sie oft an einer spezifischen „Transformationsstufe“ im Pfad intervenieren, nicht unbedingt dort, wo das Wissen scheinbar liegt.

Zusammenfassung des „Großen Ganzen“

Die Autoren kommen zu dem Schluss, dass die Art und Weise, wie LLMs Fakten speichern und abrufen, nicht wie ein Aktenschrank funktioniert, aus dem man eine einzelne Schublade zieht. Stattdessen ist es wie ein hochflexibles, redundantes neuronales Netzwerk, in dem:

Wissen verteilt ist: Es ist über viele Schichten verteilt, nicht in einer einzigen eingeschlossen.
Pfade flexibel sind: Das Modell kann kurze, direkte Routen oder lange, kurvenreiche Backup-Routen nehmen, um dieselbe Antwort zu finden.
Überspringen normal ist: Das Modell ignoriert oft die dazwischenliegenden Schichten und springt direkt dorthin, wo die Information benötigt wird.

Dies erklärt, warum KI-Modelle so robust sind (sie haben Backups), aber auch, warum es so schwierig ist, genau zu bestimmen, „wo“ eine Tatsache lebt oder wie man sie zuverlässig ändern kann. Der Prozess ist ein komplexer, mehrstufiger Tanz, der auf eine nicht-lineare, verstreute Weise stattfindet.

Technisches Resümee: Faktische Abfrage in LLMs ist ein redundanter, verteilter und nicht-kontinuierlicher Prozess

Problemstellung

Während Large Language Models (LLMs) nachweislich faktisches Wissen speichern und abrufen können (z. B. die Vorhersage von „German“ für „The mother tongue of Angela Merkel is“), bleibt der präzise Mechanismus, durch den Entitätsrepräsentationen transformiert werden, um eine spezifische Attributabfrage zu ermöglichen, unteruntersucht. Die bestehende Literatur geht davon aus, dass die faktische Abfrage am letzten Entitäts-Token-Position stattfindet und einen dreistufigen Prozess umfasst: Entitätskonsolidierung, Entitätsanreicherung (Laden von Attributen via MLPs) und Attributextraktion. Es bleibt jedoch ungeklärt, welche kausalen Berechnungen erforderlich sind, um eine Entitätsrepräsentation in einen Zustand zu transformieren, der für die Attributabfrage ausreichend ist. Es ist unklar, ob die Abfrage eine kontinuierliche Akkumulation von Informationen über Schichten hinweg oder ein diskreter Zustand ist, der an einem bestimmten Punkt erreicht wird, und ob der Prozess auf einem einzelnen, lokalisierten Schaltkreis oder einem verteilten Mechanismus beruht.

Methodik

Die Autoren schlagen ein Framework vor, das auf dem Attribut-Berechnungspfad basiert: einer Sequenz von Berechnungsschritten (Transformer-Schichten) über eine Entitätsrepräsentation hinweg, die erforderlich ist, um ein Zielattribut hervorzurufen. Das Kernziel besteht darin, einen minimalen Attribut-Berechnungspfad zu identifizieren – eine Teilmenge von Schichten, die sowohl hinreichend als auch notwendig für die Berechnung ist, wobei das Entfernen einer beliebigen Schicht den Output stört.

Um dies zu erreichen, führen die Autoren ein neuartiges iteratives Activation-Patching-Protokoll ein, das aus drei Hauptphasen besteht:

Lokalisierung des Endpunkts ( $\ell_{attr}$ ):
Unter Verwendung einer Operation namens lock patchen die Autoren die Entitätsrepräsentation von einer spezifischen Schicht $\ell$ auf alle nachfolgenden Schichten. Sie identifizieren die früheste Schicht $\ell_{attr}$ , in der das Sperren der Repräsentation die korrekte Attributvorhersage bewahrt. Dies etabliert eine obere Grenze für den minimalen Pfad und bestätigt, dass keine weitere Verarbeitung über diese Schicht hinaus erforderlich ist, damit das Attribut vollständig verfügbar ist.
Identifizierung des minimalen Pfads (Iterative Greedy Search):
Ausgehend vom Entitäts-Embedding führt der Algorithmus eine Greedy-Suche durch, um die minimale Sequenz von Schichten zu finden. Er nutzt kontrafaktische Prompts (z. B. das Ersetzen von „Angela Merkel“ durch „Bill Gates“), um eine isolate-Operation zu definieren. In dieser Operation:
- erhält die erste Schicht des Kandidatenpfads das saubere Entitäts-Embedding.
- erhalten nachfolgende Schichten im Pfad das berechnete Ergebnis der vorherigen Pfadschicht.
- erhalten alle Zwischenschichten zwischen den Pfadschichten die Aktivierungen aus dem kontrafaktischen Durchlauf.
  Der Algorithmus erweitert den Pfad iterativ, indem er so viele Schichten wie möglich überspringt, während die Gültigkeit der Vorhersage beibehalten wird (d. h. das Modell gibt weiterhin das korrekte Attribut aus). Dies stellt sicher, dass der resultierende Pfad minimal und nicht-kontinuierlich ist.
Entdeckung alternativer Pfade:
Durch die Lockerung der Bedingung, dass der Pfad bei $\ell_{attr}$ enden muss, und die Erlaubnis, die Suche in tiefere Schichten auszuweiten, identifizieren die Autoren alternative minimale Pfade. Diese Pfade sind funktional äquivalent zum primären Pfad, unterscheiden sich jedoch in Länge, Tiefe und Schichtzusammensetzung.

Die Methode wurde auf LLaMA 3.1 8B (32 Schichten) und Qwen3 8B (36 Schichten) unter Verwendung von 2.000 Prompts aus dem CounterFact-Datensatz angewendet.

Kernergebnisse

1. Nicht-Kontiguität und Sparsamkeit

Minimale Attribut-Berechnungspfade sind häufig nicht-kontinuierlich. Die Modelle überspringen oft ganze Zwischenschichten während des Abrufprozesses.

LLaMA: 33,1 % der Pfade überspringen mindestens eine Schicht (durchschnittliche Skip-Größe: 0,7).
Qwen: 78,6 % der Pfade überspringen mindestens eine Schicht (durchschnittliche Skip-Größe: 2,0).
Dies deutet darauf hin, dass die Abfrage faktischen Wissens keinen kontinuierlichen Fluss durch jede Schicht erfordert, sondern eine spärliche Teilmenge von Schichten die notwendigen Transformationen durchführt.

2. Verteilte und mehrstufige Verarbeitung

Entgegen der Hypothese, dass eine einzelne Schicht oder ein enger Bereich von Schichten für die Abfrage verantwortlich ist, beinhalten minimale Pfade konsistent mehrere Schichten (durchschnittliche Pfadlänge: ~5,9 für LLaMA, ~7,9 für Qwen). Die Entitätsrepräsentation muss mehrere distinkte Transformationen durchlaufen, bevor das Attribut vollständig verfügbar ist.

3. Redundanz und alternative Pfade

Die Studie zeigt einen hohen Grad an Redundanz. Für die Mehrheit der untersuchten Fakten gilt:

LLaMA: 80,1 % der Fälle haben mindestens einen alternativen, funktional äquivalenten Pfad.
Qwen: 82,7 % der Fälle haben alternative Pfade.
Diese alternativen Pfade sind typischerweise tiefer und länger als die primären Pfade, die im Standard-Forward-Pass verwendet werden. Sie verlassen sich auf massive nicht-sequentielle Sprünge und rekrutieren distinkte, tiefere Sätze von Modulen, wodurch sie die primären Verarbeitungsschwerpunkte effektiv umgehen.

4. Funktionale Rollen der Schichten

Terminations-Tiefe: Attribut-Berechnungen werden typischerweise in frühen bis mittleren Schichten abgeschlossen (durchschnittliches $\ell_{attr}$ : 4,61 für LLaMA, 7,97 für Qwen).
Repräsentations-Suffizienz: Die Repräsentation bei $\ell_{attr}$ ist strikt notwendig (das Ausschalten stört >94 % der Vorhersagen). Sie ist jedoch oft nicht allein ausreichend; Zwischenpfad-Schichten sind in einem signifikanten Teil der Fälle erforderlich, um die oberen Modellschichten anzusteuern (44 % Fehlerrate für LLaMA-Primärpfade, wenn nur $\ell_{attr}$ injiziert wird).
Propagation: Längere, nicht-standardisierte Pfade hängen im Vergleich zu Primärpfaden stärker von der Inter-Token-Informationspropagation via Attention-Mechanismen ab.

5. Modulare Flexibilität

Die Autoren demonstrierten, dass „hybride“ Pfade – konstruiert durch die Konkatenation von Präfixen aus Primärpfaden mit Suffixen aus alternativen Pfaden – erfolgreich Attribut-Vorhersagen wiederherstellen können. Dies bestätigt, dass unterschiedliche Schichtsequenzen funktional äquivalente Transformationen durchführen können und die Rollen der Schichten nicht strikt eins-zu-eins zwischen primären und Backup-Schaltkreisen bestehen.

6. Entitätsauflösung vs. Attributabfrage

Die Studie fand eine starke Dissoziation zwischen Entitätsauflösung (ER) (der Fähigkeit, den Namen der Entität zu rekonstruieren) und der Attribut-Suffizienz. Detektierbare ER-Schritte traten in einer Minderheit der Primärpfade auf (12,9 % für LLa\MA) und noch seltener in den alternativen Pfaden, was darauf hindeutet, dass die Attributabfrage oft implizit erfolgt, ohne einen unterscheidbaren „Identitätszustand“, der mit Probing-Methoden zugänglich wäre.

Bedeutung und Ansprüche

Das Paper behauptet, eine neue Perspektive auf den Subprozess der Entitätsanreicherung zu bieten, die die „Volksansicht“ (Folk View) herausfordert, wonach Fakten in spezifischen, lokalisierten MLP-Schichten gespeichert sind. Stattdessen argumentieren die Autoren:

Wissen ist verteilt: Faktische Informationen werden verteilt über mehrere Schichten gespeichert und verarbeitet, was eine spezifische, nicht-kontinuierliche Sequenz von Transformationen für den Abruf erfordert.
Wissen ist redundant: Modelle besitzen mehrere, funktional äquivalente Berechnungspfade für denselben Fakt, was den „Hydra-Effekt“ erklärt, bei dem Modelle sich selbst reparieren, wenn primäre Schaltkreise abgelastet werden.
Mismatch zwischen Lokalisation und Editierung: Die Ergebnisse bieten eine Erklärung dafür, warum Wissenseffekte (Knowledge Editing) oft an Orten erfolgreich sind, die nicht mit der Lokalisation des Wissens übereinstimmen. Da die Attribut-Berechnung mehrere Transformationen erfordert, gelingt die Editierung durch das Eingreifen an einer notwendigen Transformationsstufe statt an einem spezifischen Speicherort.

Die Autoren kommen zu dem Schluss, dass der Mechanismus der faktischen Abfrage weitaus komplexer und elaborierter ist als bisher angenommen, gekennzeichnet durch hohe Redundanz und verteilte Berechnung statt eines einzelnen, linearen Abruf-Schaltkreises. Die Arbeit liefert eine präzise Sicht darauf, wie faktisches Wissen durch ein neuartiges Activation-Patching-Protokoll die Entitätsrepräsentationen anreichert.