💬 NLP

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

Diese Arbeit stellt die Sichtweise von Sprachmodellen als vereinheitlichte Wissensdatenbanken infrage, indem sie durch verhaltensbezogene und mechanistische Analysen aufzeigt, dass faktisches Wissen auf eine aufgabenspezifische Weise kodiert ist, wobei je nach Abfragekontext unterschiedliche Parametersubsets aktiviert werden, was die Konsistenz und Zuverlässigkeit des faktischen Abrufs untergräbt.

Ursprüngliche Autoren: Amit Elhelo, Amir Globerson, Mor Geva

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amit Elhelo, Amir Globerson, Mor Geva

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, superintelligente Enzyklopädie, die fast alles im Internet gelesen hat. Sie könnten sich diese Enzyklopädie als eine einzige, perfekte Bibliothek vorstellen, in der jede Information an einem ganz bestimmten Ort gespeichert ist. Wenn Sie fragen: „Was ist die Hauptstadt von Frankreich?“ oder „Ist Paris die Hauptstadt von Frankreich?“, erwarten Sie, dass die Bibliothek genau dieselbe Datei aus demstelben Regal zieht und Ihnen jedes Mal dieselbe Antwort gibt. So funktionieren traditionelle Datenbanken: eine Wahrheit, eine Quelle.

Dieses Paper untersucht, ob Large Language Models (LLMs) – die KI-Gehirne hinter Werkzeugen wie Chatbots – wie diese perfekte Bibliothek funktionieren. Die Forscher Amit Elhelo, Amir Globerson und Mor Geva fanden heraus: Das tun sie nicht.

Anstatt einer einzigen, einheitlichen Bibliothek gleicht das „Wissen“ der KI eher einer Sammlung von spezialisierten, aufgabenbezogenen Werkzeugkästen. Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die Analogie der „verschiedenen Werkzeugkästen“

Stellen Sie sich vor, Sie haben ein Schweizer Taschenmesser. Es hat einen Schraubendreher, eine Klinge und einen Korkenzieher.

Traditionelle Sichtweise: Sie könnten denken, dass das „Wissen“, wie man eine Flasche öffnet, in einem zentralen Teil des Messers gespeichert ist.
Das Ergebnis der Studie: Die KI ist tatsächlich wie ein Werkzeugkasten, in dem das „Wissen“, wie man eine Flasche öffnet, nur dann im Korkenzieher gespeichert ist, wenn man Sie fragt, eine Flasche zu öffnen. Aber wenn Sie fragen: „Ist das ein Korkenzieher?“ (eine andere Art von Frage), nutzt die KI einen völlig anderen Satz an Werkzeugen, um die Antwort zu geben, obwohl es um dasselbe Objekt geht.

Die Forscher testeten dies, indem sie der KI dieselbe Tatsache (z. B. „Paris ist die Hauptstadt von Frankreich“) auf unterschiedliche Weise präsentierten:

Generierung: „Was ist die Hauptstadt von Frankreich?“ (Die KI muss die Antwort schreiben).
Diskriminierung: „Ist Paris die Hauptstadt von Frankreich? Ja oder Nein.“ (Die KI muss eine Wahl treffen).

Sie fanden heraus, dass die KI die Tatsache oft für die „Schreib“-Aufgabe lernt, aber bei der „Auswahl“-Aufgabe scheitert, das Wissen zu „erkennen“, und umgekehrt. Es ist, als hätte die KI ein „Schreib-Gehirn“ und ein „Auswahl-Gehirn“, die nicht immer miteinander kommunizieren.

2. Die Beobachtung aus dem „Trainingslager“

Die Forscher beobachteten die KI beim Lernen über einen längeren Zeitraum, wie ein Trainer, der einen Schüler bei der Vorbereitung auf verschiedene Prüfungen beobachtet.

Die Erwartung: Wenn der Schüler lernt, dass „Paris die Hauptstadt ist“ für einen schriftlichen Test, sollte er dies auch sofort für einen Multiple-Choice-Test wissen, da es dieselbe Tatsache ist.
Die Realität: Der Schüler bestand oft den schriftlichen Test, scheiterte aber Tage später immer noch am Multiple-Choice-Test. Das Wissen trat nicht „ko-emergent“ (gleichzeitig) über verschiedene Formate hinweg auf. Dies deutet darauf hin, dass die KI die Tatsache nicht an einem zentralen Ort speichert, sondern eine spezifische Art und Weise lernt, mit dieser Tatsache für diesen speziellen Fragetyp umzugehen.

3. Das „Chirurgie“-Experiment (Mechanistische Analyse)

Um dies zu beweisen, führten die Forscher eine „Operation“ am Gehirn der KI (ihren internen Parametern) durch. Sie versuchten, die winzige, spezifische Gruppe von Neuronen zu finden, die dafür verantwortlich ist, zu wissen, dass „Paris die Hauptstadt ist“, wenn danach auf eine bestimmte Weise gefragt wird.

Das Ergebnis: Sie fanden unterschiedliche, getrennte Gruppen von Neuronen für jede Aufgabe.
- Wenn sie die Neuronen, die für die „Schreib“-Aufgabe verwendet wurden, „abschalteten“, vergaß die KI die Antwort auf die Schreibfrage, konnte aber die „Ja/Nein“-Frage immer noch perfekt beantworten.
- Wenn sie die „Ja/Nein“-Neuronen „abschalteten“, scheiterte die KI bei diesem Test, konnte die Antwort aber immer noch schreiben.
Die Metapher: Es ist, als hätte man zwei verschiedene Schlüssel für dieselbe Tür. Ein Schlüssel öffnet die Tür, wenn man sie von links drückt; der andere öffnet sie, wenn man sie von rechts zieht. Wenn man den „Druck-Schlüssel“ verliert, ist die Tür für diese Aktion verschlossen, obwohl der „Zug-Schlüssel“ immer noch funktioniert.

4. Die Überraschung durch „Chain of Thought“

Das Paper untersuchte auch das „Chain of Thought“ (CoT)-Reasoning, bei dem die KI gebeten wird, „Schritt für Schritt zu denken“, bevor sie antwortet.

Die Erkenntnis: Wenn die KI gebeten wird, laut zu denken, scheint sie eine Mischung aus diesen verschiedenen Werkzeugkästen zu verwenden. Wenn man die spezifischen Neuronen für die endgültige Antwort entfernt, kann die KI oft dennoch die richtige Antwort finden, indem sie das Problem durch „Nachdenken“ löst, da sie Wissen aus anderen aufgabenbezogenen Werkzeugkästen ausleiht, die sie für eine direkte Antwort normalerweise nicht verwenden würde.
Die Analogie: Es ist wie ein Detektiv, der einen Fall normalerweise durch das Finden eines einzelnen Hinweises (direkte Antwort) löst. Aber wenn man ihn zwingt, einen vollständigen Bericht zu schreiben (Chain of Thought), beginnt er, andere Akten zu prüfen und verschiedene Werkzeugkästen miteinander abzugleichen, was ihm hilft, den Fall zu lösen, selbst wenn der Haupthinweis fehlt.

Das wichtigste Fazensegment

Das Paper kommt zu dem Schluss, dass die Vorstellung einer KI als „Wissensbasis“ (eine einzige Quelle der Wahrheit) ein Mythos ist. Stattdessen sind das, was die KI weiß, und die Art, wie man sie fragt, untrennbar miteinander verwoben.

Zuverlässigkeitsrisiko: Wenn man die KI so editiert, dass sie eine Tatsache für eine bestimmte Art von Frage „vergisst“ (wie bei einem Multiple-Choice-Quiz), erinnert sie sich möglicherweise dennoch an diese Tatsache bei einem Schreib-Prompt.
Evaluationsrisiko: Wenn man eine KI nur mit einer Art von Frage testet, könnte man glauben, sie wisse eine Tatsache, aber sie könnte bei einer anderen Form der Fragestellung völlig ahnungslos sein.

Kurz gesagt: Die KI besitzt kein einzelnes, einheitliches Gedächtnis. Sie hat ein Patchwork aus spezialisierten Erinnerungen, von denen jede auf eine spezifische Art der Fragestellung abgestimmt ist.

Technisches Resümee: LMs als aufgabenspezifische Wissensdatenbanken: Eine Interpretierbarkeitsanalyse

Problemstellung

Sprachmodelle (LMs) werden häufig als Wissensdatenbanken konzipiert, in denen Parameter faktische Informationen speichern, die über verschiedene Abfragen zugänglich sind. Eine grundlegende Eigenschaft gut gestalteter Wissensdatenbanken ist die Aufgabeninvarianz (task-invariance): Unterschiedliche Abfragen für densen Fakt sollten konsistente Ergebnisse aus einer einzigen Quelle der Wahrheit liefern. Beispielsweise sollte eine traditionelle Datenbank sowohl für „Was ist die Hauptstadt von Frankreich?“ als auch für „Die Hauptstadt von Frankreich ist ___“ den Wert „Paris“ zurückgeben.

Diese Arbeit untersucht, ob Sprachmodelle diese Eigenschaft der Aufgabeninvarianz erfüllen. Speziell wird gefragt, ob faktisches Wissen in einer aufgabenunabhängigen Weise gespeichert wird oder ob die interne Repräsentation eines Faktes durch das spezifische Aufgabenformat (z. B. Multiple-Choice vs. offene Generierung) verknüpft ist, mit dem er abgefragt wird. Wenn LMs keine Aufgabeninvarianz besitzen, wird die Analogie zur „Wissensdatenbank“ untergraben, was Auswirkungen auf die Zuverlässigkeit, Konsistenz und Steuerbarkeit von faktischem Wissen in diesen Systemen hat.

Methodik

Die Autoren verwenden einen dualen Ansatz, der eine behaviorale Analyse (Verfolgung des Wissenserwerbs während des Trainings) mit einer mechanistischen Analyse (Lokalisierung spezifischer Parametersubsets) kombtiniert.

1. Behaviorale Analyse: Die Ko-Emergenz-Hypothese

Die Autoren verfolgen den Erwerb faktischen Wissens über Trainings-Checkpoints des Modells OLMo-3-7B IT.

Daten: Fünf relationale Datensätze (z. B. Land-Hauptstadt, Landmarke-Land), formuliert als (Subjekt, Relation, Objekt)-Tripel.
Aufgaben: Sechs verschiedene Aufgabenformate: Next-Token-Vervollständigung (COMPLETION), Lückentext (FITB), offene Beantwortung (OPENQA), Vier-Wege-Multiple-Choice-QA (MCQA), Negative MCQA und Binäre Verifikation.
Hypothese: Wenn Wissen aufgabeninvariant ist, sollte ein Fakt, der für eine Aufgabe erworben wurde, auch auf anderen Aufgaben, für die das Modell bereits kompetent ist, ko-emergent (gleichzeitig) auftreten. Formal gilt: Wenn ein Fakt $f$ auf Aufgabe $t$ zum Zeitpunkt $E(f, t)$ emergiert und das Modell auf Aufgabe $t'$ zum Zeitpunkt $E(\cdot, t')$ kompetent ist, dann sollte $E(f, t') \le \max(E(f, t), E(\cdot, t'))$ gelten.
Statistischer Test: Die Autoren formalisieren Aufgabeninvarianz als bedingte Unabhängigkeit zwischen Fakten und Aufgaben ( $P(\text{korrekt} | f, t) = P(\text{korrekt} | f) \cdot P(\text{korrekt} | t)$ ) und testen auf Interaktionsterme mittels einer Zwei-Wege-ANOVA auf Log-Wahrscheinlichkeiten.

2. Mechanistische Analyse: Parameterlokalisierung

Um zu bestimmen, ob verschiedene Aufgaben auf unterschiedliche Parameter für denselben Fakt zugreifen, passen die Autoren ein Lokalisierungs-Framework (Bayazit et al., 2024) an, um dünnbesetzte (sparse) Subsets von Parametern (Attention-Heads und MLP-Neuronen) zu identifizieren, die spezifisch für einzelne (Fakt, Aufgabe)-Paare sind.

Ziel: Erlernen binärer Masken $m$ $m$ über die Modellparameter, um eine Verlustfunktion zu minimieren, die aus vier Termen besteht:
- Notwendigkeit (Necessity): Das Entfernen der maskierten Parameter muss die Leistung auf dem Ziel-(Fakt, Aufgabe)-Paar verschlechtern.
- Genügsamkeit (Sufficiency): Die maskierten Parameter müssen ausreichen, um die Leistung bei einem korrumpierten Prompt (bei dem das Subjekt durch Platzhalter ersetzt wurde) wiederherzustellen, wenn deren Aktivierungen hineingepatched werden.
- Spezifität (Specificity): Das Entfernen oder Patchen dieser Parameter sollte minimale Auswirkungen auf denselben Fakt unter anderen Aufgaben oder andere Fakten unter der gleichen Aufgabe haben.
- Dünnbesetztheit (Sparsity): Die Maske sollte so klein wie möglich sein.
Modelle: Experimente wurden mit OLMo-2-7B IT, OLMo-2-13B IT und Gemma-2-9B IT durchgeführt.

3. Cross-Task Entanglement und CoT-Analyse

Entanglement-Metriken: Die Autoren definen einen Score, um zu quantifizieren, wie „sauber“ eine (Fakt, Aufgabe)-Kodierung ablatiert werden kann, ohne andere Paare zu beeinflussen.
Chain-of-Thought (CoT): Die Autoren testen, ob CoT-Schlussfolgerungen Wissen wiederherstellen können, das durch direkte Beantwortung unzugänglich ist, indem sie auf aufgabenspezifische Parameter zugreifen, die über die Evaluierungsaufgabe hinausgehen. Sie vergleichen die direkte Beantwortung mit CoT unter Null-Ablation der lokalisierten Parameter.

Zentrale Ergebnisse

1. Verletzung der Aufgabeninvarianz (Behavioral)

Begrenzte Ko-Emergenz: Die Ko-Emergenz-Hypothese wird häufig verletzt. In 47,9 % der (Fakt, Aufgabe)-Paare emergiert ein Fakt nicht zu dem erwarteten Schritt auf einer Zielaufgabe, selbst wenn das Modell auf dieser Aufgabe kompetent ist und der Fakt andernorts bereits emergiert ist.
Statistische Ablehnung: Die Nullhypothese der bedingten Unabhängigkeit (keine Interaktion zwischen Fakt und Aufgabe) wird bei jedem Trainings-Checkpoint abgelehnt ( $p \approx 0$ ). Der Interaktionsterm erklärt bis zu 23 % der Varianz des fertigen Modells, was darauf hindeutet, dass der Wissensabruf stark vom Aufgabenformat abhängt.

2. Distinkte Parametersubsets (Mechanistisch)

Aufgabenspezifische Kodierungen: Die Lokalisierungsexperimente identifizierten erfolgreich distinkte, dünnbesetzte Subsets von Parametern für jedes (Fakt, Aufgabe)-Paar.
Notwendigkeit und Spezifität: Die Null-Ablation der lokalisierten Parameter für ein spezifisches (Fakt, Aufgabe)-Paar verursachte signifikante Leistungseinbußen (relativer Rückgang von 29 %–89 %) bei diesem Paar. Entscheidend war, dass die Leistung desselben Fakts unter anderen Aufgaben sowie anderer Fakten unter der gleichen Aufgabe weitgehend unbeeinflusst blieb (Rückgänge $\le 8 \%$ ).
Genügsamkeit: Das Zurückpatchen der lokalisierten Aktivierungen in einen korrumpierten Prompt stellte die Leistung (Rekonstruktionsrate von 69 %–102 %) für das Zielpaar erfolgreich wieder her, was bestätigt, dass diese Parameter die notwendige Information tragen.

3. Entanglement-Muster

Generierung vs. Diskriminierung: Das Aufgabenformat ist ein dominanter Prädiktor für Entanglement. Diskriminierungsaufgaben (MCQA, Verifikation) sind konsistent stärker mit anderen Aufgaben verschränkt (entangled) als Generierungsaufgaben (OPENQA, FITB).
Asymmetrie: Durch Generierungsaufgaben erworbene Fakten neigen dazu, auf anderen Aufgaben ko-emergent zu sein, aber durch Diskriminierungsaufgaben erworbene Fakten ko-emergierten selten auf Generierungsaufgaben.

4. Rolle von Chain-of-Thought

Wiederherstellung: Wenn die eigenen lokalisierten Parameter einer Aufgabe ablatiert werden, kann CoT-Argumentation einen signifikanten Teil der verlorenen Leistung wiederherstellen (Abfall nur um 12 %–30 % gegenüber 20 %–72 % bei der direkten Beantwortung).
Cross-Task Abhängigkeit: CoT erleidet mehr Kollateralschäden, wenn die Kodierungen anderer Aufgaben ablatiert werden, im Vergleich zur direkten Beantwortung. Dies deutet darauf hin, dass CoT über mehrere aufgabenspezifische Kodierungen navigiert, um die Antwort zu rekonstruieren, anstatt sich ausschließlich auf die spezifischen Parameter der Evaluierungsaufgabe zu verlassen.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass die Analogie der „Wissensdatenbank“ für LMs fehlerhaft ist, da das, was das Modell weiß, und die Art, wie es gefragt wird, im Parameterraum miteinander verwoben sind.

Zuverlässigkeit und Steuerbarkeit: Der Mangel an Aufgabeninvarianz impliziert, dass Wissens-Editing- oder Unlearning-Interventionen, die auf ein einzelnes Aufgabenformat abzielen, den Fakt in anderen Formaten intakt lassen können. Umgekehrt bieten Single-Task-Evaluierungen nur eine unvollständige Sicht auf das kodierte Wissen eines Modells.
Mechanismus des Schlussfolgerns: Die Ergebnisse bieten eine mechanistische Erklärung dafür, warum CoT-Schlussfolgerungen Wissen freisetzen, das durch direkte Beantwortung unzugänglich bleibt: CoT nutzt parametrische Kodierungen aus mehreren Aufgabenformaten und umgeht so effektiv die Einschränkungen einer einzelnen, aufgabenspezifischen Kodierung.
Zukünftige Richtungen: Die Autoren schlagen vor, dass Trainingsschemata, die auf aufgabeninvariante faktische Kodierungen abzielen (z. B. durch Einbeziehung von Zwischenschritten des Schlussfolgerns während des Trainings), die Zuverlässigkeit und Steuerbarkeit von LMs verbessern könnten.

Die Autoren bleiben bescheiden und merken an, dass ihre Ergebnisse primär bekannte relationale Wissensstrukturen beschreiben und dass die Wechselwirkung zwischen diesen Mustern und der Modellskalierung eine offene Frage bleibt. Sie behaupten nicht, dass LMs kein gemeinsames Wissen besitzen, sondern dass die Speicherung – zumindest teilweise – durch das Aufgabenformat organisiert ist.