Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

Diese Studie liefert durch kausale Eingriffe in Transformer-Modelle den ersten Beleg dafür, dass sich das Abrufen von Fakten (Recall) und das logische Schlussfolgern (Reasoning) auf unterschiedliche, aber interagierende neuronale Schaltkreise stützen.

Das Wesentliche

Das große Rätsel: Wie denkt eine KI wirklich?

Stellen Sie sich ein modernes Sprachmodell (wie einen sehr klugen Chatbot) wie eine riesige, hochmoderne Schreibfabrik vor. Diese Fabrik hat zwei Hauptaufgaben:

1. Erinnern: Sie kann Fakten abrufen, die sie gelernt hat (z. B. „Wer war der erste Präsident der USA?").
2. Denken: Sie kann logische Schlüsse ziehen und Probleme lösen, die sie noch nie gesehen hat (z. B. „Wenn A größer als B ist und B größer als C, wer ist dann der Größte?").

Die große Frage, die sich die Forscher stellten, war: Macht die Fabrik beides mit demselben Werkzeugkasten, oder gibt es dafür getrennte Abteilungen?

Bisher war das ein Rätsel. Man wusste nicht, ob die KI beim „Denken" einfach nur Fakten auswendig lernt oder ob sie wirklich einen neuen Denkprozess durchläuft.

Die Untersuchung: Ein Röntgenbild für das Gehirn

Die Forscher (Harshwardhan Fartale und sein Team) haben sich vorgenommen, das Innere dieser KI-Fabrik genau zu untersuchen. Sie haben eine Art Röntgenbild gemacht, um zu sehen, welche Teile des Gehirns (die sogenannten „Schichten" und „Neuronen") bei welcher Aufgabe feuern.

Stellen Sie sich die KI nicht als einen einzigen großen Block vor, sondern als einen 28-stöckigen Wolkenkratzer:

• Die unteren Etagen (frühe Schichten) sind wie das Empfangsgebäude.
• Die mittleren Etagen sind wie die Büros.
• Die oberen Etagen (tiefe Schichten) sind wie der Vorstandsrat, der die komplexen Entscheidungen trifft.

Was haben sie herausgefunden?

Die Forscher haben herausgefunden, dass die KI tatsächlich zwei getrennte Teams hat, die in verschiedenen Etagen arbeiten:

1. Das „Erinnerungs-Team" (Die unteren Etagen):
   Wenn die KI eine einfache Frage wie „Wie heißt die Hauptstadt von Frankreich?" bekommt, arbeiten vor allem die unteren Etagen. Es ist, als würde ein Archivar schnell in einem Regal nachschauen und das Buch herausziehen. Das passiert schnell und direkt.

   • Der Test: Wenn man diesen Teil der Fabrik kurzzeitig lahmlegt (wie einen Lichtschalter auszuschalten), kann die KI keine Fakten mehr abrufen. Sie weiß nicht mehr, wer der erste Präsident war. Aber sie kann immer noch logische Rätsel lösen!

2. Das „Denk-Team" (Die oberen Etagen):
   Wenn die KI ein komplexes Rätsel lösen muss (z. B. eine Sprachpuzzle aus einer unbekannten Sprache), müssen die oberen Etagen ins Spiel kommen. Hier wird nicht nur abgerufen, sondern neu verknüpft, wie ein Detektiv, der Hinweise zusammensetzt.

   • Der Test: Wenn man die oberen Etagen lahmlegt, kann die KI immer noch Fakten abrufen („Frankreichs Hauptstadt ist Paris"), aber sie scheitert an den logischen Rätseln. Sie kann die Hinweise nicht mehr verknüpfen.

Das Experiment: Die „Chinesische Mauer"

Um das zu beweisen, haben die Forscher zwei Arten von Tests gemacht:

• Fakten-Tests: Einfache Fragen, bei denen man nur wissen muss.
• Sprach-Rätsel: Aufgaben, bei denen die KI Regeln für eine fremde Sprache (wie Chickasaw) selbst erfinden muss. Da diese Sprachen in den Trainingsdaten der KI kaum vorkommen, kann sie sie nicht auswendig gelernt haben. Sie muss denken.

Das Ergebnis war klar wie Wasser:

• Wenn man die „Erinnerungs-Abteilung" ausschaltet, bricht die Faktenleistung um ca. 15 % ein, aber das Denken funktioniert weiter.
• Wenn man die „Denk-Abteilung" ausschaltet, bricht die Fähigkeit, Rätsel zu lösen, um ca. 14 % ein, aber die Fakten bleiben sicher.

Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen einen autonomen Roboter für ein Krankenhaus.

• Wenn Sie nicht wissen, wie er denkt, könnten Sie ihm vertrauen, aber er könnte plötzlich „halluzinieren" (falsche Fakten erfinden), weil Sie nicht wissen, welcher Teil seines Gehirns gerade versagt hat.
• Durch diese Forschung wissen wir jetzt: Erinnern und Denken sind zwei verschiedene Maschinen.

Das ist ein riesiger Schritt hin zu vertrauenswürdiger KI. Wir können jetzt gezielt prüfen: „Hat der Roboter gerade nur auswendig gelernt, oder hat er wirklich nachgedacht?" Das hilft uns, KI-Systeme sicherer zu machen und zu verstehen, wann sie uns die Wahrheit sagen und wann sie nur raten.

Fazit in einem Satz

Die Forscher haben bewiesen, dass KI nicht einfach alles durcheinander wirft, sondern wie eine gut organisierte Fabrik verschiedene Abteilungen für das Ausschmücken von Fakten und das Bauen neuer Ideen hat – und wir können jetzt genau sehen, welche Abteilung gerade arbeitet.

Technische Zusammenfassung

1. Problemstellung

Transformer-basierte Sprachmodelle (LLMs) zeichnen sich durch zwei zentrale Fähigkeiten aus: das Abrufen (Recall) von während des Pretrainings memorisierten Fakten und das Schlussfolgern (Reasoning) durch mehrstufige, kompositionelle Inferenz.
Bisher ist unklar, ob diese beiden Funktionen auf überlappenden oder separaten internen Schaltkreisen basieren. Die Unterscheidung ist entscheidend für die Entwicklung von vertrauenswürdigen und wissenschaftlich interpretierbaren KI-Systemen. Während mechanistische Interpretierbarkeit bereits modulare Subsysteme (z. B. Induktionsköpfe) aufgedeckt hat, fehlt es an kausalen Beweisen dafür, wie spezifisch diese Komponenten für Faktenabruf versus logisches Schließen funktionieren. Bestehende Ansätze trennen diese Prozesse oft nur extern, ohne die zugrundeliegenden neuronalen Mechanismen zu identifizieren.

2. Methodik

Die Autoren führen eine systematische, kausale Analyse durch, um die Hypothese zu testen, dass Recall und Reasoning auf teilweise disjunkten, aber komplementären Pfaden innerhalb des Transformers basieren.

• Datensatz-Design:
  • Es wurde ein hybrider Datensatz mit 60 Fragen erstellt (30 Recall, 30 Reasoning).
  • Reasoning-Tasks: Linguistische Rätsel aus der International Linguistic Olympiad (IOL) und verwandten Benchmarks. Diese erfordern die Induktion von Regeln und symbolische Inferenz in unbekannten Sprachen (z. B. Chickasaw), wodurch reines Faktenwissen ausgeschlossen wird.
  • Recall-Tasks: Synthetische kontrafaktische Abfragen, bei denen Entitäten oder Relationen geändert wurden, während die Syntax erhalten blieb, um den reinen Abruf gespeicherter Fakten zu isolieren.
• Analyse-Pipeline:
  • Modell: Qwen2.5-7B-Instruct (28 Schichten).
  • Messgrößen: Schichtweise Aktivierungsspuren, Hidden-State-Normen, Attention-Entropie, MLP-Ausgabegrößen und Aktivierungs-Sparsity.
  • Statistik: Nicht-parametrische Tests (Mann-Whitney-U), Effektstärken (Cohen's d) und strenge Korrektur für multiples Testen (FDR für Schichten/Köpfe, Bonferroni für Neuronen).
  • Kausale Validierung: Einsatz von Activation Patching und selektiver Circuit Ablation. Hier wurden Aktivierungen in identifizierten Bereichen gezielt auf Null gesetzt oder durch andere ersetzt, um die Notwendigkeit dieser Komponenten für die jeweilige Aufgabe zu testen.

3. Wichtige Beiträge und Hypothesen

Das Paper operationalisiert fünf Hypothesen, um die Trennung der Prozesse zu untersuchen:

1. H1 (Schicht-Spezialisierung): Frühe Schichten unterstützen Recall, tiefere Schichten Reasoning.
2. H2 (Kopf-Spezialisierung): Attention-Köpfe haben unterschiedliche kausale Auswirkungen je nach Aufgabe.
3. H3 (Neuronale Muster): Spezifische Neuronen oder Cluster zeigen aufgabenabhängige Aktivierungssignaturen.
4. H4 (Architekturelle Allgemeingültigkeit): Muster sind über verschiedene Modellfamilien hinweg konsistent.
5. H5 (Selektive Beeinträchtigung): Das Deaktivieren von Recall-Schaltkreisen sollte nur den Faktenabruf verschlechtern, nicht das Reasoning, und umgekehrt.

4. Ergebnisse

Die Analyse an Qwen2.5-7B ergab konsistente und kausal validierte Befunde:

• Schichtliche Hierarchie:
  • Frühe Schichten (0–6): Dominieren den Faktenabruf. Sie zeigen niedrigere Entropie und höhere Aktivierungsmagnitude.
  • Mittlere Schichten (7–16): Zeigen gemischte Aktivierungen.
  • Tiefe Schichten (17–27): Konzentrieren sich auf mehrstufige Inferenz und kompositionelles Reasoning.
• Attention-Köpfe:
  • Ca. 74 % der Köpfe zeigen signifikante Aufgabenpräferenzen.
  • Recall-Köpfe: Häufen sich in flacheren Schichten und fokussieren sich eng auf Entitäts-Tokens.
  • Reasoning-Köpfe: Treten in tieferen Schichten auf und achten breiter auf relationale oder strukturelle Marker.
• MLP-Neuronen:
  • Etwa ein Drittel der Neuronen erfüllt strenge Kriterien für taskspezifische Aktivierung (Bonferroni-korrigiert).
  • Es bilden sich dichte „Hubs" in spezifischen Schichten (z. B. Schicht 4 für Recall, Schicht 22 für Reasoning).
  • Viele Neuronen zeigen fast binäre Aktivierungsmuster (feuern stark für eine Aufgabe, bleiben bei der anderen stumm).
• Kausale Interventionen (Ablation):
  • Deaktivierung von Recall-Schaltkreisen: Führt zu einem 15 %igen Rückgang der Faktenpräzision, während die Reasoning-Leistung unverändert bleibt.
  • Deaktivierung von Reasoning-Schaltkreisen: Führt zu einem 14 %igen Rückgang bei linguistischen Rätseln, ohne den Faktenabruf zu beeinträchtigen.
  • Kontroll-Experimente (zufällige Ablation) zeigten nur minimale Effekte (< 2 %).

5. Bedeutung und Fazit

Die Studie liefert den ersten kausalen, mechanistischen Beweis dafür, dass Recall und Reasoning in Transformer-Modellen auf teilweise getrennten, aber komplementären internen Schaltkreisen basieren.

• Interpretierbarkeit: Die Ergebnisse ermöglichen eine feinere Zuordnung von Modellverhalten zu spezifischen Komponenten (Schichten, Köpfe, Neuronen).
• Vertrauenswürdigkeit: Durch die Isolierung dieser Pfade kann besser zwischen echter logischer Inferenz und Halluzinationen (falschem Abruf) unterschieden werden.
• Zukunftsausblick: Die Autoren planen, diese Analysen auf größere Modelle (LLaMA, Mistral) und diverseere Reasoning-Phänomene zu erweitern.

Zusammenfassend etabliert das Paper eine hierarchisch organisierte Architektur der funktionellen Differenzierung, die statistisch stabil und interpretierbar ist, und legt damit eine fundamentale Basis für erklärbares KI (Explainable AI).