💬 NLP

Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

Diese Arbeit zeigt, dass, während spezifische Indizes der Transformer-Schichten aufgrund funktionaler Redundanz nicht eindeutig aus den aphasischen Bildbenennungs-Fehlerprofilen rekonstruiert werden können, die Perturbationsintensität und die Rauschparameter erfolgreich invertiert werden können, um kontrafaktische Modelle zu generieren, die Zielverhalten reproduzieren und klinische Syndrome diskriminieren, was einen robusten Rahmen für die kausale Interpretierbarkeit von LLMs bietet.

Ursprüngliche Autoren: Yong Yang, Roger Newman-Norlund, Xiang Guan, Saeed Ahmadi, Regan Willis, Nadra Salman, Kalil Warren, Sophie Arheix-Parras, Srihari Nelakuditi, Leonardo Bonilha, Christopher Rorden, Rutvik H. Desai, Ju

Veröffentlicht 2026-08-10

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yong Yang, Roger Newman-Norlund, Xiang Guan, Saeed Ahmadi, Regan Willis, Nadra Salman, Kalil Warren, Sophie Arheix-Parras, Srihari Nelakuditi, Leonardo Bonilha, Christopher Rorden, Rutvik H. Desai, Julius Fridriksson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie eine riesige, magische Bibliothek funktioniert. Sie können die Bücher und die Bibliothekare im Inneren nicht sehen, aber Sie können beobachten, was passiert, wenn Sie dem Gebäude ein Geheimnis zuflüstern. Manchmal flüstert die Bibliothek mit einer perfekten Antwort zurück; ein anderes Mal stammelt sie, vermischt Wörter oder sagt etwas völlig Unsinniges. Wissenschaftler nennen dies „Large Language Models“ (LLMs), und sie sind die digitalen Gehirne hinter vielen der intelligenten Werkzeuge, die wir heute nutzen. Aber hier ist der knifflige Teil: Wir wissen eigentlich nicht, welcher Teil des Gehirns gerade spricht. Es ist, als würde man versuchen zu erraten, welches spezifische Zahnrad in einer Uhr die Zeiger bewegt hat, indem man nur das Zifferblatt beobachtet.

Um dies zu verstehen, verwenden Wissenschaftler oft eine Methode namens „Läsionierung“. Stellen Sie sich vor, Sie nehmen einen winzigen, präzisen Hammer und klopfen auf ein bestimmtes Zahnrad in dieser Uhr, um zu sehen, ob es den Zeitlauf stört. Wenn die Uhr langsam läuft, wissen Sie, dass dieses Zahnrad wichtig war. In der Welt der KI können Forscher Teile des digitalen Gehirns „beschädigen“, indem sie ein wenig digitalen Rauschen hinzufügen, genau wie ein Schlaganfall Teile eines menschlichen Gehirns schädigen kann und zu Sprachproblemen führt. Diese Arbeit stellt eine faszinierende „umgekehrte“ Frage: Wenn wir sehen, dass die Uhr langsam läuft, können wir dann auf die Zeit schauen und genau erraten, welches Zahnrad wir getroffen haben? Und wenn wir das Zahnrad erraten, können wir dasselbe Zahnrad an einer brandneuen Uhr anklopfen und sie auf exakt dieselbe Weise langsam laufen lassen? Das ist nicht nur das Reparieren von Uhren; es geht darum zu beweisen, dass wir wirklich verstehen, wie diese digitalen Gehirne denken, anstatt nur zu raten, was sie tun.

Das große KI-Detektivspiel

In dieser Studie beschloss ein Forscherteam, ein hochgestochenes Detektivspiel mit einem digitalen Gehirn namens LLaVA-Vicuna 13B zu spielen. Betrachten Sie diese KI als einen superintelligenten Roboter, der ein Bild betrachten und Ihnen sagen kann, was es darstellt. Die Forscher wollten sehen, ob sie genau herausfinden konnten, wie sie den Roboter „beschädigt“ hatten, indem sie sich nur die Fehler ansah, die er machte.

Zuerst bereiteten sie ein massives Experiment vor. Sie nahmen den Roboter und fügten ihm auf 4.840 verschiedene Arten winzige „Läsionen“ (digitale Schäden) zu. Dabei änderten sie bei jedem Versuch drei Dinge:

Wo sie ihn trafen (welche der 40 Schichten seines „Denkens“ sie berührten).
Wie viel dieser Schicht sie beschädigten (von 0 % bis 100 %).
Wie laut das Rauschen war (wie chaotisch der Schaden war).

Nachdem sie den Roboter auf jede dieser 4.840 Arten beschädigt hatten, zeigten sie ihm 175 Bilder von Alltagsgegenständen und baten ihn, diese zu benennen. Sie zeichneten jeden Fehler auf, den der Roboter machte – ob er einen „Hund“ als „Katze“ bezeichnete (ein semantischer Fehler), ein Fantasiewort erfand (ein Neologismus) oder einfach nur stumm blieb. Diese Sammlung von Fehlern wird als „Fehlerprofil“ bezeichnet.

Die Reverse-Engineering-Heraftstellung

Nun kam der schwierige Teil. Die Forscher bauten ein neues, spezielles Computerprogramm (ein „inverses Modell“), das als Detektiv fungieren sollte. Sie fütterten diesen Detektiv mit den Fehlerprofilen (der Liste der Fehler) und fragten: „Basierend auf diesen Fehlern, was genau haben wir beschädigt?“

Der Detektiv musste drei Dinge erraten:

Welche Schicht getroffen wurde?
Wie viel dieser Schicht getroffen wurde?
Wie laut der Schaden war?

Die große Entdeckung: Intensität vs. Ort
Die Ergebnisse waren überraschend und enthüllten ein Geheimnis darüber, wie diese KI-Gehirne aufgebaut sind.

Das „Wie viel“ war leicht zu finden: Der Detektiv war sehr gut darin, zu erraten, wie viel Schaden angerichtet wurde. Ob der Roboter nur leicht verwirrt oder völlig durcheinander war, der Detektiv konnte den Unterschied mit hoher Genauigkeit feststellen. Es ist, als wäre man in der Lage zu sagen, ob ein Automotor „ein wenig unrund läuft“ oder „völlig tot ist“, nur indem man auf das Stottern hört.
Das „Wo“ war unscharf: Der Detektiv war nicht besonders gut darin, die exakte Schicht zu erraten. Er konnte die richtige Schicht nur in etwa 14,8 % der Fälle erraten (was zwar viel besser als reines Raten ist, aber immer noch weit von Perfektion entfernt ist). Er konnte jedoch meistens das richtige „Viertel“ der Schichten (innerhalb von 5 Schichten) mit 77,6 % der Fälle erraten.

Der „Magische Trick“-Test (Kontrafaktische Validierung)
Hier wird die Arbeit wirklich spannend. Nur weil der Detektiv das „Wie viel“ und das „Wo“ erraten hat, bedeutet das nicht, dass er recht hatte. Um dies zu beweisen, führten die Forscher einen „magischen Trick“ durch. Sie nahmen die Vermutung des Detektivs, gingen zu einem brandneuen, unbeschädigten Roboter und wandten genau diese Vermutung auf ihn an.

Das Ergebnis: In 81,4 % der Fälle machte der neue Roboter exakt dieselben Fehler wie der ursprüngliche beschädigte Roboter!
Die Wendung: Selbst wenn der Detektiv die falsche Schicht erraten hatte, machte der neue Roboter immer noch dieselben Fehler, wenn er die richtige Menge des Schadens erraten hatte.

Dies beweist, dass für diese KI-Gehirne, wie viel man sie beschädigt, viel wichtiger ist als wo man sie beschädigt. Dies deutet darauf hin, dass die mittleren Teile des Robotergehirns „redundant“ sind – sie erfüllen ähnliche Aufgaben. Wenn man eine mittlere Schicht beschädigt, kann eine andere mittlere Schicht quasi übernehmen, sodass sich das Verhalten des Roboters eher nach der Schwere des Schlags richtet als nach dem spezifischen Ort.

Verbindung zu echten Menschen

Um sicherzustellen, dass dies nicht nur ein Spiel mit Robotern war, testeten die Forscher ihren Detektiv an 278 echten Menschen, die einen Schlaganfall erlitten hatten und Schwierigkeiten beim Benennen von Bildern hatten (ein Zustand namens Aphasie). Die Forscher hatten dem Detektiv nichts über das menschliche Gehirn beigebracht; er kannte nur die kaputten Roboter.

Als sie die Fehlerprofile der menschlichen Patienten in den Detektiv einspeisten, geschah etwas Erstaunliches:

Die Vermutungen des Detektivs über die „Schadensintensität“ (wie viel beschädigt war) stimmten perfekt mit dem Schweregrad der Erkrankungen der Patienten überein. Patienten mit schweren Sprachproblemen wurden als „hoher Schaden“ vorhergesagt, während Patienten mit leichten Problemen als „niedriger Schaden“ eingestuft wurden.
Der Detektiv gruppierte die Patienten auch nach ihrer spezifischen Art der Aphasie (wie Broca oder Wernicke), basierend auf dem „Ort“, den er errat, obwohl er zuvor noch nie einen Menschen gesehen hatte.

Was das bedeutet

Diese Arbeit behauptet nicht, das Rätsel des menschlichen Gehirns gelöst oder alle KI-Probleme behoben zu zu haben. Stattdessen bietet sie einen neuen Weg, um zu testen, ob wir die KI wirklich verstehen.

Was sie ausschließt: Sie zeigt, dass es nicht ausreicht, einfach nur zu beobachten, welche Schicht eine KI verwendet. Man kann nicht einfach sagen: „Schicht 10 ist für Nomen da“, denn die Beschädigung von Schicht 10 könnte exakt so aussehen wie die Beschädigung von Schicht 15, wenn der Schaden von der Größe her identisch ist.
Was sie nahelegt: Das „Mittelstück“ dieser KI-Gehirne ist voller Backups. Sie sind flexibel und redundant.
Die Zuversicht: Die Forscher sind sehr zuversichtlich in Bezug auf den Befund der „Intensität“, da sie dies an einem frischen Roboter getestet haben und es in 81,4 % der Fälle funktionierte. Sie sind zuversichtlich, dass der „Ort“ schwer festzulegen ist, da sich der Roboter genauso verhält, selbst wenn man die falsche Schicht errät.

Kurz gesagt lehrt uns diese Studie, dass wir beim Verständnis dieser riesigen digitalen Gehirne aufhören müssen, nach einem einzelnen „kaputten Zahnrad“ zu suchen, und statfangen müssen zu beobachten, wie stark die gesamte Maschine erschüttert wird. Und das Beste daran? Die Methode, die sie erfunden haben – das Erraten des Schadens und das anschließende Testen an einer frischen Maschine – könnte in Zukunft dazu verwendet werden, um zu prüfen, ob wir wirklich verstehen, wie irgendein Teil der KI denkt.

Technisches Resümee: Rekonstruktion von Läsionsparametern aus Profilen aphasischer Bildbenennungsfehler

Problemstellung
Aktuelle Interpretierbarkeit-Methoden für Large Language Models (LLMs) – einschließlich Probing-Klassifikatoren, Attention-Visualisierung, kausaler Rückverfolgung (Causal Tracing) und Activation Patching – beschreiben primär interne Modellzustände und deren Korrelation mit dem Verhalten. Diese Methoden beschreiben jedoch nicht direkt, ob ein inferierter interner Zustand kausal hinreichend ist, um das beobachtete Verhalten zu erzeugen. Sie identifizieren, was mit dem Verhalten korreliert, aber nicht, was bei einer Intervention das Verhalten hervorrufen würde. Diese Arbeit adressiert diese Lücke, indem sie eine inverse Frage stellt: Kann man angesichts eines spezifischen Verhaltensoutputs (einem aphasischen Bildbenennungsfehlerprofil) die spezifischen Läsionsparameter (Schichtindex, Modifikationsprozentsatz und Rauschmagnitude) rekonstruieren, die diesen erzeugt haben? Und offenbart die Struktur dieses inversen Problems grundlegende Eigenschaften der Transformer-Berechnung?

Methodik
Die Studie nutzt das multimodale Modell LLaVA-Vicuna 1.6 13B (eine Kombination aus einem CLIP-Vision-Encoder und einem 40-schichtigen Vicuna-Sprachdecoder). Die Methodik umfasst eine Vorwärts-Perturbationsphase, gefolgt von einer inversen Mapping-Phase.

Vorwärts-Perturbation (Datengenerierung):
- Parameterraum: Die Autoren definierten ein Gitter von 4.840 Konfigurationen, die drei Parameter variieren:
  - Schichtindex ( $L$ ): 0–39 (nur die Schichten des Sprachdecoders).
  - Modifikationsprozentsatz ( $M$ ): 0–100 % (Anteil der betroffenen Hidden Units).
  - Rausch-Sigma ( $\sigma$ ): 1,0–2,0 (Intensität des Gaußschen Rauschens).
- Läsionsmechanismus: Für eine gegebene Konfiguration $(L, M, \sigma)$ wurden die Gewichte in Schicht $L$ , die mit einem Anteil $M$ der Hidden Units assoziiert sind, modifiziert, indem sie mit $(1 + \varepsilon)$ multipliziert wurden, wobei $\varepsilon \sim N(0, \sigma^2)$ .
- Verhaltensoutput: Jedes perturbierte Modell wurde auf dem 175-Item Philadelphia Naming Test (PNT) evaluiert. Die Antworten wurden in eine klinische Taxonomie von sieben Fehlertypen klassifiziert: korrekt, semantisch, unzusammenhängend, formal, gemischt, Neologismus und keine Antwort.
- Merkmalsextraktion: Der Input des inversen Modells war ein 166-dimensionaler Vektor, bestehend aus:
  - Tier 1: 7 BERT-klassifizierte Fehlerraten.
  - Tier 2: 5 abgeleitete Statistiken (z. B. Gesamte Fehlerrate, Entropie).
  - Tier 3: 12 Text-Ebene-Statistiken (Länge, Zeichenklassen).
  - Tier 4: 10 Wahrscheinlichkeitsmomente (Unsicherheit-Metriken).
  - Tier 5: 8 lexikalische Diversitätsmerkmale.
  - Tier 6: 116 Sentence-Transformer-Embedding-Statistiken.
- Datensätze: Die 4.840 Konfigurationen wurden in 70/15/15 für Training, Validierung und Test aufgeteilt. Ein unabhängiger Validierungssatz wurde unter Verwendung eines separaten Zufallssamens generiert, um Data Leakage zu verhindern. Zusätzlich wurden Verhaltensdaten von 278 Schlaganfallüberlebenden (CSTAR-Datensatz) für die Out-of-Distribution-Tests verwendet.
Architektur des inversen Modells:
- Ein Multi-Task-Neuronales Netzwerk wurde trainiert, um den 166-dimensionalen Verhaltens-Profil zurück auf die drei Perturbationsparameter abzubilden.
- Encoder: Drei vollvernetzte Blöcke (256 $\to$ 128 $\to$ 64 Einheiten) mit Batch-Normalisierung, ReLU und Dropout.
- Heads:
  - Layer Head: Ein lineares Layer für die 40-Wege-Klassifikation (Cross-Entropy Loss).
  - Intensity Heads: Zwei parallele Regressions-Heads für den Modifikationsprozentsatz und das Rausch-Sigma, unter Verwendung eines heteroskedastischen Gaußschen negativen Log-Likelihood-Loss, um Mittelwert und Varianz vorherzusagen.
- Training: Optimiert mittels AdamW über 500 Epochen. Der Gesamtverlust ist eine gewichtete Summe der drei Task-Losses.
Validierungsrahmen:
- Kontrafaktische Validierung: Um die kausale Hinlänglichkeit zu verifizieren, wurden die vom inversen Modell vorhergesagten Parameter auf eine neue, unperturbierte Instanz des LLaVA-Vicuna-Modells angewendet. Das resultierende Fehlerprofil wurde unter Verwendung von Cosinus-Ähnlichkeit und Pearson-Korrelation mit dem ursprünglichen Zielprofil verglichen. Hohe Fidelität wurde als Ähnlichkeit > 0,85 und Korrelation > 0,90 definiert.
- Klinische Anwendung: Das trainierte inverse Modell wurde (oh、ne erneutes Training) auf die 278 Schlaganfallüberlebenden angewendet, um zu testen, ob die rekonstruierten Parameter zwischen klinischen Aphasie-Syndromen (z. B. Broca, Anomisch, Global) diskriminieren können.

Wichtigste Ergebnisse

Partielle Rekonstruktion der Parameter:
- Intensität ist rekonstruierbar: Das Modell konnte die Perturbationsintensität erfolgreich rekonstruieren. Die Vorhersage des Modifikationsprozentsatzes erreichte $R^2 = 0,570$ und Pearson $r = 0,771$ . Die Vorhersage von Rausch-Sigma erreichte $R^2 = 0,315$ und $r = 0,581$ .
- Lokalisierung ist mehrdeutig: Die Vorhersage des Schichtindex war signifikant weniger genau. Die Top-1-Genauigkeit lag bei 14,8 % (Zufall ist 2,5 %), obwohl die Within-5-Genauigkeit 77,6 % betrug (Zufall ist 27,5 %). Dies deutet darauf hin, dass das Modell die Nachbarschaft der Läsion identifizieren kann, aber nicht die exakte Schicht.
Kontrafaktische Fidelität:
- Trotz der Schwierigkeit, die exakte Schicht zu bestimmen, waren die rekonstruierten Parameter kausal hinreichend, um das Zielverhalten zu reproduzieren. Bei 81,4 % der Fälle im unabhängigen Full-Grid-Validierungsset (4.840 Konfigurationen) wurde eine hohe Fidelität erreicht.
- Entscheidend war, dass Vorhersagen mit falschen Schichtindizes, aber korrekter Intensität oft eine hohe Fidelität bei der Rekonstruktion lieferten. Umgekehrt führten falsche Intensitäten selbst bei korrekter Schicht zu geringer Fidelität. Dies zeigt, dass die Perturbationsintensität der primäre Determinant der Verhaltensfidelität ist, während die Lokalisierung sekundär ist.
Funktionale Redundanz:
- Die Dissoziation zwischen niedriger Schicht-Rekonstruktionsgenauigkeit und hoher kontrafaktischer Fidelität deutet auf eine funktionale Redundanz über die Transformer-Schichten hin. Viele Schichten in der Mitte des Stacks produzieren bei gleicher Perturbationsintensität funktionell äquivalente Verhaltens-Footprints.
- Die Analyse pro Schicht zeigte ein asymmetrisches U-förmiges Muster: Schichten an der Embedding-Schnittstelle (0–2) und der Output-Schnittstelle (36–39) waren leichter rekonstruierbar als die Schichten in der Mitte (3–35), was konsistent mit der Informationslokalisierung an den Netzwerkgrenzen ist.
Klinische Generalisierung (Out-of-Distribution):
- Bei der Anwendung auf 278 Schlaganfallüberlebende war das inverse Modell in seinen rekonstruierten Parametern syndrom-diskriminativ.
- Modifikationsprozentsatz: Zeigte die stärkste Diskriminierung ( $\eta^2 = 0,288$ ), wobei die Schweregrade mit klinischen Syndromen korrelierten (z. B. korrelierten Global- und Broca-Aphasien mit höheren Modifikationsprozenten als anomische Aphasien oder Kontrollgruppen).
- Schichtindex: Zeigte moderate Diskriminierung ( $\eta^2 = 0,130$ ), wobei schwere nicht-flüssige Syndrome eher frühen Schichten zugeordnet wurden.
- Rausch-Sigma: Diskriminierte die Syndrome nicht signifikant.
- Sensitivitätsanalysen über fünf Gruppierungsschemata bestätigten, dass diese Befunde robust sind und nicht allein durch Kontrollgruppen-Kontraste oder kleine Stichproben getrieben wurden.

Bedeutung und Behauptungen

Das Paper behauptet, einen allgemeinen methodischen Rahmen für die LLM-Interpretierbarkeit auf Basis der kontrafaktischen Validierung etabliert zu haben. Seine primären Beiträge sind:

Test der kausalen Hinlänglichkeit: Es geht über die korrelative Interpretierbarkeit hinaus, indem es zeigt, dass inferierte interne Zustände (Läsionsparameter) rekonstruiert und erneut angewendet werden können, um spezifische Verhaltensweisen zu reproduzieren.
Architektonische Erkenntnis: Die Ergebnisse offenbaren eine Eigenschaft der Transformer-Architektur, die durch Standard-Interpretierbarkeit-Methoden nicht erfasst wird: funktionale Redundanz. Die Erkenntnis, dass das Verhalten mehr davon bestimmt wird, wie viel eine Schicht gestört wird, als welche Schicht gestört wird, stellt die Annahme infrage, dass spezifische Verhaltensweisen eindeutig bestimmten Schichten zugeordnet werden können.
Brücke zwischen synthetischen und klinischen Daten: Die Studie zeigt, dass ein rein auf synthetischen LLM-Perturbationen trainiertes inverses Modell auf reale klinische Aphasie-Daten generalisieren kann und dabei Parameter rekonstruiert, die mit etablierten klinischen Syndromen übereinstimmen. Dies legt nahe, dass die gelernte Mapping von Verhalten zu Perturbation strukturelle Eigenschaften der Sprachverarbeitung erfasst, die über die spezifische Trainingsverteilung des LLMs hinausgehen.

Die Autoren merken bescheiden an, dass diese Ergebnisse ein „Existenzbeweis“ für ein spezifisches multimodales Modell (LLaVA-Vicuna 13B) sind und dass der Grad der Rekonstruierbarkeit je nach Transformer-Architektur variieren kann. Sie behaupten nicht, spezifische Transformer-Schichten bestimmten Hirnregionen zugeordnet zu haben, sondern dass die Struktur des inversen Problems die computationalen Eigenschaften des Modells selbst offenbart.

Das große KI-Detektivspiel

Die Reverse-Engineering-Heraftstellung

Verbindung zu echten Menschen

Was das bedeutet

Technisches Resümee: Rekonstruktion von Läsionsparametern aus Profilen aphasischer Bildbenennungsfehler

Mehr davon