Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

Technische Samenvatting: Het herstellen van laesieparameters uit foutprofielen bij afasie bij het benoemen van afbeeldingen

Probleemstelling
Huidige interpreteerbaarheidsmethoden voor Large Language Models (LLM's)—inclusief probing classifiers, attention visualisatie, causale tracing en activation patching—beschrijven primair de interne toestanden van het model en hun correlaties met gedrag. Deze methoden beschrijven echter niet direct of een geïnferred interne toestand causaal voldoende is om het geobserveerde gedrag te produceren. Ze identificeren wat correleert met gedrag, niet wat, indien ingrepen, dat gedrag zou produceren. Dit artikel adresseert deze kloof door een inverse vraag te stellen: gegeven een specifieke gedragsoutput (een afasie-foutprofiel bij het benoemen van afbeeldingen), kunnen de specifieke laesieparameters (laagindex, modificatiepercentage en ruisgrootte) die dit hebben voortgebracht, worden hersteld? Bovendien: onthult de structuur van dit inverse probleem fundamentele eigenschappen van transformer-computatie?

Methodologie
De studie maakt gebruik van het multimodale model LLaVA-Vicuna 1.6 13B (een combinatie van een CLIP vision encoder en een 40-laagse Vicuna taal decoder). De methodologie omvat een forward perturbatiefase gevolgd door een inverse mappingfase.

1. Forward Perturbatie (Datageneratie):

   • Parameterruimte: De auteurs definieerden een grid van 4.840 configuraties variërend over drie parameters:
     • Laagindex ($L$): 0–39 (alleen de taaldecoderlagen).
     • Modificatiepercentage ($M$): 0–100% (fractie van de verborgen eenheden die worden beïnvloed).
     • Ruis Sigma ($\sigma$): 1.0–2.0 (intensiteit van Gaussische ruis).
   • Laesiemechanisme: Voor een gegeven configuratie $(L, M, \sigma)$ werden de gewichten in laag $L$ die geassocieerd zijn met een fractie $M$ van de verborgen eenheden gemodificeerd door ze te vermenigvuldigen met $(1 + \varepsilon)$, waarbij $\varepsilon \sim N(0, \sigma^2)$.
   • Gedragsoutput: Elk geperturbeerd model werd geëvalueerd op de 175-item Philadelphia Naming Test (PNT). Responsies werden geclassificeerd in een klinische taxonomie van zeven fouttypen: correct, semantisch, ongerelateerd, formeel, gemengd, neologisme en geen respons.
   • Feature Extractie: De input voor het inverse model was een 166-dimensionale vector bestaande uit:
     • Tier 1: 7 door BERT geclassificeerde foutpercentages.
     • Tier 2: 5 afgeleide statistieken (bijv. totaal foutpercentage, entropie).
     • Tier 3: 12 tekstuele statistieken (lengte, karakterklassen).
     • Tier 4: 10 probabilistische momenten (onzekerheidsmetrieken).
     • Tier 5: 8 lexicale diversiteitsfeatures.
     • Tier 6: 116 sentence-transformer embedding statistieken.
   • Datasets: De 4.840 configuraties werden gesplitst in 70/15/15 voor training, validatie en testen. Een onafhankelijke validatieset werd gegenereerd met een afwijkende willekeurige seed om datalekken te voorkomen. Daarnaast werd gedragsdata van 278 beroertslijders (CSTAR dataset) gebruikt voor out-of-distribution testen.

2. Inverse Model Architectuur:

   • Een multi-task neuraal netwerk werd getraind om de 166-dimensionale gedragsprofiel terug te mappen naar de drie perturbatieparameters.
   • Encoder: Drie volledig verbonden blokken (256 $\to$ 128 $\to$ 64 eenheden) met batch normalisatie, ReLU en dropout.
   • Heads:
     • Layer Head: Een lineaire laag voor 40-weg classificatie (Cross-Entropy loss).
     • Intensity Heads: Twee parallelle regressie heads voor Modificatiepercentage en Ruis Sigma, gebruikmakend van heteroscedastische Gaussische negative log-likelihood loss om gemiddelde en variantie te voorspellen.
   • Training: Geoptimaliseerd met AdamW over 500 epochs. De totale loss is een gewogen som van de drie taak-losses.

3. Validatiekader:

   • Counterfactual Validatie: Om causale sufficientie te verifiëren, werden de voorspelde parameters van het inverse model toegepast op een nieuwe, niet-geperturbieerde instantie van het LLaVA-Vicuna model. De resulterende foutprofiel werd vergeleken met het oorspronkelijke doelprofiel met behulp van cosine gelijkenis en Pearson correlatie. Hoge getrouwheid (fidelity) werd gedefinieerd als gelijkenis > 0.85 en correlatie > 0.90.
   • Klinische Applicatie: Het getrainde inverse model (zonder hertraining) werd toegepast op de 278 beroertslijders om te testen of de herstelde parameters onderscheid konden maken tussen klinische afasie-syndromen (bijv. Broca, Anomisch, Globaal).

Belangrijkste Resultaten

1. Partiële Herwinning van Parameters:

   • Intensiteit is Herwinbaar: Het model slaagde erin de perturbatie-intensiteit te herstellen. Voorspelling van het modificatiepercentage bereikte $R^2 = 0.570$ en Pearson $r = 0.771$. Voorspelling van de ruis sigma bereikte $R^2 = 0.315$ en $r = 0.581$.
   • Locatie is Ambigu: De voorspelling van de laagindex was aanzienlijk minder accuraat. De Top-1 accuratesse was 14.8% (kans is 2.5%), hoewel de binnen-5 accuratesse 77.6% was (kans is 27.5%). Dit suggereert dat het model de nabijheid van de laesie kan identificeren, maar niet de exacte laag.

2. Counterfactual Fidelity (Getrouwheid):

   • Ondanks de moeilijkheid om de exacte laag te pinpointen, waren de herstelde parameters causaal voldoende om het doelgedrag te reproduceren. Op de onafhankelijke volledige grid validatieset (4.840 configuraties) bereikte 81.4% van de gevallen een hoge-getrouwheid-reproductie.
   • Cruciaal was dat voorspellingen met incorrecte laagindices maar correcte intensiteit vaak een hoge-getrouwheid reconstructie opleverden. Daarentegen leidde een incorrecte intensiteit tot een lage getrouwheid, zelfs als de laag correct was. Dit geeft aan dat perturbatie-intensiteit de primaire determinant is van gedragsgetrouwheid, terwijl locatie secundair is.

3. Functionele Redundantie:

   • De dissociatie tussen de lage laag-herwinningsaccuratesse en de hoge counterfactual fidelity suggereert functionele redundantie over de transformer-lagen. Veel lagen in het midden van de stack produceren functioneel equivalente gedragsvoetafdrukken wanneer ze bij overeenkomende intensiteiten worden geperturbeerd.
   • Per-laag analyse toonde een asymmetrisch U-vormig patroon: lagen bij de embedding interface (0–2) en de output interface (36–39) waren meer herwinbaar dan de mid-stack (3–35), wat consistent is met informatie lokalisatie aan de grenzen van het netwerk.

4. Klinische Generalisatie (Out-of-Distribution):

   • Wanneer toegepast op 278 beroertslijders, was het inverse model's herstelde parameters syndroom-onderscheidend.
   • Modificatiepercentage: Toonde de sterkste discriminatie ($\eta^2 = 0.288$), met ernst-gradiënten die overeenkwamen met klinische syndromen (bijv. Global en Broca afasie brachten hogere modificatiepercentages in kaart dan Anomische of controles).
   • Laagindex: Toonde matige discriminatie ($\eta^2 = 0.130$), waarbij ernstige niet-fluente syndromen naar eerdere lagen mapten.
   • Ruis Sigma: Maakte geen significant onderscheid tussen syndromen.
   • Gevoeligheidsanalyses over vijf groeperingsschema's bevestigden dat deze bevindingen robuust waren en niet enkel gedreven werden door controle-groep contrasten of kleine steekproeven.

Betekenis en Claims

Het artikel beweert een algemeen methodologisch kader voor LLM-interpreteerbaarheid vast te stellen op basis van counterfactual validatie. De primaire bijdragen zijn:

• Causale Sufficientie Test: Het gaat verder dan correlationele interpreteerbaarheid door aan te tonen dat geïnferred interne toestanden (laesieparameters) kunnen worden hersteld en opnieuw kunnen worden toegepast om specifiek gedrag te reproduceren.
• Architecturale Inzicht: De resultaten onthullen een eigenschap van de transformer-architectuur die niet wordt gevangen door standaard interpreteerbaarheidsmethoden: functionele redundantie. De bevinding dat gedrag meer wordt bepaald door hoeveel een laag wordt verstoord dan door welke laag wordt verstoord, daagt de aanname uit dat specifieke gedragingen uniek aan specifieke lagen mappen.
• Overbrugging van Synthetische en Klinische Data: De studie demonstreert dat een inverse model, volledig getraind op synthetische LLM-perturbaties, kan generaliseren naar echte klinische afasie-data, waarbij parameters worden hersteld die overeenkomen met gevestigde klinische syndromen. Dit suggereert dat de geleerde gedrag-naar-perturbatie mapping structurele eigenschappen van taalverwerking vastlegt die de specifieke trainingsdistributie van de LLM overstijgen.

De auteurs merken bescheiden op dat deze bevindingen een "existence proof" zijn voor één specifieke multimodale model (LLaVA-Vicuna 13B) en dat de mate van herwinbaarheid kan variëren over verschillende transformer-architecturen. Zij beweren niet dat zij specifieke transformer-lagen aan specifieke hersengebieden hebben gekoppeld, maar dat de structuur van het inverse probleem de computationele eigenschappen van het model zelf onthult.