Tracing Pharmacological Knowledge In Large Language Models

Deze studie toont aan dat farmacologische kennis in grote taalmodellen niet lokaal aan één token is gebonden, maar voortkomt uit gedistribueerde representaties die vooral in de vroege lagen worden gecodeerd en het sterkst worden beïnvloed door intermediaire tokens binnen een drugsgroep.

De kern

De Farmaceutische Geheugens van AI: Hoe Computers Medicijnen "Begrijpen"

Stel je voor dat een groot taalmodel (zoals een slimme AI) een gigantische bibliotheek is, gevuld met miljoenen boeken over medicijnen, ziektes en chemie. We weten dat deze AI's goed kunnen antwoorden op vragen als "Welk medicijn is een pijnstiller?" of "Wat zijn de bijwerkingen van dit middel?". Maar hoe zit het met het interne werkingsmechanisme? Waar in dat enorme brein van de AI wordt die kennis eigenlijk opgeslagen? Is het in één specifiek boek, of verspreid over de hele bibliotheek?

Dit onderzoek van Basil Hasan Khwaja en zijn team probeert precies dat te ontrafelen. Ze kijken niet alleen naar of de AI het juiste antwoord geeft, maar hoe ze dat antwoord vindt.

Hier is een uitleg in gewone taal, met wat creatieve vergelijkingen:

1. Het Experiment: Een Spel van Vervanging

De onderzoekers wilden weten: "Waar zit de kennis over medicijngroepen (zoals 'antibiotica' of 'pijnstillers') opgeslagen in de AI?"

Ze gebruikten een techniek die ze activatie-patching noemen. Dit kun je vergelijken met het vervangen van een stukje in een machine terwijl deze draait.

• Stap 1: Ze geven de AI een vraag met het juiste antwoord (bijv. "Welk middel is een pijnstiller?"). De AI denkt na en slaat haar gedachten op.
• Stap 2: Ze geven de AI een "verkeerde" vraag (bijv. "Welk middel is een luchtwegvernauwer?").
• Stap 3: Ze nemen een stukje van de "verkeerde" vraag en vervangen het door het stukje van de "juiste" vraag, precies op het moment dat de AI aan het denken is.

Als de AI na deze vervanging plotseling het juiste antwoord geeft voor de verkeerde vraag, weten ze: "Aha! Dat stukje van de machine was cruciaal voor het begrijpen van medicijngroepen!"

2. De Grote Verrassing: Het is niet waar je denkt

Vroeger dachten onderzoekers dat AI's feitelijke kennis (zoals "Parijs is de hoofdstad van Frankrijk") bewaarden in het laatste woord van een zin. Alsof je een brief schrijft en de hele betekenis pas in het laatste woord zit.

Maar dit onderzoek toont iets heel anders voor medicijnen:

• De "Vroege Laag" is de Sleutel: De kennis over medicijngroepen zit niet diep in het "brein" van de AI, maar wordt al heel vroeg verwerkt. Denk aan de eerste paar lagen van een lasagne: de smaak van de saus (de kennis) zit daar al, niet pas in de bovenste laag.
• Het Midden is Belangrijker dan het Einde: De sterkste invloed kwam niet van het laatste woord van de medicijngroep, maar van de woorden in het midden.
  • Vergelijking: Stel je voor dat je een team bouwt. Je denkt dat de leider (het laatste woord) het meest belangrijk is. Maar dit onderzoek laat zien dat het team in het midden van de constructie (de tussenliggende woorden) eigenlijk de meeste kracht heeft om het project (de kennis) draaiende te houden.

3. Verspreide Kennis: Geen Eén Enkel Woord

Een ander belangrijk punt is dat de kennis niet in één enkel woord zit, maar verspreid is over alle woorden van de groep.

• De "Zwarte Doos" vs. De "Kluif": Als je probeert te raden welke medicijngroep een AI bedoelt door alleen naar één woord te kijken (zoals een zwart-wit foto van één stukje van een kluif), zie je bijna niets. Het lijkt op gokken.
• De "Samenstelling": Maar als je alle woorden van de groep samen pakt en ze optelt (alsof je de hele kluif in één keer bekijkt), wordt het beeld kristalhelder. De AI "weet" het pas echt als ze alle stukjes samen heeft.

4. Het is er al vanaf het Begin

Het meest verbazingwekkende resultaat is dat deze kennis er al is voordat de AI echt begint met "denken" (voordat de eerste lagen van het model worden doorlopen).

• Vergelijking: Het is alsof je een pakje koopt en de inhoud al zichtbaar is door de verpakking heen, voordat je het zelfs maar hebt geopend. De kennis over medicijngroepen zit al in de basisstructuur van de AI, in de manier waarop de woorden oorspronkelijk zijn vertaald naar getallen.

Waarom is dit belangrijk?

Tot nu toe waren we een beetje blind voor hoe deze slimme machines werken. We wisten dat ze goed waren, maar niet waarom.

• Betrouwbaarheid: Als we weten waar de kennis zit, kunnen we de AI beter controleren. Als de kennis verkeerd zit, kunnen we die specifieke plek "repareren" zonder de hele AI opnieuw te moeten trainen.
• Vertrouwen: In de geneeskunde is vertrouwen cruciaal. Als een arts een AI raadpleegt, wil hij weten of die AI echt begrijpt wat een "antibioticum" is, of dat het gewoon raadt. Dit onderzoek laat zien dat de AI deze concepten op een gestructureerde, logische manier heeft opgeslagen.

Kortom: Deze studie laat zien dat AI's medicijnkennis niet opslaan in één enkel woord aan het einde van een zin, maar dat het een verspreid netwerk is dat al vroeg in het proces wordt opgebouwd. Het is een stap in de richting van "transparante" AI's die we in de toekomst beter kunnen vertrouwen voor medische beslissingen.

Technische samenvatting

Probleemstelling

Grote taalmodellen (LLMs) tonen sterke empirische prestaties in farmacologie en geneesmiddelenontdekking, maar de interne mechanismen waarmee ze farmacologische kennis coderen, blijven slecht begrepen. Hoewel modellen succesvol worden ingezet voor taken zoals het voorspellen van geneesmiddelinteracties en het genereren van hypotheses, is onduidelijk waar en hoe kennis over geneesmiddelgroepen (bijv. farmacologische klassen) wordt opgeslagen en opgehaald binnen de modelarchitectuur. Dit gebrek aan mechanistisch inzicht beperkt de betrouwbaarheid en het vertrouwen in deze modellen voor hoog-risico biomedische toepassingen.

Methodologie

De auteurs hebben een systematisch onderzoek uitgevoerd met behulp van twee hoofdtechnieken uit het domein van mechanistische interpretabiliteit: activatie-patching (causale interventie) en lineaire probing (correlatieve analyse).

1. Dataset Constructie:

   • Er is een nieuwe dataset ontwikkeld door geneesmiddelen te koppelen aan farmacologische actiecategorieën (gebaseerd op data van de U.S. National Library of Medicine).
   • Omdat tokenisatie van geneesmiddelnamen variabel is en meerdere geneesmiddelen tot dezelfde klasse kunnen behoren, werd het probleem geformuleerd als een twee-keuze vraag-antwoordopdracht. Dit vermeden problemen met token-niveau evaluatie en unieke antwoorden.

2. Activatie Patching (Causale Analyse):

   • Doel: Identificeren welke modelcomponenten (lagen en token-posities) causaal verantwoordelijk zijn voor de output.
   • Proces:
     • Clean prompt: Een vraag met het juiste antwoord (bijv. "Welk compound is een vasoconstrictor?").
     • Counterfactual prompt: Dezelfde structuur, maar met een andere geneesmiddelgroep zodat het juiste antwoord verandert.
     • Patching: Activaties van de counterfactual run worden vervangen door de 'clean' activaties van specifieke lagen of token-posities.
   • Meting: Het effect wordt gemeten via een genormaliseerde logit-differentie-metric.
   • Toepassing: Er werd gepatcht in de residual stream (aan het begin van transformer-blokken) en in de MLP-uitgangen (Multi-Layer Perceptrons).

3. Lineaire Probing:

   • Doel: Bepalen of farmacologische semantiek lineair afscheidbaar is in de interne representaties.
   • Proces: Lineaire classificatoren (logistische regressie) werden getraind op:
     • Activaties van individuele tokens binnen de span van de geneesmiddelgroep.
     • Sum-pooled activaties (aggregatie over alle tokens in de span).
   • Dit werd gedaan op zowel token-niveau als op het niveau van de embedding (voorafgaand aan laag 0).

Belangrijkste Bijdragen

• Eerste systematische mechanistische analyse: Dit is het eerste werk dat specifiek de codering van farmacologische kennis in LLMs onderzoekt met causale en correlatieve methoden.
• Locatie van kennis: Het paper identificeert dat farmacologische kennis niet lokaal is opgeslagen in het laatste token, maar gedistribueerd is over meerdere tokens en lagen.
• Rol van vroege lagen: Het wordt aangetoond dat vroege lagen cruciaal zijn voor het coderen van geneesmiddelgroepen, in tegenstelling tot eerdere bevindingen over algemene feitelijke kennis die vaak later in het model of in het laatste token wordt gelokaliseerd.

Resultaten

1. Prestatie van Modellen:

   • Llama-gebaseerde modellen (zowel algemeen als biomedisch gefinetuned) presteren sterk op de taak (accuracy > 0.86), wat aangeeft dat ze de kennis bezitten.

2. Activatie Patching Resultaten:

   • Lagen: De sterkste causale effecten werden gevonden in de vroege lagen (laag 0-10) van het model.
   • Token Positie: In tegenstelling tot eerdere studies over feitelijke kennis (waar het laatste subject-token cruciaal is), bleek bij farmacologische prompts de maximale causale invloed te liggen bij intermediate tokens binnen de span van de geneesmiddelgroep, niet bij het laatste token.
   • MLP vs. Residual Stream: Interventies in de MLP-lagen (vooral in de vroege lagen) hadden een vergelijkbaar sterk effect als interventies in de residual stream, wat suggereert dat de semantische verwerking al vroeg plaatsvindt.

3. Lineaire Probing Resultaten:

   • Gedistribueerde Representatie: Probes getraind op individuele tokens presteerden nauwelijks beter dan toeval (near chance).
   • Aggregatie is noodzakelijk: Probes getraind op sum-pooled representaties (aggregatie van alle tokens in de span) bereikten maximale nauwkeurigheid. Dit bewijst dat de semantische informatie gedistribueerd is over de token-sequentie.
   • Embedding-niveau: De farmacologische semantiek was al volledig aanwezig in de embedding space (voorafgaand aan de eerste transformer-laag), wat aangeeft dat deze informatie inherent is aan de inputrepresentatie en niet pas later wordt gecreëerd.

Significantie en Conclusie

De studie concludeert dat farmacologische kennis in LLMs niet lokaal is gelokaliseerd in één enkel token of één specifieke laag, maar voortkomt uit gedistribueerde representaties die al in de vroege lagen van het netwerk aanwezig zijn.

• Mechanistisch Inzicht: Het paper verschuift het paradigma voor het begrijpen van biomedische LLMs: kennis is niet alleen een "laatste-token" fenomeen, maar een integraal kenmerk van de vroege verwerking en aggregatie van token-sequentie.
• Toekomstige Toepassingen: Deze bevindingen zijn cruciaal voor het ontwikkelen van betrouwbaardere modellen en voor het ontwerpen van interventiestrategieën (bijv. voor het corrigeren van hallucinaties of het sturen van generaties) die rekening houden met de gedistribueerde aard van de kennis.
• Methodologische Voorbeeld: Het paper demonstreert de kracht van het combineren van causale patching (voor noodzakelijkheid/toereikendheid) en lineaire probing (voor lineariteit/decodabiliteit) om complexe semantische structuren te ontrafelen.

Kortom, dit werk biedt een fundamenteel inzicht in hoe biomedische semantiek wordt gecodeerd in moderne taalmodellen, wat een basis legt voor transparantere en veiligere AI-toepassingen in de geneeskunde.