Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

Dit onderzoek toont aan dat grote taalmodellen weliswaar compositionaliteit in hun interne representaties ontwikkelen, maar dat deze niet altijd consistent vertalen naar functioneel succes bij taakuitvoering, wat de noodzaak van een contrastieve evaluatie benadrukt.

De kern

De Geheime Taal van AI: Waarom Computers Slim Klinken, Maar Niet Altijd Slim Denken

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken. Je vraagt aan een slimme bibliothecaris (een Groot Taalmodel of LLM) om een nieuwe zin te maken door twee woorden te combineren, bijvoorbeeld "rode auto".

Deze paper van onderzoekers uit Kopenhagen en Microsoft onderzoekt iets heel interessants: Kan deze bibliothecaris echt begrijpen wat "rode auto" betekent, of leest hij alleen de woorden voor?

Om dit te testen, kijken ze naar twee verschillende manieren om de bibliothecaris te beoordelen:

1. De "Uitvoering"-test: Wat zegt de bibliothecaris als je hem een vraag stelt? (Functioneel)
2. De "Brein-scan"-test: Wat gebeurt er in zijn hoofd terwijl hij nadenkt? (Representatief)

Hier is wat ze ontdekten, vertaald naar alledaags taalgebruik:

1. De Twee Kijkwijzen

De Uitvoering (Wat hij zegt)
Stel je voor dat je de bibliothecaris vraagt: "Als een 'nieuwe record' een 'record' is, is een 'vermeende dader' dan ook een 'dader'?"

• Het probleem: Soms zegt de bibliothecaris "Ja", soms "Nee". Het hangt af van hoe je de vraag stelt, hoe groot zijn geheugen is, of hij is getraind om instructies te volgen.
• De verrassing: Als je de bibliothecaris groter maakt (meer geheugen) of hem beter traint om instructies te volgen, wordt hij niet per se beter in deze logica. Soms wordt hij zelfs slechter. Het is alsof je een student meer boeken geeft, maar hij vergeet dan juist hoe hij een som moet oplossen.

De Brein-scan (Wat hij denkt)
Nu kijken we niet naar wat hij zegt, maar naar de elektrische signalen in zijn "hersenen" (de interne lagen van het model).

• De verrassing: Zelfs als de bibliothecaris de vraag verkeerd beantwoordt, zien we in zijn "hersenen" dat hij het antwoord wel degelijk weet. De informatie over de betekenis van "rode auto" zit er perfect in. Het is alsof hij het antwoord op zijn tong heeft, maar het niet durft of kan uitspreken.

2. De Grote Klap: Het Verschil tussen Weten en Doen

De onderzoekers ontdekten een groot gat tussen weten en doen.

• De Analogie van de Acteur: Stel je een acteur voor die een toneelstuk speelt. Hij kent zijn tekst perfect (de interne kennis is er), maar als de regisseur zegt "Speel het nu!", doet hij het soms raar of verkeerd.
• De conclusie: De AI-modellen hebben de "combinatiekracht" (het vermogen om woorden logisch te koppelen) al in hun systeem. Maar ze kunnen deze kennis niet altijd consistent gebruiken om een vraag correct te beantwoorden.

3. Waarom is dit belangrijk?

Vroeger dachten we: "Als de AI de test haalt, is hij slim. Als hij faalt, is hij dom."
Deze paper zegt: "Nee, wacht even. Hij is niet dom, hij is gewoon een beetje verward over hoe hij zijn kennis moet tonen."

Als we alleen kijken naar of de AI het juiste antwoord geeft (de test), denken we misschien dat hij geen logica heeft. Maar als we naar zijn interne werking kijken, zien we dat hij die logica wel heeft.

Wat betekent dit voor de toekomst?
Als we AI willen vertrouwen (bijvoorbeeld in de zorg of justitie), mogen we niet alleen kijken naar of hij het juiste antwoord geeft. We moeten ook begrijpen waarom hij soms faalt, zelfs als hij het antwoord "weet".

Samenvattend in één zin:

Deze AI-modellen zijn als een genie dat de oplossing voor een raadsel in zijn hoofd heeft, maar soms vergeet hoe hij het moet vertellen; we moeten dus niet alleen naar zijn antwoord kijken, maar ook naar hoe zijn brein werkt, om te begrijpen wat hij echt kan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives" in het Nederlands.

Probleemstelling

Compositionaliteit – het vermogen om complexe betekenissen te genereren uit eenvoudigere onderdelen – wordt beschouwd als een fundamenteel kenmerk van menselijke taalverwerking. Hoewel Large Language Models (LLMs) uitstekende prestaties leveren op veel natuurlijke taal-taken, is het onduidelijk of ze daadwerkelijk compositionaliteit bezitten.

Bestaande evaluatiemethoden voor compositionaliteit (zoals SCAN of COGS) zijn vaak ontworpen voor modellen die vanaf nul worden getraind en gebruiken synthetische datasets die niet goed aansluiten bij moderne, voorgetrainde LLMs. Bovendien worden functionele evaluaties (opdrachtgedrag) en representationalle analyses (interne modelstaten) zelden naast elkaar bestudeerd. Dit leidt tot een kennislacune: geven deze twee perspectieven convergerende bewijzen over de compositionaliteit van LLMs, of divergeren ze?

Methodologie

De auteurs evalueren de compositionaliteit van bijvoeglijk naamwoord-zelfstandig naamwoord (bijv. "rode auto") combinaties in LLMs via twee complementaire benaderingen binnen een unified experimenteel kader:

1. Functionele Evaluatie (Task Performance):

   • Doel: Meten van het gedragsvermogen van het model om compositionaliteit te tonen.
   • Taken: Drie inferentie-taken die specifieke aspecten van compositionaliteit testen:
     • Substitutiviteit: Kan het model de betekenis behouden bij het vervangen van een woord door een synoniem of een bijvoeglijk naamwoord (gebruikmakend van het AddOne-dataset)?
     • Systematiciteit: Kan het model bekende semantische relaties recombineren om een nieuwe af te leiden (bijv. als "rode auto" een "auto" is en "auto" een "voertuig", is "rode auto" dan een "rood voertuig"? Gebruikmakend van het PLANE-dataset).
     • Overgeneralisatie: Kan het model voorkomen dat compositionaliteitsregels foutief worden toegepast op niet-compositionele uitdrukkingen (bijv. "turncoat" is geen soort "coat")? Hiervoor introduceerden de auteurs een nieuw dataset: COMPCOMB.
   • Modellen: Vier model-families (LLaMA-2, CodeLlama, Qwen2.5-Coder, Gemma2) met drie varianten per familie: Basis, Instruction-Tuned (IT), en een grotere geschaalde versie.

2. Representationalle Evaluatie (Internal States):

   • Doel: Onderzoeken of compositionaliteitsinformatie intern is gecodeerd, ongeacht of het model deze succesvol gebruikt in de output.
   • Techniek: Een layer-wise "probing" analyse. Hidden states worden geëxtraheerd uit elke vijfde transformer-laag.
     • Voor AddOne en PLANE wordt een lineaire classifier getraind om entailment-labels te voorspellen op basis van de interne representaties.
     • Voor COMPCOMB wordt de cosinus-afstand tussen token-embeddings berekend om te zien of het model semantische relaties intern onderscheidt.

Belangrijkste Resultaten

De studie onthult een opmerkelijke divergentie tussen functionele prestaties en interne representaties:

• Functionele Prestaties (Inconsistent):

  • Prestaties op de compositionaliteitstaken vertonen geen eenduidige trend bij het vergroten van het model (scaling) of bij instruction tuning.
  • In veel gevallen (vooral bij AddOne en COMPCOMB) neemt de prestatie zelfs af bij instruction-tuned en grotere modellen, terwijl deze varianten normaal gesproken beter presteren op algemene taken.
  • Instruction tuning lijkt soms de capaciteit om compositionaliteit functioneel toe te passen te verstoren.

• Interne Representaties (Stabiel):

  • In tegenstelling tot het gedrag, zijn de interne representaties consistent boven de kans (chance level) voor alle modellen en lagen.
  • Compositionaliteitsinformatie is betrouwbaar gecodeerd in de interne staten van de modellen, met signalen die vaak pieken in de intermediaire lagen.
  • Deze representationalle signalen blijven stabiel ongeacht de modelgrootte of of het model instruction-tuned is.

• Conclusie van de divergentie: LLMs ontwikkelen blijkbaar wel degelijk compositionaliteitsrepresentaties, maar vertalen deze niet consistent naar succesvolle taakuitvoering. De kennis is "aanwezig" maar niet altijd "toepasbaar" in het functionele gedrag.

Bijdragen

1. Unificatie van Evaluatie: Het paper is een van de eerste die functionele en representationalle evaluaties van compositionaliteit direct naast elkaar plaatst binnen hetzelfde experimentele kader.
2. Nieuw Dataset: Introductie van het COMPCOMB-dataset om overgeneralisatie bij exocentrische composities te testen.
3. Empirisch Bewijs van Divergentie: Het leveren van sterk bewijs dat interne representaties en extern gedrag bij LLMs kunnen divergeren, wat betekent dat een model "weet" hoe compositionaliteit werkt zonder dit altijd te tonen in zijn output.
4. Kritiek op Bestaande Metrieken: Het toont aan dat het vertrouwen op alleen task-performance (zoals accuracy) of alleen interne probing leidt tot een onvolledig beeld van modelcapaciteiten.

Betekenis en Implicaties

De bevindingen hebben belangrijke gevolgen voor hoe we LLMs evalueren en interpreteren:

• Contrastieve Evaluatie is Cruciaal: Om een compleet beeld te krijgen van modelcapaciteiten, moeten onderzoekers zowel naar het gedrag (functional) als naar de interne structuur (representational) kijken. Alleen kijken naar de output kan leiden tot de conclusie dat een model niet compositional is, terwijl de kennis er wel is.
• Veiligheid en Robuustheid: Voor veilige en betrouwbare implementaties is het essentieel om te begrijpen dat interne structuren en externe outputs kunnen divergeren. Een model kan intern correct redeneren maar extern falen door instructie-tuning of andere factoren.
• Toekomstig Onderzoek: Het paper pleit voor het gebruik van causale interventiemethoden (zoals activation patching) om te bepalen of deze interne representaties daadwerkelijk de oorzaak zijn van het modelgedrag, en niet slechts passief aanwezig zijn.

Kortom, dit paper waarschuwt tegen het simplistische aannemen dat "beter presteren op taken" gelijkstaat aan "beter begrijpen van taalstructuren", en benadrukt de complexiteit van het evalueren van compositionaliteit in moderne AI-systemen.