Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Technische Samenvatting: Taalmodellen kunnen referentie compositioneel oplossen, maar het is niet hun natuurlijke kracht

Probleemstelling
Het artikel behandelt een kritische vraag bij de evaluatie van Large Language Models (LLM's): verwerven deze modellen werkelijk compositionele vermogens voor het interpreteren van natuurlijke taal, of zijn hun outputs primair het resultaat van geavanceerde patroonherkenning? Terwijl bestaande benchmarks vaak focussen op ofwel het vertalen van natuurlijke taal naar formele representaties (intensionele taken) of het mappen van beschrijvingen naar concrete referenten (extensionele taken), bestuderen weinig onderzoeken deze twee aspecten van betekenis expliciet tegenover elkaar binnen een verenigd kader. De auteurs stellen dat een gebrek aan referentiële gronding in de training van LLM's een cruciale ontbrekende component kan zijn om mensachtige taalbegrip na te bootsen, wat een methode noodzakelijk maakt om te onderscheiden tussen het vermogen van een model om een "zin" te berekenen (de structurele formule) versus het vermogen om een "referentie" te resolveren (de specifieke entiteit).

Methodologie
De auteurs hebben de Personal Relation Task (PRT) (Paperno, 2022) aangepast om zowel LLM's als menselijke participanten te evalueren. De taak betreft een gecontroleerd "universum" van zes personen die verbonden zijn door vier soorten relaties: vriend, vijand, ouder en kind. Participanten krijgen complexe zelfstandige naamwoorden gepresenteerd (bijv. "de vriend van de ouder van Amber") en moeten een van de twee taken uitvoeren:

1. Extensionele Taak: Identificeer de specifieke persoon (referent) die de frase binnen het gegeven universum aanduidt.
2. Intensionele Taak: Genereer een geneste functionele formule die de zin van de frase representeert (bijv. vriend(ouder(amber))).

Het experimentele ontwerp manipuleerde vier belangrijke variabelen:

• Benadering: Extensioneel versus Intensioneel.
• Representatie: Engels (gebruikmakend van standaard namen/relaties) versus Abstract (het mappen van namen en relaties naar willekeurige variabelen, bijv. Amber $\to$ h, vriend $\to$ x). De abstracte conditie dient als controle voor contaminatie door pretraining-data en verhoogt de moeilijkheidsgraad van de intentionele taak door oppervlakkige stringmanipulatie te voorkomen.
• Vertakking (Branching): Links-vertakkend (genitief 's, bijv. "Amber's ouder's vriend") versus Rechts-vertakkend (prepositionele frases, bijv. "de vriend van de ouder van Amber").
• Complexiteit: Het aantal relaties plus één (getest op niveaus 3, 4, 5 en 6 voor LLM's; beperkt tot niveau 3 voor mensen vanwege budgetbeperkingen).

De studie evalueerde vijf LLM's, inclusen standaard instructie-afgestemde modellen en Large Reasoning Models (LRM's), met behulp van een gestandaardiseerde vierdelige promptstructuur (introductie, dataset, uitgewerkt voorbeeld, testvraag). Menselijke data werd verzameld van 32 participanten via Prolific. Prestaties werden geanalyseerd met behulp van Generalized Linear Mixed Models (GLMM's) om de effecten van de participantengroep, de taakbenadering, de representatie en de complexiteit te beoordelen.

Belangrijkste Bijdragen

• Methodologisch Kader: Het artikel introduceert een verenigde methodologie voor het beoordelen van intentionele versus extortionale compositionele interpretatie, waardoor een directe vergelijking tussen deze twee verschillende semantische vermogens mogelijk is.
• Comparatieve Data: Het levert menselijke prestatiedata op dezelfde taken onder maximaal vergelijkbare condities als de LLM's, waarmee een gat wordt opgevuld waar compositionele vermogens vaak worden beoordeeld zonder expliciete menselijke baselines.
• Empirische Evaluatie: De studie biedt een statistische evaluatie van verschillende LLM's, waarbij de uiteenlopende sterktes tussen modellen en menselijke participanten worden belicht, en onderzoekt specifelijk de impact van redeneer-versterkte architecturen.

Resultaten
De studie onthult een fundamentele divergentie in prestatieprofielen tussen mensen en LLM's:

• Tegenovergestelde Sterktes: Mensen presteerden significant beter op extortionale taken (82,8% nauwkeurigheid) dan op intentionele taken (71,1%). Omgekeerd presteerden LLM's beter op intentionele taken (95,0%) dan op extortionale taken (79,8%).
• Effecten van Representatie: Beide groepen vonden Engelse representaties makkelijker dan abstracte. Echter, het moeilijkheidsverschil was het meest uitgesproken voor LLM's in de abstracte extortionale conditie (66,1% nauwkeurigheid), die vereist om door het universum te navigeren en willekeurige symbolen te mappen, terwijl de Engelse intentionele taak (95% nauwkeurigheid) het makkelijkst was voor LLM's, wat lijkt op een vertaal- of syntactische herschikingsopdracht.
• Complexiteit en Redeneren: De prestaties van LLM's verslechterden naarm even naarmate de complexiteit toenam. Echter, redeneer-versterkte modellen (LRM's) behielden een stabielere prestatiekloof tussen extortionale en intentionele taken over de verschillende complexiteitsniveaus vergeleken met standaard modellen, wat suggereert dat redeneercapaciteiten de zwakte in referentiële resolutie kunnen mitigeren, maar niet kunnen elimineren.
• Vertakking: In tegen tegenstelling tot eerdere studies met recurrente neurale netwerken, vertoonden moderne Transformer-gebaseerde LLM's geen significante systematische bias tussen links- en rechts-vertakkende structuren.

Betekenis en Claims
De auteurs beweren dat hun resultaten de opvatting ondersteunen dat het gebrek aan referentiële gronding in LLM-training een kritiek tekort is in het bereiken van mensachtig taalbegrip. De bevindingen suggereren dat LLM's uitblinken in de "vertaling" van natuurlijke taal naar formele structuren (intentionele taken) omdat hun trainingsdoel zich richt op de voorspelling van oppervlaktevormen en syntactische patronen. In contrast hiermee blinken mensen, wier taalgebruik geworteld is in de echte wereld, uit in het identificeren van concrete referenten (extortionale taken), maar worstelen wanneer zij gedwongen worden de onderliggende structurele formules expliciet te articuleren.

Het artikel stelt dat hoewel LLM's een hoge nauwkeurigheid kunnen bereiken op compositionele taken, ze dit doen via een ander onderliggend proces dan mensen — door gebruik te maken van vertaalcapaciteiten in plaats van werkelijke referentiële gronding. De auteurs concluderen dat willekeurige referentie zelfs voor grensmodellen een merkbare uitdaging blijft, wat de argumenten versterkt dat referentiële gronding een belangrijke ontbrekende component is om te integreren in AI-systemen. De claims van de studie zijn bescheiden; de auteurs merken op dat de experimentele opzet enigszins kunstmatig is en dat toekomstig werk nodig is om basis instructie-afgestemde modellen breder te vergelijken met redeneer-versterkte modellen.