Technische Samenvatting: Kunnen LLM's Figuratief Taalgebruik Interpreteren zoals Mensen Dat Doen?

Probleemstelling

Hoewel Large Language Models (LLM's) tekst genereren die lijkt op menselijke output, blijft de mate waarin zij overeenstemmen met menselijke oordelen bij het interpreteren van figuratieve en sociaal gegronde taal onzeker. Bestaande literatuur suggereert dat LLM's menselijke oordelen kunnen evenaren op het gebied van oppervlakkige kenmerken (bijv. grammaticale precisie of basissentiment), maar afwijken in diepere interpretatieprocessen die betrekking hebben op pragmatiek, context en subjectieve ervaring. Specifiek is het onduidelijk of LLM's over de cognitieve gronding beschikken die nodig is om betekenis te organiseren in een gedeelde semantische ruimte met mensen, met name voor complexe linguïstische eigenschappen zoals idiomen, sarcasme, humor, emotionele toon en Gen Z-slang. Huidig onderzoek vertrouwt vaak op geaggregeerde overeenstemming (oppervlakkige gelijkenis), wat echter kan maskeren dat er tekortkomingen zijn in het vastleggen van de fijnmazige onderscheidingen die vereist zijn voor genuanceerde pragmatische fenomenen.

Methodologie

Om dit aan te pakken, voerden de auteurs een studie uit waarbij menselijke participanten werden vergeleken met vier instructie-afgestemde LLM's (GPT-4, Gemma-2-9B, Llama-3.2 en Mistral-7B) met behulp van Representational Similarity Analysis (RSA).

Data en Stimuli

• Stimuli: Een dataset van 240 dialooggebaseerde zinnen werd samengesteld, verdeeld in 120 "zinvolle" (bevatten een specifieke linguïstische eigenschap) en 120 "niet-zinvolle" (structureel vergelijkbaar maar zonder de kernkenmerk) zinnen.
• Categorieën: Zinnen werden geclassificeerd in zes linguïstische eigenschappen: Conventioneel, Idiomatisch, Emotioneel, Grappig, Sarcastisch en Gen Z-slang.
• Evaluatie: Elke zin werd gekoppeld aan 40 interpretatieve vragen (bijv. "Is dit sarcastisch?", "Is dit relevant voor jou?") ontworpen om betekenis, toon en expressieve kwaliteit te beoordelen.
• Schaal: Zowel mensen als modellen beoordeelden de zinnen op een 10-punts Likert-schaal, wat resulteerde in 9.600 zin–vraag paren.

Participanten

• Mensen: 211 bachelorstudenten van Texas A&M University.
• Modellen: Vier decoder-only, instructie-afgestemde LLM's die via API of Hugging Face werden geraadpleegd.
• Condities: Er werden twee studies uitgevoerd. Studie 1 gebruikte een standaard zero-shot prompt. Studie 2 introduceerde verfijnde beperkingen (strikte grenzen van 1–10 voor beoordelingen en enkelvoudige zin-rechtvaardigingen) om de gevoeligheid voor prompts te testen.

Analytisch Kader

De studie maakte onderscheid tussen twee niveaus van uitlijning:

1. Oppervlakkige Gelijkenis (Surface-Level Similarity, SLS): Berekend via Pearson correlatiecoëfficiënten tussen menselijke en modelbeoordelingen voor specifieke zincategorieën. Dit meet overeenstemming op outputniveau.
2. Representatieve Gelijkenis (Representational Similarity, RSA): Deze methode onderzoekt de interne structuur van interpretatie.
   • Paarwijze Euclidische afstanden werden berekend tussen alle zinsparen op basis van hun 40-dimensionale beoordelingsvectoren, wat een Representational Dissimilarity Matrix (RDM) creëerde voor zowel mensen als elk model.
   • RSA kwantificeerde de uitlijning door de bovenste driehoek van de menselijke RDM te correleren met de model-RDMs.
   • Significantie: Een hoge RSA-correlatie geeft aan dat mensen en modellen zinnen op structureel vergelijkbare manieren organiseren binnen hun semantische ruimtes, zelfs als de absolute beoordelingswaarden verschillen. Een lage RSA-correlatie wijst op uiteenlopende interne representatieve geometrieën.

Belangrijkste Resultaten

Oppervlakkige Gelijkenis (SLS)

• Algemene Uitlijning: Modellen, met name GPT-4, vertoonden een sterke oppervlakkige uitlijning met mensen (correlaties $r \approx 0,60–0,90$ voor zinvolle zinnen).
• Modelhiërarchie: GPT-4 presteerde consequent beter dan andere modellen. Gemma en Mistral vertoonden een matige uitlijning, terwijl Llama-3.2 de zwakste uitlijning vertoonde, vooral voor figuratieve categorieën.
• Verschillen in Categorieën: Conventionele en emotionele zinnen leverden hogere correlaties op dan humor, sarcasme en slang.
• Prompt-gevoeligheid: Studie 2 (verfijnde prompts) liet bescheiden verbeteringen zien in SLS over de modellen heen, maar niet-zinvolle zinnen bleven een uitdaging.

Representatieve Gelijkenis (RSA)

• Divergentie: Ondanks de hoge oppervlakkige overeenstemming, onthulde RSA een systematische divergentie tussen de representatieve ruimtes van modellen en mensen.
• Figuratief Taalgebruik: De uitlijning was significant zwakker voor pragmatisch rijke categorieën (idiomen, sarcasme, Gen Z-slang) vergeleken met conventionele of emotionele zinnen.
  • GPT-4 vertoonde de sterkste representatieve uitlijning ($r \approx 0,50–0,85$ voor zinvolle zinnen), maar bleef achter bij de mens-mens consistentie ($r \approx 0,75–0,85$).
  • Kleinere modellen (Llama, Mistral) vertoonden een zeer lage representatieve uitlijning ($r \approx 0,10–0,35$) voor figuratieve categorieën.
• Niet-zinvolle Zinnen: Modellen hadden moeite om zinvolle van niet-zinvolle varianten te onderscheiden in hun interne representaties, waarbij de correlaties significant daalden vergeleken met menselijke baselines.
• Impact van Prompts: Hoewel verfijnde prompts de oppervlakkige beoordelingen verbeterden, zorgden ze niet voor een substantiële herstructurering van de interne semantische organisatie van de modellen, met name voor Llama.

Belangrijkste Bijdragen

1. Methodologisch Onderscheid: De studie maakt expliciet onderscheid tussen oppervlakkige gedragsmatige overeenstemming en representatieve structurele uitlijning, en toont aan dat een hoge correlatie in beoordelingen geen garantie biedt voor een gedeelde interne semantische organisatie.
2. Empirisch Bewijs van Divergentie: Het levert bewijs dat zelfs state-of-the-art modellen zoals GPT-4 er niet in slagen om volledig menselijke representatieve geometrieën te repliceren voor figuratief taalgebruik, met name voor contextafhankelijke eigenschappen zoals sarcasme en slang.
3. Modelhiërarchie: Het stelt een consistente hiërarchie vast waarbij GPT-4 menselijke representatieve patronen dichter benadert dan kleinere modellen, maar geen enkel model de mens-mens betrouwbaarheid bereikt.
4. Inzicht in Mechanismen: De resultaten suggereren dat de huidige trainingsdoelen (next-token prediction) onvoldoende zijn om de interne organisatie van betekenis voor pragmatische inferentie te beperken, waardoor modellen vertrouwen op oppervlakkige heuristieken in plaats van stabiele semantische gronding.

Betekenis en Claims

Het artikel claimt dat hoewel LLM's menselijke oordelen op een oppervlakkig niveau kunnen benaderen, zij nog niet beschikken over de representatieve structuur die vereist is voor werkelijke menselijke interpretatie van figuratief en sociaal gegrond taalgebruik.

• Beperkingen van Huidige Modellen: De bevindingen ondersteunen de visie dat LLM's vertrouwen op distributionele patroonherkenning in plaats van stabiele semantische gronding. Het onvermogen om uit te lijnen op representatieve geometrie voor idiomen en slang suggereert een gebrek aan contextgevoelige supervisie en sociale gronding in huidige architecturen.
• Implicaties voor Evaluatie: De auteurs stellen dat het evalueren van LLM's uitsluitend op basis van output-accuratesse of oppervlakkige correlaties onvoldoende is. Toekomstige kaders moeten onderzoeken hoe betekenis intern wordt georganiseerd (via methoden zoals RSA) in plaats van alleen welke output wordt gegenereerd.
• Bescheiden Omvang: De auteurs erkennen beperkingen, waaronder de relatief kleine omvang van de dataset, het gebrek aan rijke contextuele aanwijzingen in de stimuli (die cruciaal zijn voor sarcasme en humor), en de aanname dat mensen en LLM's vergelijkbare interne kaders delen. Bijgevolg zijn de claims beperkt tot context-onafhankelijke pragmatische interpretatie, wat suggereert dat de geobserveerde kloof kan worden verergerd door de afwezigheid van real-world discourse context.

Concluderend stelt de studie dat huidige LLM's figuratief taalgebruik coderen in representatieve ruimtes die slechts gedeeltelijk uitgelijnd zijn met de menselijke semantische organisatie, wat wijst op een fundamentele kloof tussen het genereren van mensachtige tekst en het bezitten van mensachtige cognitieve gronding voor pragmatisch taalgebruik.