Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

Technische Samenvatting: Het blootleggen van de grenzen van Large Language Models bij het afleiden van pragmatische betekenis uit non-verbale reacties

Probleemstelling
Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben getoond in het begrijpen van verbale taal en pragmatische verschijnselen zoals implicatuur en indirecte taalhandelingen, heeft bestaand onderzoek de rol van non-verbaal gedrag wanneer dit in isolatie opereert grotendeels genegeerd. In menselijke communicatie dienen non-verbale signalen (bijv. stilte, gezichtsuitdrukkingen, gebaren) vaak als de exclusieve signalen van communicatieve intentie, waarbij ze indirecte betekenissen overbrengen zonder verbale begeleiding. Huidige evaluaties beoordelen LLM's primair op basis van verbale input of behandelen non-verbale signalen slechts als contextuele ondersteuning voor tekst. Deze studie adresseert de openstaande vraag of LLM's in staat zijn om indirecte intentie uitsluitend te herkennen en af te leiden uit non-verbale reacties, een vaardigheid die cruciaal is voor robuuste mens-AI-interactie waarbij gesproken taal afwezig of beperkt kan zijn.

Methodologie
De auteurs presenteren de eerste systematische evaluatie van het vermogen van LLM's om pragmatische betekenis af te leiden uit dialoogreacties die uitsluitend bestaan uit non-verbale elementen. De studie is gestructureerd rond drie onderzoeksvragen: (1) Kunnen LLM's indirecte intentie herkennen in non-verbale reacties? (2) Wanneer en hoe falen zij? (3) Hoe kan dit vermogen worden verbeterd?

• Data en Categorieën: De evaluatie maakt gebruik van een aangepaste dataset die non-verbale reacties onderverdeelt in drie typen: Stilte (bewuste afwezigheid van spraak), Gezichtsuitdrukkingen (gerepresenteerd via Unicode-emoji's) en Bewegingen (beschrijvende acties tussen haakjes).
• Taakontwerp: Modellen worden gepresenteerd met meerkeuzevragen waarbij zij de optie moeten selecteren die de context en de onderliggende intentie van een gesprek dat eindigt in een non-verbale reactie het beste interpreteert. Afleiders (distractoren) zijn zorgvuldig ontworpen om misinterpretaties, letterlijke verklaringen, abstracte beschrijvingen en lexicaal coherente maar semantisch divergente reacties te bevatten.
• Geëvalueerde Modellen: Experimenten bestrijken 13 modellen uit zes families (Qwen, Mistral, Llama, Phi en API-gebaseerde modellen zoals GPT en Claude), variërend van 3B tot meer dan 100 miljard parameters.
• Experimentele Instellingen: De primaire evaluatie wordt uitgevoerd in een zero-shot setting. Aanvullende analyses omvatten Chain-of-Thought (CoT) prompting, few-shot in-context learning en ablatie-studies waarbij expliciete contextuele instructies worden verwijderd. Een menselijke baseline werd vastgesteld met behulp van studenten uit diverse nationale achtergronden.

Belangrijkste Resultaten

• Prestatiekloof: LLM's vertonen een substantiële prestatiedaling bij het verwerken van non-verbale reacties in vergelijking met verbale reacties. Terwijl modellen vaak een menselijke nauwkeurigheid benaderen bij verbale indirecte taalhandelingen, daalt hun nauwkeurigheid bij non-verbale taken met wel 60 procentpunten.
• Categorie-moeilijkheidsgraad: De prestaties variëren per categorie. "Bewegingen" leverde de hoogste gemiddelde nauwkeurigheid op (0,67), gevolgd door "Gezichtsuitdrukkingen" (0,51), waarbij "Stilte" het slechtst presteerde (0,45). De categorie stilte bleek bijzonder uitdagend, waarbij modellen slechts 0,45 nauwkeurigheid behaalden vergeleken met 0,91 voor mensen.
• Model schaal en familie: Grotere parametergroottes correleren over het algemeen met verbeterde prestaties (bijv. 70B modellen die 3B modellen overtreffen), maar deze trend is niet universeel voor alle families of API-gebaseerde modellen. Zelfs geavanceerde modellen zoals GPT-4o en GPT-o3 worstelen hiermee en presteren vergelijkbaar met open-source 14B modellen bij deze specifieke taken.
• Foutanalyse: De voornaamste bron van fouten is "abstracte verklaringen", waarbij modellen vage beschrijvingen geven die er niet in slagen de kern van de communicatieve intentie te adresseren. Dit wordt gevolgd door "letterlijke interpretaties". De analyse suggereert dat modellen de neiging hebben zich te concentreren op oppervlakkige kenmerken in plaats van latente intenties af te leiden.
• Gedragspatronen: Laag-gebaseerde analyse met behulp van logit lenses onthult dat het vermogen om context te interpreteren wordt gevestigd in diepere lagen. Correcte voorspellingen vertonen een hoge convergentie van vertrouwen, terwijl fouten vaak manifesteren als zelfverzekerde misinterpretaties of vertraagde, instabiele convergentie.
• Interventie-effecten:
  • Chain-of-Thought (CoT): De resultaten waren gemengd; terwijl sommige modellen (bijv. Llama-70B) verbeterden, vertoonden anderen (bijv. GPT-4o) significante degradatie, waarbij ze vaak terugvielen op letterlijke interpretaties.
  • In-Context Learning: Few-shot prompting verbeterde de prestaties aanzienlijk, met name voor grotere modellen en API-gebaseerde modellen, wat suggereert dat het bieden van voorbeelden hels bij de modellen helpt om oppervlakkige signalen af te stemmen op onderliggende intenties.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Dit werk biedt de eerste systematische evaluatie van het vermogen van LLM's om onderliggende intentie af te leiden uit dialoogreacties die uitsluitend bestaan uit non-verbale signalen.
2. Empirisch Bewijs van Beperkingen: Uitgebreide experimenten over diverse modelfamilies laten zien dat LLM's hardnekkige uitdagingen ervaren bij het afleiden van betekenis uit non-verbale signalen, wat resulteert in een aanzienlijk verminderde prestatie ten opzichte van hun verbale tegenhangers.
3. Gedragseinzichten en Mitigatie: De studie identificeert specifieke foutpatronen (abstractheid en literalisme) en toont aan dat few-shot in-context learning de afstemming van oppervlakkige signalen op communicatieve intenties substantieel kan verbeteren.

Betekenis
Het paper betoogt dat een nauwkeurige interpretatie van non-verbaal gedrag essentieel is voor het bevorderen van de pragmatische competentie van LLM's, aangezien deze signalen universeel erkende communicatieve signalen zijn. Door te onthullen dat huidige modellen moeite hebben met het interpreteren van indirecte intentie zonder verbale ondersteuning, benadrukt de studie een kritieke kloof in de huidige generatie LLM's. De bevindingen suggereren dat hoewel modellen beschikken over sterke verbale redeneerkracht, ze niet over de noodzakelijke gronding beschikken om non-verbale signalen onafhankelijk te interpreteren. De demonstratie dat in-context learning deze problemen kan mitigeren, biedt een pad naar het verbeteren van de afstemming van modellen op menselijke communicatieve normen in multimodale of tekstuele scenario's waar non-verbale signalen de primaire modus van expressie zijn.

Beperkingen
De auteurs merken op dat de evaluatie uitsluitend in het Engels wordt uitgevoerd en steunt op pragmatische gevolgtrekkingen die als cultuuroverstijgend worden beschouwd. Daarnaast richt de studie zich op tekstuele representaties van non-verbale signalen in plaats van ruwe multimodale inputs (bijv. video of audio), hoewel de auteurs stellen dat het taalmodel de uiteindelijke interpreet van intentie blijft, ongeacht de inputmodaliteit.