Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models

Probleemstelling

Hoewel Multimodale Taalmodellen (MLMs) steeds menselijker communiceren, blijft hun gebruik van perspectivische woorden (woorden die afhankelijk zijn van de context, spreker en luisteraar) slecht begrepen. Bestaande evaluaties focussen voornamelijk op vocabulaire (objectnamen, kleuren), die context-onafhankelijke betekenissen hebben.

Het artikel identificeert een cruciale lacune: de evaluatie van perspectivische woorden, specifiek:

1. Bezitswoorden (bijv. 'mijn' vs. 'jouw').
2. Demonstrativa (bijv. 'deze' vs. 'die').

Deze woorden vereisen pragmatisch redeneren en perspectiefneming (Theory of Mind), omdat hun betekenis afhangt van wie spreekt, naar wie er wordt gekeken en de ruimtelijke positie van objecten ten opzichte van de spreker. De auteurs stellen de hypothese dat het gebruik van deze woorden cognitief zwaarder is dan het gebruik van vocabulaire, en dat MLMs hierin aanzienlijk meer tekortschieten dan mensen.

Methodologie

De auteurs hebben een experimenteel raamwerk ontwikkeld om menselijke prestaties te vergelijken met die van zeven state-of-the-art MLMs (waaronder GPT-4o, Llama-4-Scout, Gemma-3, InternVL en Ovis).

1. Experimenteel Ontwerp:
Er werden drie taken ontworpen met een meerkeuzeformaat (4 opties, 1 correct):

• Vocabulaire-taak: Selecteer de juiste label voor een object (bijv. 'boot'). Dit vereist geen perspectiefneming.
• Bezits-taak: Selecteer tussen 'ik/jij' en 'mijn/jouw' gebaseerd op wie spreekt en wie het object bezit. Dit vereist perspectiefneming.
• Demonstrativa-taak: Selecteer tussen 'deze' en 'die' gebaseerd op de ruimtelijke afstand tot de spreker. Dit vereist zowel perspectiefneming als ruimtelijk redeneren.

2. Stimuli en Modus:

• Mensen: Kregen visuele scènes te zien met twee personages (een jongen en een meisje) aan een tafel met objecten. Sprekerschap en blikrichting werden visueel aangegeven (spraakballon, bliklijn).
• MLMs: Kregen aangepaste stimuli. Om verwarring te voorkomen, werden visuele cues (spraakballons) vervangen door tekstuele prompts die de identiteit van spreker en kijker expliciet beschreven. Een groen vierkant markeerde het doelobject.
• Data: 360 menselijke deelnemers (360 volwassenen) en 7 MLMs. De MLMs werden getest in zero-shot settings.

3. Ablatie-analyses en Prompting:
Om de bron van fouten te identificeren, voerden de auteurs ablatie-studies uit waarbij ze:

• Ruimtelijke cues (tekstuele eigendomsaanduidingen of visuele groene vierkanten) verwijderden.
• Perspectivische cues (identiteit van de spreker) verwijderden.
• Twee prompting-strategieën testten om de prestaties te verbeteren: In-context learning (voorbeelden geven) en Instruction-based prompting (expliciete instructies over wie spreekt en wat de regels zijn).

Belangrijkste Bijdragen

1. Hiërarchie van Cognitieve Vraag: Het artikel bevestigt een hiërarchie in moeilijkheidsgraad voor zowel mensen als modellen: Vocabulaire < Bezitswoorden < Demonstrativa.
2. Grootste Kloof bij Demonstrativa: Hoewel MLMs bijna menselijke prestaties halen bij vocabulaire, vertonen ze significante tekortkomingen bij bezitswoorden en nog grotere bij demonstrativa.
3. Oorzakenanalyse: De studie isoleert perspectiefneming en ruimtelijk redeneren als de primaire oorzaken van de prestatiekloof. MLMs vertrouwen overmatig op linguïstische cues en hebben moeite met het integreren van visuele ruimtelijke informatie zonder tekstuele ondersteuning.
4. Prompting-effectiviteit: Instruction-based prompting kan de kloof bij bezitswoorden aanzienlijk verkleinen (dichtbij menselijke niveaus), maar faalt grotendeels bij demonstrativa, wat wijst op een fundamenteel gebrek aan ruimtelijk redeneren in huidige modellen.

Resultaten

• Prestatieverschil:
  • Vocabulaire: MLMs bereiken bijna plafondniveaus (vergelijkbaar met mensen).
  • Bezitswoorden: Mensen halen ~93% juistheid; de beste MLM (Llama-4-Scout) haalt ~85,7%.
  • Demonstrativa: Mensen halen ~83% juistheid; de beste MLM (GPT-4o) haalt slechts ~70,2%. Andere modellen presteren aanzienlijk slechter, soms op het niveau van toeval.
• Ablatie-resultaten:
  • Verwijdering van perspectivische cues leidt bij geavanceerde modellen tot een scherpe daling in prestaties, wat aantoont dat ze afhankelijk zijn van deze informatie. Sommige kleinere modellen reageren hier niet op, wat suggereert dat ze perspectiefneming niet effectief toepassen.
  • Verwijdering van visuele ruimtelijke cues heeft weinig impact op de prestaties, terwijl het verwijderen van tekstuele ruimtelijke cues de prestaties sterk verlaagt. Dit bevestigt dat MLMs primair op tekst vertrouwen voor ruimtelijk redeneren, in tegenstelling tot mensen die visuele en linguïstische informatie parallel integreren.
• Prompting:
  • Instruction-based prompting verbetert de prestaties bij bezitswoorden aanzienlijk door expliciete regels te geven over eigendom en sprekerschap.
  • Bij demonstrativa levert dit slechts marginale verbeteringen op. De fouten blijven voornamelijk betrekking hebben op de ruimtelijke keuze ('deze' vs. 'die'), niet op de perspectiefneming. Dit suggereert dat ruimtelijk redeneren een hardnekkig probleem is dat niet opgelost wordt door instructies alleen.

Significantie en Conclusie

De studie toont aan dat het vermogen om perspectivische woorden correct te gebruiken een fundamentele uitdaging blijft voor Multimodale Taalmodellen, ondanks hun succes in vocabulaire.

• Pragmatische en Sociaal-cognitieve beperkingen: De resultaten onthullen dat MLMs tekortschieten in de pragmatische en sociaal-cognitieve vaardigheden die nodig zijn voor echt menselijke communicatie, zoals het begrijpen van perspectief en ruimtelijke relaties in een gedeelde context.
• Richting voor toekomstig onderzoek: De auteurs suggereren dat het overbruggen van deze kloof mogelijk vereist dat modellen worden getraind met rijkere data over fysieke interactie of worden uitgerust met expliciete modules voor ruimtelijk redeneren.
• Ethische implicatie: Het begrijpen van deze beperkingen is cruciaal voor het ontwikkelen van AI-systemen die betrouwbaar kunnen communiceren in dagelijkse, sociale situaties waar context en perspectief essentieel zijn.

Kortom, terwijl MLMs goed zijn in het benoemen van objecten, missen ze de diepere cognitieve mechanismen om te begrijpen wie spreekt en waar objecten zich bevinden ten opzichte van de spreker, wat essentieel is voor natuurlijk taalgebruik.