Technische Samenvatting: LLM's Infereren Culturele Context maar Falen in de Toepassing Ervan bij het Genereren van Antwoorden

Probleemstelling

Recent onderzoek wijst uit dat Large Language Models (LLM's) de neiging hebben om dominante, westerse culturen te oververtegenwoordigen en andere te marginaliseren. Hoewel eerder werk heeft vastgesteld dat LLM's over culturele kennis beschikken, blijft het onduidelijk of modellen deze kennis effectief kunnen toepassen om hun antwoorden aan te passen aan de specifieke culturele achtergrond van een gebruiker. Specifiek onderzoekt dit artikel of LLM's kunnen fungeren als "pragmatische sprekers" (Frank en Goodman, 2012) die outputs — zoals meeteenheden, tijdsuitdrukkingen en kwantificatoren — afstemmen om het begrip van de gebruiker te maximaliseren op basis van geïnferreerde culturele aanwijzingen, in plaats van standaard uit te gaan van een enkele globale standaard of de eigen trainingspriors van het model.

Methodologie

De CAPRI-dataset

De auteurs introduceren CAPRI (Cultural and Pragmatic Response Inference), een dataset die ontworpen is om het vermogen van een model om een culturele achtergrond te infereren te onderscheiden van het vermogen om op die inferentie te acteren.

• Structuur: De dataset bestaat uit 4.992 conversaties die gebaseerd zijn op afbeeldingen (Visual Question Answering setup). Elke conversatie bevat een gebruiker die een vraag stelt over een afbeelding (bijv. "Wat is de temperatuur?") voorafgegaan door een dialooggeschiedenis met variërende niveaus van culturele aanwijzingen.
• Culturele Aanwijzingen: De dataset bevat zes niveaus van aanwijzingssterkte, variërend van NULL (geen geschiedenis) tot EXPLICITFULL (gebruiker geeft expliciet het land aan). Tussenliggende niveaus bevatten Impliciete Aanwijzingen (bijv. het noemen van een specifiek e-commerceplatform zoals Fnac.com of een telefoonnummerformaat zoals 06 12 34 56 78) en Neutraal (cultuur-agnostische uitspraken).
• Culturen: Tien landen worden vertegenwoordigd als proxies voor cultuur: Brazilië, China, Frankrijk, India, Iran, Israël, Japan, Zuid-Korea, het VK en de VS.
• Taakdimensies:
  1. Objectieve Concepten (Type 1): Meeteenheden voor temperatuur, afstand, snelheid, grootte en prijs. Deze hebben grondwaarheid-antwoorden gebaseerd op het land van de gebruiker (bijv. °C voor Frankrijk, °F voor de VS).
  2. Subjectieve Concepten (Type 2): Tijdsuitdrukkingen (bijv. "ochtend" versus "middag" voor 18:00 uur) en kwantificatoren (bijv. "weinig" versus "enkele"). Deze missen een grondwaarheid, maar vertonen bekende culturele variaties.

Experimentele Opzet

De studie evalueert state-of-the-art LLM's (waaronder Qwen3-VL, Gemma-4, Llama-3.2 en Gemini-3.1) over twee primaire taken:

1. Taak 1 (Achtergrond Inferentie - BG): Expliciet het model vragen om de culturele achtergrond van de gebruiker te infereren uit de dialooggeschiedenis.
2. Taak 2 (Visual Question Answering - VQA): Het model vragen om de vraag van de gebruiker over de afbeelding te beantwoorden. Cruciaal is dat het model hier niet expliciet wordt geprompt om de achtergrond te infereren; het moet impliciet redeneren over de cultuur van de gebruiker om de juiste eenheid of uitdrukking te selecteren.

De auteurs testen ook de impact van Chain-of-Thought (CoT) redeneren, waarbij specifiek "Plain CoT" (standaard redenering) wordt vergeleken met "Pragmatic CoT" (het model expliciet instrueren om de achtergrond te infereren vóór het beantwoorden).

Belangrijkste Bijdragen

1. CAPRI-dataset: Een nieuw middel dat de culturele kennisretrieval scheidt van culturele adaptatie, waardoor onderzoekers de kloof tussen het weten van een cultuur en het gebruiken van die kennis kunnen meten.
2. Formalisering van Pragmatische Adaptatie: Het artikel kadert het probleem binnen het kader van de Rational Speech Act, waarbij wordt getest of modellen kunnen marginaliseren over geïnferreerde achtergronden om het meest communicatief effectieve antwoord te produceren.
3. Systematische Evaluatie: Een uitgebreide benchmark over meerdere modelfamilies, groottes en redeneermodi, die zowel objectieve (eenheden) als subjectieve (tijd/hoeveelheid) culturele dimensies dekt.

Resultaten

1. De Kloof tussen Inferentie en Applicatie

Experimenten onthullen een aanzienlijk verschil tussen het vermogen van een model om de culturele achtergrond te infereren en het vermogen om antwoorden dienovereenkomstig aan te passen.

• Inferentie: Modellen zijn bijna perfect in het identificeren van de achtergrond van de gebruiker wanneer ze worden voorzien van slechts 1–2 impliciete aanwijzingen (de nauwkeurigheid springt van bijna 0% naar ~80%).
• Applicatie: Ondanks de hoge inferentie-nauwkeurigheid falen modellen er vaak in om hun VQA-antwoorden aan te passen aan de geïnferreerde cultuur. Zo kan een model correct identificeren dat een gebruiker Frans is, maar nog steeds een temperatuurvraag in Fahrenheit beantwoorden.
• Expliciete Prompting: De kloof verkleint aanzienlijk wanneer modellen expliciet worden begeleid om stap voor stap pragmatisch te redeneren (Pragmatic CoT), wat suggereert dat de capaciteit aanwezig is maar niet standaard wordt geactiveerd.

2. Schaling en Redenering

• Schaling: Grotere modellen (bijv. Qwen-32B, Gemma-31B) dichten de kloof tussen inferentie en applicatie over het algemeen beter dan kleinere modellen, hoewel een kloof blijft bestaan, zelfs in de grootste modellen zonder expliciete redeneringsbegeleiding.
• Redeneerdiepte: "Pragmatic CoT" produceert diepere redeneersporen, waarbij de geïnferreerde identiteit vaak expliciet via causale verbindingswoorden aan het uiteindelijke antwoord wordt gekoppeld (bijv. "De gebruiker komt uit X, dus de eenheid moet Y zijn").

3. Culturele Priors en Biases

• Default Priors: In de afwezigheid van aanwijzingen (NULL-conditie) vertonen modellen geen neutrale priors. Ze hebben de neiging om de VS als het land van de gebruiker te voorspellen, maar vallen standaard terug op het metrieke stelsel voor eenheden (wat in strijd is met de Amerikaanse conventies).
• Herkomst Bias: Modellen neigen vaak naar hun land van herkomst. Zo vertoont Qwen (ontwikkeld door een Chinees bedrijf) een sterke prior voor China, terwijl Gemini en Llama een bias naar de VS vertonen.
• Subjectieve Adaptatie: Voor subjectieve concepten vertonen modellen een toenemende divergentie in antwoorden naarmate de culturele aanwijzingen toenemen. Hun verschuivingen zijn echter vaak uniform over culturen heen in plaats van cultureel specifiek, wat suggereert dat ze wel reageren op aanwijzingen, maar de specifieke culturele interpretaties niet volledig internaliseren.

Betekenis en Claims

Het artikel stelt dat CAPRI een cruciaal middel is om de kloof tussen culturele kennis en cultureel adaptieve generatie te verkleinen. De auteurs betogen dat huidige LLM's culturele feiten geïsoleerd opslaan, maar er niet in slagen deze dynamisch te koppelen tijdens de generatie.

• Beperking van Huidige Modellen: De studie toont aan dat het louter bezitten van culturele kennis onvoldoende is; modellen hebben expliciete begeleiding of verbeterde architecturale redenering nodig om te fungeren als pragmatische sprekers die de gebruikerscontext afstemmen.
• Toekomstige Richting: Het werk roept op tot toekomstig onderzoek om LLM's het vermogen te geven om automatisch deze pragmatische redenering uit te voeren, waarbij de focus verschuift van statische culturele kennis naar dynamische, contextbewuste adaptatie.
• Bescheidenheid: De auteurs erkennen beperkingen, zoals het gebruik van landen als proxies voor cultuur (wat stereotypen kan versterken) en het gebruik van het Engels als interactietaal, wat op zichzelf weer priors introduceert. Zij presenteren CAPRI als een stap naar, en niet als een volledige oplossing voor, cultureel competente AI.