Résumé technique : Les LLM infèrent le contexte culturel mais échouent à l'appliquer lors de la réponse

Énoncé du problème

Des recherches récentes indiquent que les modèles de langage de grande taille (LLM) ont tendance à surreprésenter les cultures dominantes et occidentocentrées tout en marginalisant les autres. Bien que des travaux antérieurs aient établi que les LLM possèdent une connaissance culturelle, il reste incertain si ces modèles peuvent effectivement appliquer cette connaissance pour adapter leurs réponses au contexte culturel spécifique d'un utilisateur. Plus précisément, l'article examine si les LLM peuvent agir comme des « locuteurs pragmatiques » (Frank et Goodman, 2012) capables de personnaliser leurs sorties — telles que les unités de mesure, les expressions temporelles et les quantificateurs — afin de maximiser la compréhension de l'utilisateur en se basant sur des indices culturels inférés, plutôt que de revenir par défaut à un standard mondial unique ou aux priors de leur propre entraînement.

Méthodologie

Le jeu de données CAPRI

Les auteurs introduisent CAPRI (Cultural and Pragmatic Response Inference), un jeu de données conçu pour dissocier la capacité d'un modèle à inférer un contexte culturel de sa capacité à agir sur cette inférence.

• Structure : Le jeu de données se compose de 4 992 conversations ancrées dans des images (configuration de type Question-Réponse Visuelle ou VQA). Chaque conversation comprend un utilisateur posant une question sur une image (ex. : « Quelle est la température ? »), précédée d'un historique de dialogue contenant différents niveaux d'indices culturels.
• Indices culturels : Le jeu de données présente six niveaux de force des indices, allant de NULL (aucun historique) à EXPLICITFULL (l'utilisateur déclare explicitement son pays). Les niveaux intermédiaires incluent des Indices Implicites (ex. : mention d'une plateforme de commerce électronique spécifique comme Fnac.com ou un format de numéro de téléphone comme 06 12 34 56 78) et Neutre (énoncés culturels neutres).
• Cultures : Dix pays sont représentés comme des substituts de la culture : le Brésil, la Chine, la France, l'Inde, l'Iran, Israël, le Japon, la Corée du Sud, le Royaume-Uni et les États-Unis.
• Dimensions de la tâche :
  1. Concepts objectifs (Type 1) : Unités de mesure pour la température, la distance, la vitesse, la taille et le prix. Ces derniers possèdent des réponses de vérité terrain basées sur le pays de l'utilisateur (ex. : °C pour la France, °F pour les États-Unis).
  2. Concepts subjectifs (Type 2) : Expressions temporelles (ex. : « matin » vs « après-midi » pour 18h00) et quantificateurs (ex. : « peu » vs « certains »). Ceux-ci manquent de vérité terrain mais présentent des variations culturelles connues.

Configuration expérimentale

L'étude évalue des LLM de pointe (incluant Qwen3-VL, Gemma-4, Llama-3.2 et Gemini-3.1) à travers deux tâches principales :

1. Tâche 1 (Inférence de l'arrière-plan - BG) : Demander explicitement au modèle d'inférer le pays de l'utilisateur à partir de l'historique de la conversation.
2. Tâche 2 (Question-Réponse Visuelle - VQA) : Demander au modèle de répondre à la question de l'utilisateur sur l'image. Crucialement, le modèle n'est pas explicitement invité à inférer l'arrière-plan ici ; il doit raisonner implicitement sur la culture de l'utilisateur pour sélectionner l'unité ou l'expression appropriée.

Les auteurs testent également l'impact du raisonnement par chaîne de pensée (Chain-of-Thought - CoT), en comparant spécifiquement le « Plain CoT » (raisonnement par défaut) au « Pragmatic CoT » (instruction explicite au modèle d'inférer l'arrière-plan avant de répondre).

Contributions clés

1. Jeu de données CAPRI : Une ressource novatrice qui sépare la récupération de la connaissance culturelle de l'adaptation culturelle, permettant aux chercheurs de mesurer l'écart entre connaître une culture et utiliser cette connaissance.
2. Formalisation de l'adaptation pragmatique : L'article cadre le problème à travers le prisme du cadre des Actes de Parole Rationnels (Rational Speech Act), testant si les modèles peuvent effectuer une marginalisation sur les arrière-plans inférés pour produire la réponse la plus communicative.
3. Évaluation systématique : Un benchmark complet à travers plusieurs familles de modèles, tailles et modes de raisonnement, couvrant des dimensions culturelles tant objectives (unités) que subjectives (temps/quantité).

Résultats

1. L'écart entre inférence et application

Les expériences révèlent une divergence significative entre la capacité d'un modèle à inférer l'arrière-plan culturel et sa capacité à adapter ses réponses en conséquence.

• Inférence : Les modèles sont presque parfaits pour identifier l'arrière-plan de l'utilisateur lorsqu'ils sont fournis avec seulement 1 à 2 indices implicites (la précision passe de près de 0 % à environ 80 %).
• Application : Malgré une haute précision d'inférence, les modèles échouent fréquemment à adapter leurs réponses VQA à la culture inférée. Par exemple, un modèle peut identifier correctement qu'un utilisateur est français, mais répondre tout de même à une question de température en Fahrenheit.
• Prompt explicite : L'écart se réduit considérablement lorsque les modèles sont explicitement guidés pour effectuer un raisonnement pragmatique étape par étape (Pragmatic CoT), ce qui suggère que la capacité existe mais n'est pas déclenchée par défaut.

2. Mise à l'échelle et raisonnement

• Mise à l'échelle (Scaling) : Les modèles plus larges (ex. : Qwen-32B, Gemma-31B) comblent généralement mieux l'écart entre l'inférence et l'application que les modèles plus petits, bien qu'un écart persiste même dans les plus grands modèles sans guidage de raisonnement explicite.
• Profondeur de raisonnement : Le « Pragmatic CoT » produit des traces de raisonnement plus profondes, liant souvent explicitement l'identité inférée à la réponse finale via des connecteurs causaux (ex. : « L'utilisateur vient de X, donc l'unité devrait être Y »).

3. Priors culturels et biais

• Priors par défaut : En l'absence d'indices (condition NULL), les modèles présentent des priors non neutres. Ils ont tendance à prédire les États-Unis comme pays de l'utilisateur, mais par défaut, ils utilisent le système métrique pour les unités (contredisant les conventions américaines).
• Biais d'origine : Les modèles penchent souvent vers leur pays d'origine. Par exemple, Qwen (développé par une entreprise chinoise) montre un fort prior pour la Chine, tandis que Gemini et Llama montrent un biais vers les États-Unis.
• Adaptation subjective : Pour les concepts subjectifs, les modèles montrent une augmentation de la divergence dans les réponses à mesure que les indices culturels s'accumulent. Cependant, leurs changements sont souvent uniformes à travers les cultures plutôt que culturellement spécifiques, suggérant qu'ils réagissent aux indices mais ne parviennent pas à intérioriser pleinement des interprétations culturelles distinctes.

Signification et affirmations

L'article affirme que CAPRI constitue une ressource critique pour réduire l'écart entre la connaissance culturelle et la génération culturellement adaptative. Les auteurs soutiennent que les LLM actuels stockent les faits culturels de manière isolée mais échouent à les lier dynamiquement lors de la génération.

• Limitation des modèles actuels : L'étude démontre que la simple possession de connaissances culturelles est insuffisante ; les modèles nécessitent un guidage explicite ou un raisonnement architectural amélioré pour agir comme des locuteurs pragmatiques capables de personnaliser leurs réponses au contexte de l'utilisateur.
• Direction future : Ce travail appelle à des recherches futures pour doter les LLM de la capacité d'effectuer automatiquement ce raisonnement pragmatique, passant d'une connaissance culturelle statique à une adaptation dynamique et sensible au contexte.
• Modestie : Les auteurs reconnaissent les limites, telles que l'utilisation de pays comme substituts de la culture (ce qui peut renforcer les stéréotypes) et l'utilisation de l'anglais comme langue d'interaction, ce qui introduit ses propres priors. Ils présentent CAPRI comme une étape vers une IA culturellement compétente, plutôt que comme une solution complète.