Résumé Technique : CCBENCH : Évaluer la compétence culturelle des LLM via les normes signalées implicitement à l'aide de requêtes de santé

Problématique

Les grands modèles de langage (LLM) fonctionnent actuellement comme des intermédiaires d'information mondiaux, mais ils adoptent fréquemment des systèmes de valeurs « WEIRD » (occidentaux, éduqués, industrialisés, riches et démocratiques), ce qui entraîne un biais culturel persistant. Il existe une lacune critique dans l'évaluation de la compétence culturelle — la capacité de l'IA à inférer et à s'adapter aux valeurs culturelles signalées implicitement par un utilisateur plutôt que de s'appuyer sur des traits démographiques statiques.

Les benchmarks actuels traitent largement l'identité culturelle comme un attribut binaire (appartenance ou non-appartenance), ignorant la fluidité et la variation intraculturelle de l'identité humaine réelle. Cette approche réductrice risque un désalignement et le renforcement de stéréotypes préjudiciables, particulièrement dans des domaines à enjeux élevés comme la santé, où le style de communication impacte directement la confiance et les résultats de santé. De plus, les utilisateurs déclarent rarement leur héritage de manière explicite ; ils signalent plutôt le contexte par des récits implicites, des préférences de communication et des indices sociaux. Les modèles existants manquent de sensibilité pour reconnaître ces signaux subtils.

Méthodologie : Le cadre CCBENCH

Les auteurs introduisent CCBENCH, un cadre agnostique au domaine conçu pour évaluer la compétence culturelle implicite des LLM. Contrairement aux benchmarks traditionnels reposant sur l'auto-identification explicite (ex. : « En tant que personne de la culture X... »), CCBENCH mesure la capacité d'un modèle à inférer des normes culturelles latentes à travers des indices comportementaux ancrés dans l'historique de la conversation.

1. Conception du cadre

Le cadre opérationnalise l'identité culturelle comme un continuum d'états d'adhésion aux normes révélés implicitement. Il utilise une représentation hiérarchique distinguant les valeurs culturelles abstraites des normes comportementales qui les opérationnalisent.

• Construction de Personas : Des personas synthétiques ($P_k$) sont générés sur la base d'un ensemble de valeurs culturelles fondamentales ($V$) et de normes comportementales ($N$).
• Logique d'Adhésion :
  • Adhésion aux Valeurs : Chaque persona se voit assigner un état d'adhésion binaire ($+1$ pour l'adhésion, $-1$ pour la non-adhésion) à des valeurs culturelles spécifiques.
  • Dérivation des Normes : L'adhésion d'un persona à une norme spécifique est calculée comme la moyenne de ses scores de valeurs associés.
  • États Ternaires : L'état final d'adhésion à la norme ($C_k$) est catégorisé en trois états : Suivre ($\mu > 0$), Éviter ($\mu < 0$), ou Neutre ($\mu = 0$). Cela permet de créer des personas nuancés qui peuvent suivre certaines normes tout en évitant d'autres.

2. Création du Benchmark CCBENCH-Health

Le cadre est instancié sous la forme de CCBENCH-Health, se concentrant sur les requêtes liées à la santé.

• Sourcing des Données : Les normes et les valeurs sont ancrées dans la ressource Mosaica, une base de connaissances d'insights transculturels curatés par des experts.
• Simulation de Personas : 60 personas théoriquement fondés ont été créés à travers six cultures (afghane, birmane, chinoise, maorie, népalaise et vietnamienne). Chaque persona participe à 18 dialogues réalistes.
• Ancrage Implicite : Un historique de conversation multi-tours ($H_k$) est généré entre le persona et un assistant IA. Cet historique est contraint par la fonction d'adhésion $C_k$ de sorte que le persona démontre ses valeurs à travers son style linguistique et ses schémas de prise de décision sans déclarer explicitement son origine géographique ou culturelle. Les déclarations d'identité explicites sont filtrées, tandis que les artefacts culturels (ex. : salutations, références religieuses) sont conservés comme indices implicites.
• Curation des Requêtes : 52 questions de santé authentiques ont été tirées de forums d'utilisateurs réels (eHealth, iCliniq), stratifiées sur 12 sujets de santé.
• Protocole d'Évaluation :
  • Évaluation basée sur des listes de contrôle (Checklist) : Pour chaque interaction, une liste de contrôle spécifique à la norme est générée en fonction de l'état d'adhésion du persona. Un LLM évaluateur performant score la réponse du modèle ($R_i^k$) sur la proportion d'éléments de la liste satisfaits.
  • Métriques :
    • Taux de Suivi (Follow Rate) : Fréquence d'adaptation aux normes qu'un persona préfère.
    • Taux d'Évitement (Avoid Rate) : Fréquence d'adaptation correcte à l'évitement des normes culturelles (résistance à la stéréotypie).
    • Score de Compétence Culturelle (CCS) : La moyenne harmonique des taux de Suivi et d'Évitement.

3. Configuration Expérimentale

Cinq LLM de pointe (GPT-5.2, Gemini-2.5-Pro, Claude-3.5-Sonnet, Llama-3.2-90B, Qwen-3.5-397B) ont été évalués sous quatre configurations de prompting :

1. Sans Contexte : Uniquement la requête de santé.
2. Avec Contexte de Conversation (Hist.) : L'historique simulé de l'arrière-plan est fourni.
3. Culture-CoT : Le modèle est instruit d'effectuer un raisonnement par chaîne de pensée (Chain-of-Thought) pour identifier les indices culturels avant de répondre.
4. Contexte de Norme : Le modèle se voit explicitement fournir les définitions des normes de vérité terrain (limite supérieure théorique).

Résultats Clés

Le benchmarking révèle un déficit omniprésent dans l'adaptation aux révélations de normes implicites, caractérisé par une asymétrie significative entre les capacités d'« Évitement » et de « Suivi ».

• Compétence Globale Limitée : Même les modèles les plus performants n'atteignent des réponses culturellement appropriées que 20 à 30 % du temps (mesuré par le CCS) lorsqu'ils sont explicitement sollicités avec des états de normes. Dans les contextes implicites (Contexte de Conversation), la performance chute significativement.
• L'Asymétrie (Défaut Occidental) : Les modèles performent nettement mieux lorsqu'ils doivent éviter les normes culturelles que lorsqu'ils doivent les suivre.
  • Exemple : GPT-5.2 atteint un Taux d'Évitement de 51,7 % mais seulement un Taux de Suivi de 6,5 % dans un contexte de conversation.
  • Cela suggère que les modèles possèdent un « défaut occidental » où l'omission des normes non-occidentales est interprétée comme de la compétence, tandis que l'accommodation culturelle active reste faible.
• Impact des Indices Explicites : Le fait de inciter explicitement les modèles à se concentrer sur les indices culturels (Culture-CoT) produit des améliorations modestes (gain moyen de 3 à 5 %), indiquant que les structures de raisonnement aident mais ne peuvent remplacer une adaptation culturelle ciblée.
• Disparités Culturelles :
  • Contexte Afghan : Les modèles éprouvent le plus de difficultés ici, avec un score de compétence culturelle moyen de 0,088. Les indices culturels produisent rarement des conseils de santé appropriés.
  • Contexte Maori : Présente des Taux d'Évitement notablement élevés, probablement en raison de marqueurs linguistiques distinctifs plus faciles à détecter et à supprimer pour les modèles.
• Style vs Substance : Les modèles s'adaptent parfois plus facilement aux styles de communication implicites (ex. : l'hésitation) qu'aux pratiques culturelles explicites, bien que cela varie selon la culture.
• Corrélation de l'Adhésion aux Normes : À mesure que l'ancrage culturel d'un persona (adhésion aux normes) augmente, l'adaptation du modèle décline brutalement. Les modèles traitent la spécificité culturelle élevée comme un comportement atypique, revenant par défaut à des réponses généralisées.

Signification et Revendications

L'article affirme que CCBENCH fournit une méthode rigoureuse pour évaluer comment les LLM gèrent la fluidité et la multiplicité des valeurs humaines, allant au-delà de la simple appartenance culturelle binaire.

La principale signification de ce travail réside dans l'exposition d'un « écart de compétence » :

1. Résistance vs Sensibilité : Les LLM modernes sont aptes à résister à la stéréotypie (identifier correctement quand un utilisateur n'adhère pas à une norme) mais peinent systématiquement sur la sensibilité culturelle (intégrer activement des valeurs non-occidentales lorsqu'elles sont signalées).
2. Insuffisance de l'Alignement Actuel : Même lorsqu'ils sont fournis avec des définitions de normes explicites comme limite supérieure théorique, les modèles ne parviennent pas à s'adapter de manière cohérente, suggérant que les techniques d'alignement actuelles sont insuffisantes pour une véritable compétence culturelle.
3. Appel à des Soins Nuancés : Les résultats plaident contre les recommandations « taille unique ». Les auteurs affirment que l'obtention d'une compétence culturelle équitable nécessite des données d'entraînement multiculturelles plus riches et des techniques respectant la nature diverse, dynamique et souvent implicite des identités mondiales.

Les auteurs concluent que bien que le benchmark soit limité à six cultures et repose sur des personas simulés, il sert de fondation nécessaire au développement d'une IA capable de naviguer dans des contextes culturels intersectionnels et multifacettes dans des domaines à enjeux élevés comme la santé.