Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

Résumé technique : « Fluent mais étranger : même les LLM régionaux manquent d'alignement culturel »

Énoncé du problème
Bien que les grands modèles de langage (LLM) soient rapidement adoptés à l'échelle mondiale, ils encodent principalement des valeurs, des croyances et des connaissances occidento-centrées. En réponse, des développeurs du Sud global construisent des LLM « régionaux » ou « souverains », entraînés sur des langues locales pour servir des communautés spécifiques. Cependant, un fossé critique subsiste dans l'évaluation de la capacité de ces modèles à être non seulement linguistiquement fluides, mais aussi véritablement alignés sur la culture. Les benchmarks multilingues actuels se concentrent sur les capacités de raisonnement, de classification et de génération, mais échouent à évaluer l'alignement avec les valeurs culturelles, les pratiques et les réalités vécues locales. Ce document examine si l'entraînement régional confère réellement aux LLM l'alignement culturel nécessaire pour servir leurs populations cibles, en utilisant l'Inde comme étude de cas.

Méthodologie
Les auteurs emploient un cadre d'évaluation « épais × large » fondé sur l'oignon culturel de Hofstede, évaluant deux dimensions : les valeurs (ce que les gens croient) et les pratiques (ce que les gens font). L'étude évalue 12 modèles : six modèles indic (ex. nanda-10b, sarvam-m-24b) et six bases mondiales (ex. GPT-4o, Llama-3, Mistral).

L'évaluation consiste en quatre tâches de benchmark et une étude utilisateur :

1. Carte culturelle (Valeurs) : En utilisant l'enquête mondiale sur les valeurs (WVS), les modèles sont positionnés sur la carte culturelle d'Inglehart–Welzel (Traditionnel vs Séculier-Rationnel ; Survie vs Auto-expression) pour comparer leur orientation de valeurs par rapport aux moyennes nationales.
2. Alignement des opinions (Valeurs) : En utilisant GlobalOpinionQA (dérivé de Pew Global Attitudes), l'étude mesure à quel point les prédictions des modèles correspondent aux distributions de réponses des publics indien et américain sur 94 questions divergentes. Un « Différentiel d'alignement culturel » (CAD) est calculé pour quantifier le biais.
3. Connaissance culturelle (Pratiques) : En utilisant un sous-ensemble de CulturalBench, les modèles répondent à des questions à choix multiples sur les coutumes et l'étiquette pour l'Inde et les États-Unis.
4. Adaptation culturelle (Pratiques) : Avec NormAd, les modèles sont testés sur leur capacité à appliquer des normes culturelles dans des scénarios situés (ex. l'étiquette à table) sous différents niveaux de contexte (Pays, Valeur+Pays, Règle de base).
5. Étude utilisateur (Application en aval) : Une étude impliquant 115 participants indiens consistant à écrire des essais sur des sujets culturellement ancrés (festivals, nourriture, figures publiques) avec l'assistance de l'IA. L'étude a comparé les suggestions d'écriture d'un modèle indic performant (Sarvam-M) par rapport à un modèle mondial (GPT-4o) pour mesurer l'homogénéisation culturelle, l'exotisation et la préservation du style d'écriture.

L'étude a également testé diverses stratégies de prompting (Démographique, Cross-lingue, Traduction en hindi) pour voir si elles pouvaient récupérer l'alignement culturel.

Résultats clés

• Désalignement avec les valeurs locales : À travers toutes les tâches, les modèles indic ne se sont pas mieux alignés sur les normes indiennes que les modèles mondiaux. Dans l'analyse de la Carte culturelle, aucun modèle indic n'est tombé dans le quadrant représentant l'Inde ; dans certains cas, un répondant américain moyen était un proxy plus proche des valeurs indiennes que n'importe quel modèle indic testé.
• Biais d'opinion : Sur GlobalOpinionQA, plusieurs modèles indic ont montré un penchant statistiquement significatif vers l'opinion publique américaine plutôt que l'opinion indienne. En normalisant le degré de désaccord entre les deux populations, il est apparu que ce biais américain était encore plus prononcé.
• Déficits de connaissances : Les modèles indic ont obtenu des résultats nettement moins bons sur les questions de connaissances culturelles indiennes que sur les questions américaines. Le fine-tuning régional a souvent échoué à injecter de nouvelles connaissances culturelles et, dans plusieurs cas (ex. gajendra-7b, sarvam-m-24b), a dégradé les performances sur les questions culturelles indiennes et américaines par rapport à leurs modèles de base mondiaux.
• Échec de l'adaptation : Dans NormAd, les modèles indic ont eu du mal à appliquer les normes sociales indiennes, performant près du hasard dans les contextes de raisonnement implicite, tandis que les modèles mondiaux performaient mieux sur les normes américaines.
• Homogénéisation de l'écriture : Dans l'étude utilisateur, les suggestions du modèle indic (Sarvam-M) ont conduit à des essais qui n'étaient que marginalement plus similaires à l'écriture naturelle indienne que ceux de GPT-4o. Le modèle indic suggérait fréquemment des artefacts occidentalisés (ex. des barbecues pour la fête de l'Indépendance) et des descriptions exotisantes, échouant à préserver les expressions culturelles indiennes authentiques.
• Inefficacité du prompting : Les stratégies de prompting (incluant les indices démographiques et la traduction linguistique) n'ont produit que des gains négligeables en matière d'alignement culturel et n'ont pas pu récupérer le désalignement sous-jacent.

Contributions clés

1. Cadre d'évaluation multidimensionnel : Le document opérationnalise une approche « épais × large », combinant des données d'enquête à l'échelle de la population (WVS, Pew) avec des jeux de données de QA ancrés dans la communauté et une étude utilisateur en aval pour évaluer l'alignement culturel.
2. Preuve empirique sur l'entraînement régional : Il s'agit de la première étude empirique à grande échelle démontrant que le fine-tuning régional sur des langues locales ne conduit pas nécessairement à un alignement culturel. Elle révèle que les modèles régionaux reflètent souvent des visions du monde occidentales malgré leur localisation linguistique.
3. Pont entre le NLP et l'HCI : Le travail positionne l'alignement culturel comme une exigence de conception de premier ordre, arguant que la fluidité linguistique est insuffisante pour une conception équitable des systèmes d'IA dans les contextes non occidentaux.

Signification et revendications
Le document affirme que le paradigme actuel de construction de LLM « souverains » est erroné s'il repose uniquement sur la traduction de données de pré-entraînement occidento-centrées ou sur un fine-tuning sur de fines tranches de données linguistiques locales. Les auteurs soutiennent que le goulot d'étranglement réside dans la rareté des données culturellement ancrées, particulièrement pour le pré-entraînement.

La signification de ce travail réside dans sa remise en question de l'hypothie selon laquelle la localisation linguistique équivaut à la compétence culturelle. Les auteurs appellent à :

• Des corpus natifs, rédigés par la communauté, pour remplacer les données traduites ou occidento-centrées.
• Des protocoles d'évaluation épais × larges qui associent la co-conception communautaire à des données à l'échelle de la population pour détecter la fragilité culturelle avant que les modèles ne soient mis à l'échelle.
• Une gouvernance communautaire des ressources de données pour garantir que les systèmes d'IA reflètent les valeurs et les réalités vécues locales plutôt que d'imposer un regard occidental.

En fin de compte, le document conclut que sans traiter le déséquilibre des données et sans repenser les objectifs d'entraînement, les modèles régionaux risquent de perpétuer l'hégémonie culturelle sous couvert de localisation.