Résumé technique : L'entonnoir culturel : On ne peut aligner ce qui n'est pas dans les données

Énoncé du problème

Les approches actuelles de l'alignement culturel dans les modèles de langage étendus (LLM) traitent principalement la culture comme un problème d'inférence, s'appuyant sur des stratégies de prompting, l'ajustement d'alignement (alignment tuning) ou le benchmarking pour susciter des comportements culturellement situés. Ces méthodes reposent sur l'hypothèse que les modèles possèdent déjà suffisamment de connaissances culturelles dans leurs paramètres, nécessitant simplement les bons mécanismes d'« élicitation ».

Les auteurs soutiennent que cette hypothèse est erronée. Ils avancent que les pipelines de LLM modernes souffrent d'un « entonnoir culturel », une compression systématique des signaux culturels lors des étapes de post-entraînement. Bien que les corpus de pré-entraînement contiennent des données linguistiques diverses, les procédures de post-entraînement (spécifiquement le réglage fin supervisé, l'alignement et le raisonnement) privilégient de plus en plus les domaines techniques tels que les mathématiques, le code et la logique. Par conséquent, ces étapes homogénéisent le comportement des modèles vers les normes culturelles dominantes (souvent occidentales) et réduisent la densité de l'ancrage culturel explicite. De plus, les auteurs notent que la multilinguisme ne garantit pas à lui seul la diversité culturelle ; les données à l'échelle du web restent disproportionnellement représentatives des populations occidentales et anglophones, et l'ajout de langues ne parvient souvent pas à augmenter la proportion de contenus ancrés culturellement si les sources ne sont pas diversifiées.

Méthodologie

Pour quantifier cet « entonnoir culturel », les auteurs ont développé un cadre de marquage multidimensionnel appliqué à 5,6 millions de points de données issus de 10 ensembles de données diversifiés couvrant l'ensemble du cycle de vie de l'entraînement des LLM (pré-entraînement, ajustement fin d'instruction, alignement, raisonnement et conversations réelles d'utilisateurs).

1. Sélection et marquage des jeux de données

L'étude a analysé des jeux de données incluant CulturaX (pré-entraînement), Dolci Instruct SFT, UltraFeedback (alignement), OpenThoughts (raisonnement), le jeu de données Aya, PRISM et ShareLM. Les auteurs ont utilisé un pipeline de marquage automatique via le modèle Command-A, validé par rapport à des annotations humaines.

La taxonomie de marquage couvre cinq dimensions :

• Dimension culturelle : Basée sur AlKhamissi et al. (2026), classant la culture en Connaissance (faits, traditions), Dynamique (interactions sociales, normes), Préférence (valeurs, opinions), Biais (stéréotypes), Culture générale (entités, contextes de traduction) ou Sans culture.
• Domaine : ex. Humanités, Sciences, Code, Mathématiques.
• Intention de tâche : ex. Écriture créative, Traduction, Raisonnement, Codage.
• Géolocalisation : Le contexte géographique impliqué par le contenu.
• Langue : Détectée via FastText.

2. Évaluation expérimentale

Pour tester si les signaux culturels explicites dans les données d'entraînement améliorent les capacités en aval, les auteurs ont mené des expériences de réglage fin contrôlées sur le modèle multilingue Tiny Aya Global (3,35 milliards de paramètres) en utilisant le jeu de données Dolci Instruct SFT (traduit en 66 langues, appelé MDolci).

Ils ont comparé trois stratégies :

1. SFT Culturel (Cultural SFT) : Réglage fin exclusivement sur le sous-ensemble de données marquées comme « culturelles » (en filtrant les données non culturelles).
2. Réglage fin augmenté par marqueurs (Marker-Augmented Fine-tuning) : Réglage fin sur l'ensemble du jeu de données MDolci mais en ajoutant des marqueurs culturels explicites (balises de métadonnées) aux prompts et aux complétions, inspiré de l'approche du « marquage de trésors » (treasure marking).
3. Baseline : Réglage fin standard sans filtrage culturel ni marqueurs.

Les modèles ont été évalués sur des benchmarks culturels (BLEnD, NormAd, BBQ) et des benchmarks multilingues généraux (MGSM, GlobalMMLU-Lite) pour évaluer les compromis entre l'alignement culturel et la performance des tâches générales.

Principaux résultats

1. L'entonnoir culturel existe

L'analyse révèle une baisse constante du contenu explicitement ancré culturellement à mesure que les modèles passent du pré-entraînement au post-entraînement :

• Pré-entraînement (CulturaX) : Contient le pourcentage le plus élevé de marqueurs culturels (environ 65 %), particulièrement dans les Humanités, les Sciences Sociales et les domaines Généraux.
• Ajustement fin d'instruction (Dolci) : Le contenu culturel chute de manière significative (environ 12 %).
• Alignement (UltraFeedback) & Raisonnement (OpenThoughts) : Le contenu culturel est minimal (environ 17 % et <1 % respectivement).
• Décalage de domaine : Les données de post-entraînement sont dominées par les domaines techniques (Maths, Code, Sciences) qui contiennent intrinsèquement moins d'ancrage culturel explicite que les Humanités ou les Sciences Sociales.

2. Multilinguisme $\neq$ Diversité culturelle

L'augmentation du nombre de langues dans un jeu de données n'augmente pas linéairement la proportion de contenu culturel. Bien que l'ajout de langues augmente la diversité géographique des connaissances culturelles (couvrant plus de géolocalisations uniques), cela ne garantit pas une représentation équilibrée. Les auteurs ont observé une distribution en « longue traîne » où un petit nombre de régions (ex. Inde, USA, Chine) dominent les échantillons culturels, tandis que de nombreuses autres régions restent sous-représentées, même dans les jeux de données multilingues.

3. Intentions de tâches et besoins culturels

Il existe un désalignement entre les tâches portant le plus de culture dans les données d'entraînement et les tâches pour lesquelles les utilisateurs déclarent avoir besoin de conscience culturelle.

• Données d'entraînement : La traduction et la recherche d'informations locales présentent la plus forte présence culturelle.
• Besoins des utilisateurs : Un sondage auprès de 81 participants a indiqué une forte demande de conscience culturelle dans l'écriture créative, la traduction et la rédaction d'e-mails/messages.
• Écart : Les tâches techniques (codage, mathématiques) et les questions médicales présentent la moindre présence culturelle dans l'entraînement, pourtant les auteurs notent que l'ancrage culturel est bénéfique même pour ces domaines.

4. Résultats expérimentaux

• SFT Culturel (Filtrage) : Le simple filtrage des données culturelles pour le réglage fin a donné des résultats décevants. Cela n'a amélioré NormAd que de 0,2 % et a dégradé les performances sur les benchmarks de connaissances et de mathématiques, suggérant que l'isolement des données culturelles entraîne un oubli catastrophique des capacités générales.
• Réglage fin augmenté par marqueurs : Cette approche s'est avérée supérieure. En conservant l'intégralité de la distribution des données et en ajoutant des marqueurs culturels explicites, le modèle a obtenu :
  • Une amélioration de +8,0 % sur NormAd (la culture comme préférence/dynamique).
  • Une amélioration de +6,0 % sur BBQ (la culture comme biais).
  • Le maintien ou l'amélioration des performances sur les benchmarks généraux (MGSM, GlobalMMLU), démontant un meilleur équilibre entre la performance culturelle et la performance de la tâche par rapport à la baseline.

Signification et revendications

L'article soutient que l'alignement culturel ne peut être traité uniquement comme un problème d'inférence car les signaux nécessaires sont souvent absents ou compressés durant le pipeline d'entraînement. Les auteurs affirment que :

1. Les pipelines de données sont des mécanismes d'alignement : La composition des données d'entraînement, particulièrement le basculement vers les domaines techniques lors du post-entraînement, agit comme un moteur primaire de l'homogénéisation culturelle.
2. Le marquage explicite est efficace : Plutôt que de filtrer les données (ce qui risque le surapprentissage et l'oubli), le marquage explicite des dimensions culturelles permet aux modèles d'apprendre et de conserver les propriétés culturelles de la longue traîne sans sacrifier la performance des tâches générales.
3. Une curation intentionnelle est requise : Atteindre une IA mondialement représentative nécessite une curation intentionnelle à travers les langues, les géolocalisations, les domaines et les intentions de tâches, plutôt que de compter uniquement sur l'échelle multilingue.

Les auteurs concluent que la culture dans les LLM n'émergera pas automatiquement de l'échelle ; elle nécessite la conception intentionnelle de pipelines d'entraînement qui rendent les aspects multidimensionnels de la culture visibles, représentés et apprenables. Ils publient leur jeu de données marqué culturellement de 5,6 millions d'échantillons pour faciliter les recherches futures dans cette direction.