💬 NLP

Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

Cet article présente un cadre automatisé utilisant les grands modèles de langage pour localiser culturellement les problèmes mathématiques en langues à ressources limitées en y intégrant des entités natives, comblant ainsi le fossé causé par la dépendance aux traductions anglo-centriques et améliorant la robustesse du raisonnement multilingue.

Auteurs originaux : Israel Abebe Azime, Tadesse Destaw Belay, Dietrich Klakow, Philipp Slusallek, Anshuman Chhabra

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Israel Abebe Azime, Tadesse Destaw Belay, Dietrich Klakow, Philipp Slusallek, Anshuman Chhabra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Des Maths "Touristes" dans un Monde Local

Imaginez que vous apprenez à cuisiner avec un livre de recettes traduit de l'anglais. La recette dit : "Prenez 2 livres de pommes et faites-les cuire avec du beurre."

Si vous vivez en France, vous savez qu'il faut acheter des pommes et du beurre. Mais si vous vivez dans un village où l'on ne connaît pas le "livre" (l'unité de poids anglaise) ou où l'on utilise des noix de coco à la place des pommes, la recette devient confuse, même si la logique mathématique (2 + 2 = 4) reste la même.

C'est exactement ce qui arrive aux Intelligences Artificielles (IA) comme ChatGPT lorsqu'elles résolvent des problèmes de mathématiques en langues locales (comme le swahili, le haoussa ou le yorouba).

La situation actuelle : La plupart des tests pour ces IA sont faits en anglais, puis simplement traduits mot à mot dans d'autres langues.
Le hic : Ces traductions gardent les noms anglais (ex: "Mandy", "Benedict") et les devises anglaises (ex: "Dollars"). Pour une IA entraînée sur ces données, c'est comme si elle apprenait à faire du vélo avec des roues carrées : elle peut rouler sur la piste d'entraînement, mais dès qu'elle rencontre une vraie route avec des obstacles locaux, elle tombe.

🛠️ La Solution : Le "Kit de Transformation Culturelle"

Les auteurs de ce papier ont créé un système automatique (un framework) pour réparer ce problème. Ils appellent cela la "localisation culturelle".

Au lieu de simplement traduire le texte, leur système agit comme un chef cuisinier local qui prend la recette anglaise et la réadapte entièrement :

Il repère les éléments étrangers : Il identifie les noms de personnes, les organisations et les monnaies.
Il les remplace intelligemment :
- "Mandy" devient "Camari" (un nom local).
- "Benedict" devient "Julani".
- "Dollars" devient "Shillings" (la monnaie locale).
Il vérifie la qualité : Il s'assure que la phrase a toujours du sens et que la grammaire est parfaite.

C'est comme si vous preniez un film Hollywoodien et que vous le doubliez non seulement en changeant la langue, mais aussi en changeant les décors, les vêtements et les noms des personnages pour qu'ils correspondent à la culture du pays où le film est projeté.

🔍 Ce qu'ils ont découvert (Les Résultats)

En testant leurs nouvelles "recettes" sur différentes IA, ils ont fait trois découvertes majeures :

Les IA sont "aveugles" à la culture : Quand on change les noms et les monnaies pour qu'ils soient locaux, les IA font beaucoup plus d'erreurs, même si le problème mathématique est identique. C'est comme si elles paniquaient parce que les personnages ne sont plus ceux qu'elles connaissent.
La traduction seule ne suffit pas : Les benchmarks (tests) actuels donnent une fausse impression de compétence. Une IA peut sembler brillante en swahili sur un test traduit, mais échouer lamentablement sur un problème réel posé par un locuteur natif.
L'entraînement local fonctionne : Quand ils ont entraîné les IA avec leurs nouvelles données "localisées", les modèles sont devenus beaucoup plus robustes. Ils ont appris à résoudre les problèmes non pas en mémorisant des mots anglais cachés, mais en comprenant la logique derrière les mots locaux.

🚀 Pourquoi c'est important ?

Imaginez que vous envoyez un robot dans un village africain pour aider les enfants à faire leurs devoirs.

Sans cette recherche : Le robot leur donnerait des problèmes avec des noms américains et des dollars. Les enfants seraient perdus, et le robot semblerait stupide.
Avec cette recherche : Le robot utilise des noms locaux et des monnaies locales. Il devient un véritable assistant utile, capable de comprendre le monde réel des enfants.

En résumé : Ce papier nous dit que pour que l'IA soit vraiment intelligente, elle ne doit pas seulement parler la langue, elle doit aussi vivre la culture. C'est un pas de géant pour rendre l'intelligence artificielle plus juste et plus utile pour tout le monde, pas seulement pour les anglophones.

1. Problématique

Les modèles de langage (LLM) ont démontré des capacités remarquables pour résoudre des problèmes mathématiques formulés en langage naturel. Cependant, leur performance dans les langues à ressources limitées (LRL) et dans des contextes multilingues reste en retrait par rapport à l'anglais.

Le problème central identifié par les auteurs est le biais anglo-centrique des benchmarks existants. La majorité des jeux de données multilingues (comme les traductions de GSM8K ou MGSM) sont créés par traduction automatique ou humaine, mais conservent les entités originales en anglais (noms de personnes, organisations, devises).

Conséquence : Les modèles sont évalués sur des scénarios culturellement déconnectés de la réalité des locuteurs natifs.
Hypothèse : Les LLMs souffrent d'un manque de robustesse lorsqu'ils sont confrontés à des entités culturellement spécifiques (noms locaux, devises locales), même si la structure mathématique du problème reste identique.
Obstacle : La localisation manuelle à grande échelle est trop coûteuse et lente, tandis que les outils de localisation automatisés actuels sont limités.

2. Méthodologie

Les auteurs proposent un cadre de travail automatisé (Auto-Localizer) pour transformer des benchmarks traduits en versions culturellement ancrées, sans nécessiter d'annotation humaine massive.

Pipeline de Localisation Automatisée

Le processus se déroule en plusieurs étapes clés (illustrées dans le Tableau 1 de l'article) :

Classification des Entités : Utilisation d'un LLM (avec format de sortie structuré) pour extraire les noms propres (personnes, organisations) et les devises du texte source anglais. Les modèles LLM sont préférés aux méthodes NER traditionnelles pour leur robustesse face aux variations orthographiques.
Base de Données Multilingue : Création collaborative de dictionnaires d'entités locales (noms unisexes pour éviter les biais de genre, noms d'organisations, symboles monétaires) pour 18 langues africaines.
Création du Dictionnaire de Remplacement : Mapping des entités anglaises vers leurs équivalents locaux.
Localisation Automatique (Auto-Localization) :
- Le système prend trois entrées : la phrase originale en anglais ( $x_{en}$ ), sa traduction directe ( $x_{trans}$ ), et la version avec entités remplacées ( $x_{ent}$ ).
- Un LLM (Gemini) est utilisé dans une configuration one-shot pour réécrire la traduction directe en intégrant les entités locales tout en préservant la fluidité et la structure grammaticale de la langue cible.
Contrôle de Qualité : Des vérifications automatiques (longueur, similarité textuelle via difflib, absence d'entités non remplacées) sont appliquées. Si la qualité est insuffisante, le système revert vers la traduction directe.

Données et Expérimentations

Données : Utilisation de GSM8K (anglais) pour l'entraînement et AfriMGSM (18 langues africaines) pour l'évaluation.
Modèles Évalués : Plusieurs LLMs open-source (Gemma, LLaMA, Mistral, Aya) et fermés (GPT-4o-mini).
Métrique : Numeric Match (NM), qui compare la valeur numérique prédite à la réponse ground-truth, en ignorant le formatage.
Protocole : Comparaison des performances sur :
1. Traductions directes (entités anglaises).
2. Versions avec entités anglaises remplacées mais texte non localisé ( $x_{ent}$ ).
3. Versions entièrement localisées culturellement ( $\hat{x}_{loc}$ ).
4. Fine-tuning des modèles avec les données localisées.

3. Contributions Clés

Pipeline de Localisation Automatisée : Développement d'un système scalable capable de générer des variantes culturellement adaptées de problèmes mathématiques pour 18 langues à ressources limitées, réduisant la dépendance à l'annotation humaine.
Analyse des Disparités de Performance : Démonstration empirique que les benchmarks traduits masquent les véritables capacités des modèles. L'introduction d'entités locales révèle des chutes de performance significatives (jusqu'à 9% pour GPT-4o-mini), prouvant que les modèles sont sur-optimisés pour des entités anglophones.
Amélioration par Fine-Tuning : Preuve que le fine-tuning sur des données localisées améliore la robustesse et la généralisation des modèles, leur permettant de mieux gérer les variations culturelles sans sacrifier la précision mathématique.

4. Résultats Principaux

Impact des Entités Culturelles (RQ2) : Les modèles performants sur les traductions directes échouent souvent lorsque les noms et devises sont remplacés par des équivalents locaux. Par exemple, sur les benchmarks traduits, les modèles obtiennent de bons scores, mais ces scores chutent drastiquement sur les versions localisées, indiquant une fragilité face aux contextes réels.
Efficacité du Pipeline (RQ1) : La méthode de localisation automatique proposée surpasse la simple "prompting" directe (où l'on demande au modèle de traduire en localisant). L'approche par étapes (traduction + remplacement d'entités + réécriture) garantit une meilleure fidélité culturelle et grammaticale.
Robustesse après Entraînement (RQ3) :
- Le fine-tuning sur les données localisées ( $\hat{x}_{loc}$ ) améliore significativement la robustesse des modèles (LLaMA-3-8B et Gemma-2-9b).
- L'ajout de données localisées aux jeux de données traduits permet de combler l'écart de performance entre les scénarios anglophones et locaux.
- Les modèles entraînés sur un mélange de données (traduites + localisées) montrent la meilleure généralisation.

5. Signification et Conclusion

Cet article met en lumière un problème critique souvent négligé : la mathématique n'est pas culturellement neutre. Les benchmarks actuels, basés sur la traduction, évaluent la capacité des modèles à résoudre des problèmes dans un contexte occidental, plutôt que leur capacité à raisonner dans des contextes locaux réels.

Implications :

Évaluation : Il est impératif d'évaluer les LLMs sur des données culturellement ancrées pour obtenir une mesure réaliste de leurs capacités en langues à ressources limitées.
Développement : La localisation automatisée est une voie viable et nécessaire pour créer des jeux de données d'entraînement de haute qualité à grande échelle, là où l'annotation humaine est impossible.
Futur : Les auteurs appellent à la création de problèmes mathématiques ancrés dans les activités quotidiennes des communautés cibles, au-delà de la simple substitution de noms, pour véritablement améliorer l'inclusivité et la robustesse des IA.

En résumé, ce travail propose une solution technique pour "décentrer" les benchmarks mathématiques, permettant ainsi de construire des modèles d'IA plus justes, robustes et adaptés aux réalités culturelles du monde entier.