💬 NLP

ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation

Le document présente ADAGE, un pipeline agnostique de la langue qui crée des bancs d'essai de raisonnement analogique sans traduction en arabe, en amharique et en japonais, révélant un écart de performance significatif où les modèles experts en anglais éprouvent des difficultés avec le raisonnement ancré culturellement dans ces langues natives.

Auteurs originaux : Ahmed Haj Ahmed, Alvin Grissom II

Publié 2026-07-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Haj Ahmed, Alvin Grissom II

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre les blagues humaines. Vous pourriez penser que la meilleure façon est de prendre un livre de blagues célèbres écrites en anglais, de les traduire en espagnol, en japonais ou en arabe, et de demander au robot de les expliquer. Mais voici le piège : une blague repose souvent sur la culture spécifique dont elle est née. Si vous traduisez une blague concernant une fête américaine spécifique dans une langue où cette fête n'existe pas, la blague perd sa magie. Le robot pourrait deviner la réponse parce qu'elle semble drôle, et non parce qu'il comprend réellement le sens. C'est le problème auquel les scientifiques sont confrontés lorsqu'ils testent l'IA « multilingue ». Ils se contentent souvent de traduire des tests anglais dans d'autres langues, ce qui crée l'illusion fallacieuse que l'IA est intelligente dans ces langues.

Pour tester véritablement si une IA peut penser comme un humain, nous devons voir si elle peut comprendre les règles implicites et profondes d'une culture — comme savoir que « ne pas compter ses poules avant qu'elles ne soient écloses » signifie qu'il ne faut pas être trop confiant tant que quelque chose ne s'est pas réellement produit. Ce type de pensée est appelé raisonnement analogique. C'est la capacité de prendre une idée ancienne et de l'appliquer à une situation totalement nouvelle. Si une IA ne peut faire cela qu'en anglais, mais échoue lorsque la même logique est présentée dans une autre culture, c'est qu'elle n'a pas vraiment appris à réfléchir ; elle a simplement mémorisé des schémas anglais. Cet article pose une question simple mais effrayante : nos modèles d'IA sont-ils réellement intelligents dans d'autres langues, ou sont-ils juste très doués pour la traduction ?

Les chercheurs présentent un nouvel outil appelé ADAGE (Analogical Difficulty-by-design Assessment for Grounded Evaluation). Considérez ADAGE comme un chef étoilé qui ne se contente pas de traduire des recettes d'un livre de cuisine français ; au lieu de cela, il se rend sur les marchés locaux en arabe, en amharique et en japonais pour trouver les ingrédients locaux les plus frais et les plus authentiques (proverbes) et cuisiner de nouveaux plats (scénarios) qui testent si l'IA peut en percevoir la différence de goût.

Voici comment ils ont préparé leur expérience :

Les Ingrédients : Ils ont rassemblé des milliers de proverbes (de courts dictons pleins de sagesse comme « Celui qui ne connaît pas le faucon le fera rôtir ») auprès de locuteurs natifs en arabe, en amharique et en japonais.
La Recette : Au lieu de simplement demander à l'IA d'expliquer le proverbe, ils ont utilisé une astuce ingénieuse. Ils ont regroupé les proverbes par leur « saveur » ou leur thème (comme la « patience » ou la « prudence »). Ensuite, ils ont demandé à une IA d'écrire une histoire moderne pour chaque proverbe.
Le Piège : Pour rendre le test difficile, ils ont créé une question à choix multiples. Ils ont donné une histoire à l'IA et quatre proverbes à choisir. L'un d'eux était la correspondance parfaite. Les trois autres étaient des « distracteurs » :
- L'un provenait du même groupe thématique (un « faux pas » qui semblait correct mais ne l'était pas tout à fait),
- L'un était d'un thème différent mais sonnait de manière similaire (un « quasi-succès »),
- L'un était complètement aléatoire (la mauvaise réponse « facile »).
Le Test de Dégustation : Ils ont soumis ces tests à 14 modèles d'IA différents, allant de modèles minuscules à des modèles massifs, et ont observé leurs performances.

Ce qu'ils ont trouvé

Les résultats ont été un choc, comme découvrir qu'un élève qui a réussi l'examen d'anglais a échoué au test de mathématiques dans une autre langue.

Le « Piège de la Traduction » est Réel : Lorsque les modèles d'IA ont été testés sur des proverbes anglais, ils ont très bien réussi, obtenant des scores d'environ 80 % ou plus. Mais lorsque les chercheurs les ont testés sur les références natives en arabe, en amharique et en japonais, les scores ont chuté. Les meilleurs modèles ont reculé de 12 à 52 points de pourcentage. Par exemple, un modèle qui obtenait 83 % de réussite en anglais pourrait n'obtenir que 70 % en arabe, et à peine 41 % en amharique.
La Réalité des « Ressources Faibles » : Le test en amharique a été le plus difficile. Même les modèles les plus grands et les plus intelligents ont à peine fait mieux qu'un choix au hasard (qui serait de 25 % pour une question à quatre choix). Les modèles d'IA semblaient bloqués par la langue elle-même, incapables de comprendre ne serait-ce que les mots, et encore moins le sens profond.
La Taille n'est pas Tout : Les chercheurs s'attendaient à ce que les modèles plus grands (avec plus de « puissance cérébrale ») réussissent mieux. Bien que les modèles plus grands se soient améliorés sur l'arabe et le japonais, l'amélioration était faible. Sur l'amharique, agrandir le modèle n'a servi à rien. Cela suggère que le simple fait d'ajouter plus de données ou de taille ne résout pas le problème si l'IA ne possède pas un fondement culturel profond sur lequel s'appuyer.
L'Astuce du Distracteur a Fonctionné : La stratégie ingénieuse des « distracteurs » a parfaitement fonctionné. Les modèles d'IA ont commis le plus d'erreurs sur les réponses de type « quasi-succès » (celles qui sonnaient de manière similaire mais étaient fausses), prouvant qu'ils essayaient réellement de raisonner et qu'ils ne faisaient pas que deviner au hasard.

La Grande Conclusion

L'article conclut que la manière actuelle de tester l'IA — en se contentant de traduire des tests anglais dans d'autres langues — nous ment. Cela donne l'impression que l'IA est plus intelligente dans d'autres langues qu'elle ne l'est réellement. Les modèles d'IA sont excellents dans le raisonnement culturel anglais, mais ils peinent à appliquer cette même logique aux cultures riches et complexes de l'arabe, de l'amharique et du japonais.

Les auteurs suggèrent que tant que nous ne construirons pas des tests qui sont natifs de chaque culture, utilisant des proverbes et des histoires locales, nous ne saurons pas si notre IA est véritablement multilingue ou simplement un très bon traducteur. Ils ont rendu publique leur nouvelle « cuisine » (le pipeline ADAGE) et leurs « recettes » (les benchmarks) afin que d'autres scientifiques puissent concocter leurs propres tests pour n'importe quelle langue au monde, garantissant que les futures IA puissent réellement nous comprendre, peu importe d'où nous venons.

Résumé Technique : ADAGE – Un pipeline agnostique à la langue pour l'évaluation du raisonnement analogique

1. Énoncé du problème

L'évaluation actuelle du raisonnement multilingue repose de manière écrasante sur la traduction automatique de benchmarks centrés sur l'anglais. Les auteurs soutiennent que cette pratique crée une « illusion de compétence multilingue » en raison de deux failles fondamentales :

Artéfacts linguistiques : La traduction automatique introduit des formulations non naturelles (« translationese ») et des erreurs subtiles qui faussent la mesure, faisant en sorte que les échecs des modèles reflètent une mauvaise traduction plutôt qu'un mauvais raisonnement.
Déplacement culturel : La traduction préserve les hypothèses de la culture source tout en écartant les schémas de raisonnement de la culture cible. Le raisonnement analogique abstrait, particulièrement concernant les proverbes, repose sur des métaphores et des normes culturellement partagées qui ne sont pas transférables. Par conséquent, les benchmarks basés sur la traduction testent la capacité d'un modèle à appliquer des analogies centrées sur l'anglais dans une autre langue, plutôt que sa capacité à raisonner au sein d'un cadre culturel différent.

Les benchmarks existants rédigés par des locuteurs natifs (ex. MultiNRC, Jawaher, ProverbEval) comblent cette lacune mais souffrent d'être construits ad hoc pour des langues uniques sans un pipeline reproductible, et la plupart testent l'explication de proverbes (récupération de connaissances) plutôt que l'application analogique (cartographie d'un sens abstrait vers de nouveaux scénarios).

2. Méthodologie : Le pipeline ADAGE

Les auteurs introduisent ADAGE (Analogical Difficulty-by-design Assessment for Grounded Evaluation), un pipeline semi-synthétique, agnostique à la langue, conçu pour construire des benchmarks de raisonnement culturellement ancrés sans recours à la traduction. Le pipeline opère en sept étapes :

Acquisition des données : Normalisation et déduplication d'un corpus de proverbes natifs.
Clustering thématique :
- Passage 1 : Un LLM assigne des étiquettes de thèmes concises en anglais à chaque proverbe en se basant sur les explications natives. L'anglais est utilisé comme cible intermédiaire pour tirer parti de meilleures capacités de suivi d'instructions.
- Passage 2 : Les étiquettes de thèmes sont intégrées via un sentence-transformer multilingue et regroupées par clustering agglomératif (lien de Ward). Le nombre de clusters ( $k$ ) est optimisé pour maximiser le coefficient de silhouette pondéré.
- Passage 3 : Les clusters se voient assigner des noms descriptifs.
- Raisonnement de conception : Le clustering sur des étiquettes thématiques abstraites plutôt que sur le texte brut évite les similitudes lexicales de surface, garantissant des groupes thématiquement cohérents.
Génération de scénarios : Un LLM (GPT-OSS-120B) génère 10 scénarios candidats par proverbe. Ce sont de courts récits modernes dans la langue cible illustrant le sens du proverbe via une analogie à travers 10 domaines sociaux rotatifs (ex. milieu professionnel, famille, politique).
Filtrage automatisé : Les scénarios sont filtrés selon l'identification de la langue, la longueur, le chevauchement de mots-clés (pour prévenir la fuite lexicale) et la similitude d'embedding avec le proverbe.
Audit de qualité humain : Une vérification de cohérence légère par des locuteurs natifs confirme la cohérence et l'adéquation culturelle.
Sélection des distracteurs et assemblage de QCM : Une stratégie de distracteur novatrice construit un gradient de difficulté contrôlé pour chaque question à choix multiples (QCM) :
- Distracteur du même cluster : Un proverbe issu du même cluster thématique (piège de confusion thématique).
- Correspondance proche inter-thématique : Le proverbe le plus similaire en termes d'embedding provenant d'un cluster différent (pièges pour les modèles s'appuyant sur la similitude de surface).
- Distracteur de cluster aléatoire : Un proverbe issu d'un cluster distant (plausibilité de base).
- Les candidats présentant une haute similitude d'embedding (>0,85) sont exclus pour éviter les quasi-synonymes.
Validation multi-agents : Trois juges LLM à poids ouverts évaluent les items sur la fidélité, le naturel et la plausibilité des distracteurs en utilisant une échelle de Likert de 1 à 5. Les items sont signalés si les scores tombent sous certains seuils ou si l'accord entre les juges est faible.
Curation du dataset : Les divisions finales train/dev/test sont créées au niveau du proverbe pour empêcher la mémorisation des associations proverbe-thème.

3. Contributions clés

Pipeline ADAGE : Une méthodologie reproductible et agnostique à la langue pour construire des benchmarks de raisonnement culturellement ancrés, validée sur trois langues typologiquement diverses.
Trois nouveaux benchmarks : La publication de CAPR-ar (Arabe), CAPR-am (Amharique) et CAPR-ja (Japonais). Ce sont les premiers benchmarks ciblant le raisonnement analogique abstrait des proverbes dans ces langues spécifiques.
Preuve empirique d'un écart de raisonnement culturel : Une démonstration que l'évaluation basée sur la traduction surestime considérablement les capacités de raisonnement multilingue.

4. Résultats expérimentaux

Le pipeline a été validé par la construction de benchmarks pour l'arabe, l'amharique et le japonais, et l'évaluation de 14 modèles à poids ouverts (allant de 270M à 35B de paramètres) dans des conditions zero-shot.

Chute de performance : Les modèles performants sur le raisonnement de proverbes en anglais (benchmark ePiC) ont rencontré des difficultés substantielles sur les benchmarks natifs. La précision a chuté de 12 à 52 points de pourcentage par rapport à l'anglais.
- Arabe : Le meilleur modèle (Gemma 3 27B) a atteint 70,1 % (contre 83,0 % en anglais).
- Amharique : Le meilleur modèle n'a atteint que 41,3 % (contre 25 % de probabilité par hasard), indiquant un véritable échec lié aux faibles ressources.
- Japonais : Le meilleur modèle a atteint 93,0 %, bien que les auteurs notent que cela peut être influencé par une couverture de pré-entraînement élevée et des cognats translinguistiques.
Comportement de mise à l'échelle (Scaling) :
- Arabe : A montré des gains de mise à l'échelle log-linéaires avec la taille du modèle.
- Japonais : A montré des rendements décroissants ; la mise à l'échelle apporte des gains mais plafonne.
- Amharique : Les effets de mise à l'échelle ont largement disparu ; les modèles se regroupent près du hasard quelle que soit leur taille, suggérant un goulot d'étranglement de la compétence linguistique plutôt qu'un problème de capacité de raisonnement.
Analyse des distracteurs : La stratégie de distracteur a fonctionné comme prévu. Sur l'arabe et le japonais, les distracteurs de type « correspondance proche inter-thématique » ont attiré les taux d'erreur les plus élevés, créant un gradient de difficulté clair. Sur l'amharique, la distribution était plate, cohérente avec un choix aléatoire.
Biais de position : Les petits modèles (ex. Gemma 3 270M) ont présenté un biais de position sévère (sélectionnant l'option D dans 89,6 % des cas), tandis que les modèles plus grands (>4B) montraient des distributions uniformes.

5. Signification et affirmations

L'article affirme qu'ADAGE fournit la première méthodologie permettant aux communautés de locuteurs natifs de construire des benchmarks de raisonnement rigoureux et à difficulté contrôlée sans infrastructure de traduction.

La signification primaire de ce travail est la révélation d'un écart de raisonnement culturel constant. Les auteurs soutiennent que la performance « multilingue » n'est pas une capacité unique, mais une composition de compétences spécifiques à chaque langue qui varient de plusieurs ordres de grandeur. Plus précisément :

L'évaluation basée sur la traduction occulte le fait que les modèles manquent souvent de la compétence linguistique pour s'engager dans des tâches culturellement ancrées dans des contextes de faibles ressources (comme le montrent les résultats pour l'amharique).
Même dans des contextes de hautes ressources (arabe), les modèles échouent à transférer les capacités de raisonnement de l'anglais vers les contextes natifs, suggérant que les modèles actuels s'appuient sur des heuristiques centrées sur l'anglais plutôt que sur un raisonnement robuste et indépendant de la culture.
Cet écart ne se résorbe pas par la seule augmentation des paramètres ; la composition des données d'entraînement (ex. l'entraînement multilingue ciblé d'Aya Expanse) semble aussi cruciale que la taille du modèle.

Les auteurs concluent que l'évaluation par traduction surestime substantiellement les capacités de raisonnement multilingue et que des benchmarks natifs, sans traduction, sont nécessaires pour évaluer avec précision la capacité d'un modèle à raisonner au sein de différents schémas culturels.