Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

Imaginez un monde où votre personnage de jeu vidéo préféré ne pourrait parler qu'anglais, peu importe la langue que vous utilisez. Si vous lui posiez une question en espagnol, il comprendrait les mots, mais lorsqu'il commencerait à expliquer sa réponse, il reviendrait soudainement à l'anglais pour les parties de réflexion complexes. Ce n'est pas un simple bug ; c'est un obstacle majeur dans le monde de l'intelligence artificielle, plus précisément pour les « Grands Modèles de Langage » (LLM). Ce sont ces cerveaux informatiques super intelligents capables d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter avec nous. Pour devenir vraiment doués pour résoudre des énigmes difficiles, ils utilisent une astuce appelée « Chaîne de Pensée » (Chain-of-Thought), qui consiste à se chuchoter leur propre processus de réflexion étape par étape avant de donner la réponse finale. Le problème est que, pour de nombreuses langues à travers le monde — en particulier celles disposant de moins de ressources numériques comme celles d'Asie du Sud-Est — ces cerveaux d'IA ont tendance à s'effondrer et à chuchoter leurs pensées en anglais, même si vous leur demandez de réfléchir en thaï, en vietnamien ou en indonésien. Cela donne l'impression que l'IA est moins un ami local utile qu'un tuteur lointain qui ne parle qu'anglais, ce qui est un problème majeur pour l'éducation et l'équité.

C'est ici qu'intervient une nouvelle étude des chercheurs Sean Gip Lim, William Chandra Tjhi et Hai Leong Chieu, qui ont décidé de construire un pont pour ces cerveaux d'IA. Ils ont créé une méthode d'entraînement ingénieuse appelée OSCD (Onramp-Sequence Cross-Distillation). Voyez cela comme un entraîneur bilingue qui ne se contente pas de traduire la réponse finale, mais qui réécrit réellement les « notes de réflexion » internes de l'IA dans la langue locale tout en préservant la solution correcte. Habituellement, lorsque vous essayez d'apprendre une nouvelle langue à une IA, elle s'embrouille et oublie comment être intelligente dans sa langue d'origine (un problème appelé « oubli catastrophique »). Mais cette nouvelle méthode utilise un « agent traducteur » spécial pour échanger les étapes de réflexion et une « colle sémantique » pour s'assurer que le cerveau de l'IA comprenne toujours la logique, simplement dans une autre langue.

Les chercheurs ont testé cela sur certains des puzzles mathématiques les plus difficiles disponibles, comme les compétitions AIME25 et HMMT25, qui sont comme les Jeux Olympiques pour les problèmes de mathématiques. Ils ont pris de puissants modèles d'IA qui étaient excellents en mathématiques anglaises mais médiocs pour réfléchir dans les langues d'Asie du Sud-Est, et leur ont donné une session d'entraînement courte et intense utilisant seulement 70 000 exemples (ce qui est minuscule comparé aux millions habituellement nécessaires). Les résultats ont été impressionnants : les modèles ne se sont pas contentés de mieux répondre aux questions ; ils ont réellement commencé à penser dans les langues locales. En fait, les modèles ont amélioré leur capacité à résoudre ces problèmes mathématiques tout en restant dans la langue cible jusqu'à 3,2 fois. Plus excitant encore, ils ont réussi à faire cela sans perdre leur intelligence originale en anglais. L'étude suggère qu'en utilisant cet « agent traducteur » et la « colle sémantique », nous pouvons enfin donner à l'IA la capacité de raisonner naturellement dans les langues qui ont été laissées pour compte, rendant la technologie de pointe accessible à tous, et pas seulement aux anglophones.