💻 computer science

Gradual Code-Switching as Inference-Time Cross-Lingual Representational Alignment for LLMs

Cet article introduit le Code-Switching In-Context Learning (CSICL), un mécanisme d'inférence qui passe progressivement des langues cibles à l'anglais pour aligner les entrées non anglaises avec des espaces de raisonnement centrés sur l'anglais, améliorant ainsi de manière significative les performances des LLM multilingues à travers diverses langues et contextes à faibles ressources.

Auteurs originaux : Haneul Yoo, Jiho Jin, Kyunghyun Cho, Alice Oh

Publié 2026-08-14

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haneul Yoo, Jiho Jin, Kyunghyun Cho, Alice Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot brillant et multilingue comment résoudre un casse-tête complexe. Vous lui parlez en espagnol, en français ou en swahili, en attendant qu'il réfléchisse et réponde dans cette même langue. Mais voici le piège : au plus profond de son « cerveau », ce robot a une habitude secrète. Peu importe la langue que vous utilisez, il traduit secrètement tout en anglais d'abord, réfléchit en anglais, puis traduit la réponse vers la langue d'origine. Cela fonctionne très bien si le robot maîtrise parfaitement l'anglais, mais si la langue que vous utilisez est rare ou complexe, cette étape de traduction secrète peut devenir désordonnée. Le robot pourrait s'embrouiller, perdre le sens ou donner une mauvaise réponse parce que le « pont » entre votre langue et son cerveau anglais est fragile. C'est un problème majeur pour rendre l'IA utile pour tout le monde, partout, et pas seulement pour les anglophones. Les scientifiques appellent cela le « désalignement translinguistique » (cross-lingual misalignment). Pour corriger cela, les chercheurs ont tenté de montrer au robot des exemples dans différentes langues, mais souvent, ces exemples sont des sauts brusques — comme demander au robot de passer soudainement de l'espagnol à l'anglais sans aucun avertissement. C'est comme demander à quelqu'un de sauter d'un plongeoir sans échelle ; il pourrait paniquer et rater l'eau.

Cet article introduit une nouvelle astuce ingénieuse appelée Apprentissage en Contexte par Changement de Code Graduel (CSICL - Gradual Code-Switching In-Context Learning). Au lieu de forcer le robot à changer de langue, les chercheurs lui apprennent à traverser un pont, étape par étape. Ils montrent au robot une série d'exemples où la langue fond lentement de la langue cible (comme le coréen) vers l'anglais. Imaginez une phrase qui commence à 100 % en coréen, devient ensuite 75 % coréen et 25 % anglais, puis 50/50, puis 25 % coréen, et enfin 100 % anglais. En observant cette transition fluide, le robot apprend à aligner sa « pensée anglaise » interne avec l'entrée non anglaise sans subir de choc. Les chercheurs ont testé cette méthode sur quatre modèles de langage de grande taille à travers dix langues et six types de tâches différents, allant de la culture générale à la résolution de problèmes mathématiques. Ils ont constaté que cette approche douce et progressive aidait systématiquement les robots à mieux performer, particulièrement dans les langues qu'ils connaissaient peu. En fait, pour les langues à faibles ressources (celles que les robots connaissent le moins), cette méthode a boosté les performances de 14,7 points de pourcentage de manière massive. L'article suggère qu'en étayant le processus de raisonnement avec ces transitions graduelles, nous pouvons aider les modèles d'IA à devenir plus équitables et efficaces pour les locuteurs de toutes les langues, transformant un pont fragile en une autoroute solide.

Résumé Technique : Le Changement de Code Graduel comme Alignement des Représentations Translingues au Moment de l'Inférence pour les LLM

Énoncé du Problème

Malgré des progrès significatifs dans les capacités multilingues, les Grands Modèles de Langage (LLM) présentent des performances disparates selon les langues. Cette disparité provient d'une dépendance excessive à des représsentations latentes centrées sur l'anglais. Des études récentes indiquent que les LLM traduisent souvent en interne les entrées non anglaises en anglais avant de raisonner, créant ainsi une « barrière de traduction ». Si cette traduction interne initiale échoue, la qualité de la sortie finale se dégrade fortement.

Les approches existantes pour atténuer ce phénomène, telles que l'Apprentissage en Contexte Translingue (X-ICL), reposent généralement sur un pivot abrupt et en une seule étape. Par exemple, un modèle peut être incité par des démonstrations en anglais pour résoudre une tâche dans une langue cible, ou une requête peut être entièrement traduite en anglais avant le raisonnement. Ces méthodes transfèrent souvent des motifs de tâches superficiels (par exemple, les formats de sortie) sans combler efficacement le fossé de représentation sous-jacent entre la langue cible et l'espace latent de l'anglais du modèle. En conséquence, les performances dans les langues à faibles ressources et les langues non vues restent sous-optimales.

Méthodologie : Apprentissage en Contexte par Changement de Code (CSICL)

Les auteurs proposent le CSICL, un mécanisme d'inférence sans entraînement, conçu pour aligner les représentations translingues en structurant explicitement la trajectoire de raisonnement. Au lieu d'une transition abrupte, le CSICL emploie une stratégie de changement de code graduel qui passe de la langue cible vers l'anglais.

Mécanisme Central

Le CSICL opère via deux composantes principales :

Instruction de Traduction Graduelle : Le modèle est instruit de traiter une entrée non anglaise en la traduisant progressivement en anglais, en réfléchissant en anglais, puis en générant la réponse finale dans la langue cible.
Démonstrations de Changement de Code Graduel : Les exemples de type few-shot fournis au modèle ne passent pas brusquement d'une langue à l'autre. Au contraire, ils suivent une progression par étapes :
- 0 % (Langue Cible) : La requête est entièrement dans la langue cible.
- 25 % - 75 % (Étapes Intermédiaires) : La requête incorpore progressivement des jetons (tokens) anglais tout en conservant la structure grammaticale de la langue cible (modèle de cadre de langue matrice).
- 100 % (Anglais) : La requête est entièrement traduite en anglais.

Ce changement progressif agit comme un « pont linguistique », poussant le LLM à aligner dynamiquement les entrées non anglaises avec son espace de raisonnement centré sur l'anglais avant que l'étape de raisonnement proprement dite ne commence.

Détails de Mise en Œuvre

Construction des Démonstrations : Pour chaque langue cible, les auteurs génèrent des séquences de changement de code graduel. Bien que l'implémentation par défaut utilise GPT-5 pour la construction des démonstrations, le CSICL n'est pas fondamentalement restreint par un oracle externe. La méthode supporte l'auto-génération (en utilisant le même modèle) ou la génération basée sur des règles. La méthode n'est pas limitée à l'utilisation de GPT-5 comme modèle d'inférence ; l'article évalue le CSICL sur quatre LLM multilingues distincts : Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, et Gemini 2.5 Flash.
Directionnalité : La méthode effectue spécifiquement la transition de la Langue Cible $\to$ Anglais. Les études d'ablation suggèrent que cette direction est supérieure à l'inverse (Anglais $\to$ Langue Cible), car elle aligne l'entrée avec l'espace latent du modèle plutôt que de s'en écarter.
Granularité : Les auteurs ont testé divers nombres d'étapes (par exemple, des transitions à 3, 5 ou 7 étapes) et ont constaté qu'une transition linéaire en 5 étapes offre généralement le meilleur équilibre entre performance et efficacité des jetons.

Contributions Clés

Proposition du CSICL : Un nouveau mécanisme d'inférence qui comble le fossé entre les langues cibles et les représentations anglaises grâce à un changement de code structuré et graduel, évitant les pièges des pivots abrupts.
Preuve Empirique Systématique : Évaluation complète sur 4 LLM multilingues (Qwen3, DeepSeek, Grok, Gemini), 6 jeux de données (incluant Global MMLU, MedExpQA, PolyMath) et 10 langues (couvrant des contextes à hautes, moyennes et faibles ressources).
Visualisation de l'Espace Latent : L'article fournit une preuve visuelle (via l'ACP des états cachés) montrant que le CSICL déplace systématiquement les représentations des entrées non anglaises plus près de l'ancre anglaise dans l'espace latent, validant ainsi l'hypothèse d'alignement.
Analyse des Facteurs de Conception : Les auteurs analysent des facteurs critiques tels que la directionnalité, la granularité et la source de génération des démonstrations, démontant que le CSICL reste efficace même avec des démonstrations auto-générées ou basées sur des règles.

Résultats Expérimentaux

Le CSICL surpasse systématiquement les bases standard de X-ICL (incluant les approches monolingues, parallèles et de prompting par traduction) dans tous les contextes évalués.

Gains de Performance :
- Langues Cibles : Gain moyen de 6,0 points de pourcentage (pp) par rapport aux bases monolingues.
- Langues Non Vues : Gain moyen de 4,8 pp.
- Contextes à Faibles Ressources : Les améliorations sont les plus marquées dans les scénarios à faibles ressources, avec des gains de 14,7 pp dans les langues cibles et de 5,3 pp dans les langues non vues.
Spécificité des Tâches :
- Traduction : Le CSICL a obtenu les plus grands gains (+6,8 pp dans les langues cibles), car la transition graduelle structure directement le processus de traduction latente.
- Raisonnement : Des améliorations significatives ont été observées dans les tâches orientées vers le raisonnement (+5,4 pp), suggérant que « penser en anglais » via un alignement graduel atténue l'interférence représentationnelle.
- Connaissance : Des gains modestes mais constants ont été trouvés dans les tâches de connaissance culturelle et de biais sociaux.
Efficacité : Bien que la configuration complète du CSICL (5 exemples, 5 étapes) utilise plus de jetons que les bases plus simples, l'overhead est gérable dans les fenêtres de contexte standards. Notamment, les versions 0-shot et 1-shot du CSICL surpassent les bases solides tout en utilisant moins de jetons que de nombreuses alternatives X-ICL existantes.

Signification et Revendications

L'article positionne le CSICL comme une approche robuste et efficace pour réduire le désalignement translingue lors de l'inférence, sans nécessifier de réentraînement ou de réglage fin (fine-tuning) du modèle.

Déploiement Équitable : En améliorant les performances dans les langues à faibles ressources et les langues non vues, le CSICL rapproche les LLM vers des systèmes multilingues plus équitables, répondant à la limitation actuelle où la compétence est fortement biaisée en faveur de l'anglais.
Aperçu du Mécanisme : Ce travail établit que le changement de code graduel n'est pas seulement un choix stylistique, mais un mécanisme fonctionnel qui contrôle la trajectoire de raisonnement, permettant aux modèles de tirer parti de leurs capacités de raisonnement en anglais les plus fortes tout en maintenant la fidélité à la langue cible.
Utilité Pratique : La méthode est présentée comme une solution légère et ajustable offrant un compromis avantageux entre efficacité et précision, la rendant adaptée tant aux contextes à budget contraint (via les variantes 0/1-shot) qu'aux exigences de haute précision.

Les auteurs concluent que le CSICL représente un nouveau prisme pour l'alignement translingue, démontrant que structurer explicitement la transition de la langue cible vers l'anglais peut considérablement améliorer les capacités multilingues des LLM existants.