Language Steering for Multilingual In-Context Learning

1. Problématique et Contexte

Les grands modèles de langage (LLM) possèdent des capacités multilingues impressionnantes, mais ils souffrent d'un fossé de performance persistant entre l'anglais (langue source à haute ressource) et les langues à faibles ressources. Ce problème est particulièrement aigu dans le cadre de l'apprentissage en contexte (In-Context Learning - ICL).

Dans un scénario d'ICL multilingue typique, les démonstrations (exemples few-shot) sont fournies en anglais, tandis que la requête de test est dans une langue cible. Les modèles ont souvent du mal à transférer leur compréhension de la tâche de l'anglais vers la langue cible, ce qui entraîne une dégradation des performances. La question centrale de l'article est de savoir si ce fossé résulte d'une limitation fondamentale du modèle ou si les connaissances nécessaires sont déjà encodées en interne, mais nécessitent simplement une réorientation des représentations internes vers la langue cible.

L'hypothèse des auteurs est que l'identité linguistique occupe des directions séparables et structurées dans l'espace d'activation du modèle. Si tel est le cas, il devrait être possible de corriger le comportement du modèle en ajoutant un simple décalage (offset) aux états cachés, sans aucun mise à jour des paramètres (fine-tuning).

2. Méthodologie : Les "Language Vectors"

Les auteurs proposent une approche sans entraînement (training-free) appelée Language Vectors (vecteurs linguistiques). La méthode se déroule en trois étapes principales, illustrées dans la Figure 1 de l'article :

A. Extraction et Calcul des Vecteurs (Offline)

1. Données Parallèles : Pour une tâche donnée, on collecte $N$ échantillons composés de paires de questions-réponses parallèles en anglais (source, $L_s$) et en langue cible ($L_t$). Le format imite la structure few-shot (ex: 6 paires Q/R concaténées).
2. Extraction des États Cachés : Pour chaque échantillon, on fait passer les textes source et cible à travers le modèle LLM. On extrait les états cachés à une couche spécifique $t$.
3. Moyenne et Différence : Pour chaque échantillon $i$, on calcule la moyenne des états cachés sur tous les tokens (mean-pooling) pour obtenir un vecteur représentatif $h^s_i(t)$ (source) et $h^t_i(t)$ (cible).
4. Vecteur de Pilotage : Le vecteur de pilotage linguistique $v(t)$ est calculé comme la moyenne des différences d'activation entre les représentations cible et source :
   $$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h^t_i(t) - h^s_i(t))$$
   Ce vecteur capture la direction dans l'espace d'activation qui correspond au passage de l'anglais à la langue cible.

B. Pilotage lors de l'Inférence (Inference-Time Steering)

Lors de l'inférence, le modèle reçoit un prompt contenant des démonstrations few-shot en anglais et une question de test en langue cible.

• Le vecteur précalculé $v(t)$ est ajouté aux états cachés du modèle à des positions de tokens spécifiques (par exemple, sur les tokens des démonstrations few-shot ou sur la question de test).
• La modification s'effectue via la formule :
  $$h'_p(t) = h_p(t) + \alpha \cdot v(t)$$
  où $\alpha$ est un hyperparamètre d'échelle contrôlant la force du pilotage.
• Cette opération ne nécessite aucune mise à jour des gradients ni de réentraînement du modèle.

3. Contributions Clés

1. Approche sans entraînement : Introduction des "Language Vectors" pour améliorer l'ICL multilingue, étendant les travaux antérieurs sur le pilotage d'activation au contexte spécifique de l'apprentissage few-shot.
2. Évaluation exhaustive : Validation sur 3 modèles (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B), 3 tâches (raisonnement mathématique MGSM, inférence linguistique XNLI, problèmes arithmétiques MSVAMP) et 19 langues.
3. Structure linguistique interprétable : Démonstration que les vecteurs encodent une structure linguistique réelle. Les langues proches (ex: Catalan-Galician, Hindi-Urdu) forment des clusters serrés dans l'espace vectoriel, et la norme du vecteur reflète la distance typologique par rapport à l'anglais.
4. Transfert inter-tâches : Preuve que ces vecteurs capturent l'identité linguistique plutôt que des spécificités de tâche, car ils transfèrent efficacement d'un jeu de données à un autre (avec certaines limites liées à la compatibilité des tâches).

4. Résultats Expérimentaux

Les résultats montrent des améliorations cohérentes et significatives par rapport aux baselines (pilotage en anglais seul ou few-shot multilingue) :

• Performance Globale : La méthode ("Ours") surpasse la baseline source sur la majorité des langues et des tâches.
  • Sur MGSM (raisonnement mathématique), les gains sont les plus marqués (amélioration de ~2,9 % à ~5,4 %), suggérant que le raisonnement structuré bénéficie particulièrement de ce pilotage.
  • Sur XNLI et MSVAMP, les gains sont plus variables mais généralement positifs, bien que la baseline "Multilingual Few-Shot" (MFS) reste compétitive sur MSVAMP.
• Robustesse : Les améliorations sont observées sur tous les modèles testés, y compris les modèles plus grands (Qwen-14B).
• Analyse des couches : Le pilotage est le plus efficace dans les couches intermédiaires (ex: couche 10 pour Llama-3.1-8B), ce qui correspond aux représentations sémantiques et pragmatiques.
• Transfert Inter-tâches :
  • Les vecteurs calculés sur MGSM améliorent les performances sur MSVAMP et XNLI.
  • Une exception notable est le transfert MSVAMP $\to$ XNLI, qui échoue (chute de performance), indiquant que les vecteurs de MSVAMP capturent des motifs mathématiques trop spécifiques qui nuisent à l'inférence linguistique. Cela confirme que les vecteurs capturent à la fois l'identité linguistique et des patterns de tâche, mais que l'identité linguistique reste dominante dans la plupart des cas.

5. Signification et Implications

Cet article apporte une preuve empirique forte que l'identité linguistique est encodée de manière structurée et linéaire dans les espaces d'activation des LLM.

• Efficacité : Il démontre qu'il est possible de "rediriger" un modèle vers une langue cible et d'améliorer ses performances sur des tâches complexes sans modifier ses poids, simplement en manipulant ses états internes.
• Accessibilité : Cette méthode offre une solution pratique et peu coûteuse pour améliorer l'accès aux technologies du langage pour les langues à faibles ressources, évitant le besoin de collecter massivement des données d'entraînement ou de faire du fine-tuning.
• Interprétabilité : La capacité à visualiser les relations entre les langues via la géométrie des vecteurs (clustering, normes) ouvre de nouvelles perspectives pour l'interprétabilité mécanique des modèles multilingues.

En conclusion, les auteurs valident l'hypothèse selon laquelle le fossé linguistique dans l'ICL n'est pas une limite fondamentale, mais un problème de "mode" interne du modèle qui peut être corrigé par un simple décalage vectoriel.