Résumé technique : « Les modèles multilingues s'améliorent-ils réellement ? Isoler le véritable transfert translinguistique »

Problématique

Le transfert translinguistique (XLT pour Cross-Lingual Transfer) est défini comme la capacité d'un modèle à généraliser ses capacités des langues sources bien représentées (généralement l'anglais) vers des langues cibles sous-représentées. Bien que les benchmarks multilingues soient couramment utilisés pour suivre les progrès dans ce domaine, les auteurs soutiennent que les mesures existantes confondent les véritables améliorations de transfert avec l'amélioration générale de la précision de la langue source.

Les mesures standards actuelles comprennent :

1. Précision absolue de la cible : Mesurer la performance sur la langue cible seule.
2. Écart XLT (XLT Gap) : La différence absolue entre la précision de la source et celle de la cible.
3. Score de transfert : La proportion de questions de la cible répondues correctement étant donné une prédiction correcte de la source.

L'article identifie une faille critique dans ces mesures : les précisions de la source et de la cible sont fortement couplées de manière linéaire (avec un $R^2 > 0,94$). À mesure que les capacités générales du modèle (par exemple, le raisonnement, la facticité ou l'échelle) s'améliorent, les précisions de la source et de la cible augmentent de manière prévisible. Par conséquent, une augmentation de la précision de la cible peut simplement refléter une meilleure performance de la source plutôt qu'une amélioration des mécanismes de transfert. De même, l'écart XLT peut suggérer de manière trompeuse une dégradation du transfert lors de la mise à l'échelle des modèles, même lorsque le profil de transfert sous-jacent s'améliore.

Méthodologie

Le score de transfert ajusté par la difficulté (HAT Score)

Pour remédier à l'effet de confusion des améliorations générales de la source, les auteurs proposent le Score de transfert ajusté par la difficulté (HAT Score). Ce score est dérivé de principes fondamentaux pour isoler la fraction de la performance qui se traduit de la source vers la cible, indépendamment de la difficulté absolue de la source ou de la compétence générale du modèle.

Définition théorique :
Soient $S$ et $T_\ell$ les taux de réussite pour la langue source et la langue cible $\ell$, respectivement. Le profil de transfert idéal est défini par l'espérance conditionnelle $E[T_\ell | S=s, M]$. Si un modèle possède un transfert parfait, ce profil s'aligne sur la droite $y=x$.

Le score HAT est défini comme l'espérance normalisée de la précision de la cible sous une distribution uniforme des précisions de la source, éliminant ainsi le biais introduit par la distribution spécifique de la précision de la source du modèle :
$$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$$
Le multiplicateur 2 garantit que le score est borné dans $[0, 1]$.

Estimation empirique :
Puisque $E[T_\ell | S, M]$ n'est pas directement observable, les auteurs l'estiment en utilisant une approche de régression linéaire :

1. Pour chaque instance de l'ensemble de données, le modèle est sollicité $N=10$ fois dans les langues source et cible pour estimer les taux de réussite ($s^{(i)}$ et $t^{(i)}$).
2. Un régresseur linéaire est ajusté aux paires $(s^{(i)}, t^{(i)})$ pour approximer l'espérance conditionnelle, avec la contrainte que $T=0$ quand $S=0$.
3. La pente de cette droite ajustée ($\hat{m}$) sert de score HAT.

Configuration expérimentale

L'étude évalue 20 modèles de langage (LLM) diversifiés appartenant à cinq familles (Gemini, Gemma, Qwen, GPT-OSS, Claude), couvrant des tailles allant de 1B à 120B de paramètres et variant selon les budgets de « réflexion » (profondeurs de raisonnement).

L'évaluation est menée sur trois benchmarks multilingues :

1. ECLeKTic : QA factuel translinguistique.
2. MGSMv2 : Raisonnement mathématique multilingue (une version corrigée de MGSM).
3. MMLU-ProX-Lite : Raisonnement conceptuel et connaissances de type choix multiples multilingue.

Pour MGSMv2 et MMLU-ProX-Lite, l'anglais est la langue source. Pour ECLeKTic, la source varie par question en fonction de l'article Wikipédia original.

Résultats clés

1. Validation de HAT vs Métriques traditionnelles

Les auteurs démontrent que les métriques traditionnelles représentent souvent mal les progrès :

• Précision de la cible : Peut indiquer faussement un progrès lorsque le profil de transfert reste inchangé, simplement parce que la distribution de la précision de la source s'est déplacée vers des valeurs plus élevées (ex: modèles plus grands).
• Écart XLT (XLT Gap) : Peut indiquer faussement une régression (dégradation du transfert) lors de la mise à l'échelle des modèles, même lorsque le profil de transfert (la pente) s'améliore.
• Score HAT : Reste robuste aux changements de distribution de la précision de la source, fournissant un indicateur fiable de la véritable force de transfert.

2. Progrès avec la taille du modèle

• Petits modèles : Le transfert n'est pas « brisé » dans les petits modèles (1B–4B). Les scores HAT pour ces modèles varient de 50 % à 80 %, indiquant que la précision de la cible est une fraction significative de la précision de la source. Les métriques traditionnelles, cependant, fournissent des estimations trop pessimistes pour les petits modèles.
• Tendances de mise à l'échelle (Scaling) : Bien que les modèles plus grands montrent un meilleur transfert, le progrès est plus lent que prévu par rapport aux augmentations de la taille du modèle. Le score HAT révèle que les gains en XLT sont plus graduels que ne le suggère la précision brute de la cible.

3. Progrès au fil du temps

• Benchmarks de raisonnement : Pour MGSMv2 et MMLU-ProX-Lite, les modèles plus récents (post-2025) montrent un déplacement significatif vers la droite du « transfert parfait ». Les scores HAT médians sont passés de 0,75 à 0,93 (MMLU-ProX-Lite) et de 0,90 à 0,97 (MGSMv2), suggérant que ces benchmarks sont presque résolus en termes de XLT.
• Benchmarks factuels : Aucune tendance de ce type n'est observée pour ECLeKTic, où le progrès semble stagner.

4. Facteurs influençant le transfert

• Architecture du modèle et pré-entraînement : Les différences de scores HAT entre les familles de modèles de taille comparable (ex: GPT-OSS vs Gemma vs Qwen) suggèrent que les recettes de pré-entraînement sont plus influentes sur le transfert que la taille du modèle seule.
• Budget de réflexion/raisonnement : Activer la « réflexion » (profondeur de raisonnement) améliore le XLT sur tous les benchmarks. Les auteurs observent que les modèles allouent des jetons supplémentaires pour les prompts non anglais (5 à 20 % plus longs), suggant un mécanisme de pontage linguistique.
• Similitude des scripts : Le transfert est nettement plus faible entre les langues ayant des scripts différents uniquement sur ECLeKTic (QA factuel). Pour les tâches de raisonnement (MGSMv2, MMLU-ProX-Lite), les différences de script ne dégradent pas significativement les scores HAT.

Signification et affirmations

L'article affirme que le domaine interprète mal les progrès en matière de transfert translinguistique en raison du couplage entre les précisions de la source et de la cible. En introduisant le score HAT, les auteurs fournissent une métrique qui dissocie les améliorations de capacité générale des gains de transfert réels.

Les auteurs concluent que :

1. Le transfert dans les petits modèles est fonctionnel, contrairement aux vues pessimistes dérivées de la précision brute de la cible.
2. Le progrès en XLT est plus lent que prévu par rapport à la mise à l'échelle des modèles, contestant l'hypothèse selon laquelle l'augmentation des paramètres résout automatiquement les écarts multilingues.
3. Les benchmarks actuels approchent de la saturation pour les tâches de raisonnement (MGSMv2, MMLU-ProX-Lite), nécessitant le développement de benchmarks plus exigeants et motivés par des cas pratiques (ex: tâches multi-étapes) pour continuer à mesurer des progrès significatifs.

Ce travail constitue un appel à l'action pour que la communauté adopte des métriques plus rigoureuses comme le score HAT afin d'évaluer et de piloter avec précision la recherche en généralisation translinguistique.