Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

Résumé Technique : Auto-cohérence Cross-lingue pour le Raisonnement Multilingue avec les Modèles de Langage

Énoncé du Problème

Malgré l'expansion de la couverture multilingue des grands modèles de langage (LLM), leurs capacités de raisonnement avancé restent fortement concentrées dans les langues à hautes ressources, particulièrement l'anglais et le chinois. Bien que les modèles puissent effectuer des tâches de base dans de nombreuses langues, les tâches de raisonnement complexe (par exemple, les problèmes mathématiques sous forme de texte) échouent souvent lorsqu'elles sont exécutées dans la langue maternelle de la requête.

Les solutions existantes tentent de combler ce fossé en :

1. Raisonnant en anglais : Traduire la requête source en anglais, raisonner en anglais, puis traduire la réponse en retour.
2. Ajustement Supervisé (SFT) : S'entraîner sur des données parallèles (questions traduites et traces de raisonnement).
3. Manipulation de Logits : Forcer la distribution de sortie du modèle à imiter les schémas de raisonnement en anglais.

Ces approches souffrent de limitations significatives : elles dépendent de données de raisonnement parallèles de haute qualité, qui sont rares ; elles dépendent de la qualité de la traduction automatique (ce qui introduit du bruit) ; et elles échouent souvent à se généraliser à des langues ou des domaines inédits. De plus, les stratégies qui forcent le raisonnement en anglais ne améliorent pas nécessairement la capacité intrinsèque du modèle à raisonner dans la langue source.

Méthodologie

Les auteurs proposent un cadre d'apprentissage par renforcement (RL) non supervisé qui améliore le raisonnement multilingue en imposant une auto-cohérence cross-lingue. Le principe fondamental est qu'un modèle doit produire la même réponse finale pour des problèmes équivalents posés dans différentes langues, même sans accès à des étiquettes de vérité terrain (ground-truth).

Composants Clés :

1. Signal Non Supervisé : La méthode nécessite uniquement des questions monolingues (spécifiquement l'anglais dans les expériences) pour l'entraînement. Elle ne nécessite ni réponses de référence, ni traces de raisonnement parallèles préexistantes.
2. Auto-Traduction : Pour générer des entrées parallèles, le modèle traduit lui-même les questions d'entraînement en anglais vers les langues cibles. Bien que bruyante, cette approche est évolutive et évite d'injecter des connaissances externes provenant de moteurs de traduction tiers.
3. Fonction de Récompense (RL) :
   • Le cadre étend l'auto-cohérence monolingue (qui minimise l'entropie de la distribution de réponses) à un contexte multilingue.
   • Au lieu de minimiser l'entropie au sein d'une seule langue, la méthode minimise l'entropie croisée entre la distribution de réponses d'une langue spécifique ($\hat{p}_\pi$) et une distribution cible ($\hat{q}_\pi$) dérivée d'autres langues.
   • Stratégies de Distribution Cible : Les auteurs explorent trois façons de définir $\hat{q}_\pi$ :
     • Langue Source : Équivalent à l'auto-cohérence monolingue standard.
     • Langue de Référence (Anglais) : Aligne toutes les langues sur la distribution anglaise (agissant comme une distillation cross-lingue).
     • Combinée : Calcule la moyenne des distributions de réponses à travers toutes les langues. Cette variante est utilisée comme méthode principale, optimisant directement la cohérence sur l'ensemble des langues.
4. Algorithme d'Entraînement : Les auteurs utilisent le GRPO (Group Relative Policy Optimization) avec le backend VeRL. La récompense est calculée sur la cohérence des réponses finales à travers les trajectoires échantillonnées dans différentes langues.

Contributions Clés

• Cadre Novateur : La première approche de RL non supervisée pour améliorer le raisonnement multilingue en imposant explicitement l'auto-cohérence cross-lingue sans nécessiter de données parallèles ou d'étiquettes de vérité terrain.
• Évolutivité : La méthode est pratique pour les scénarios où les données de raisonnement multilingue sont indisponibles, en exploitant les propres capacités de traduction du modèle pour créer des signaux d'entraînement.
• Généralisation : L'approche démontre une forte généralisation aux langues inédites et aux domaines hors distribution (OOD).

Résultats Expérimentaux

La méthode a été évaluée sur le benchmark MGSM (10 langues) et trois benchmarks OOD (mGPQA, MMATH, PolyMath) en utilisant des modèles Qwen2.5 (1.5B, 7B, 14B) et Llama3 (8B).

• Gains de Performance :
  • Sur MGSM, la méthode a obtenu des améliorations moyennes de précision de 7,8 % (1.5B), 15,1 % (7B) et 21,7 % (14B) par rapport aux modèles originaux.
  • Des gains ont été observés dans presque toutes les langues, certaines langues à faibles ressources (ex: russe, telugu) affichant des améliorations relatives dépassant les 100 %.
  • La méthode a surpassé les bases de référence antérieures, y compris le passage à l'échelle au moment du test (S1) et les méthodes basées sur DPO (LIDR), particulièrement en termes d'efficacité de jetons (tokens). Bien que S1 atteigne des résultats compétitifs, il nécessite environ 3 fois plus de jetons pour des traces de raisonnement plus longues.
• Généralisation :
  • Langues Inédites : Lorsqu'elle est entraînée sur un sous-ensemble de langues, le modèle montre une amélioration moyenne de 18,2 % sur les langues non vues au sein de MGSM.
  • Benchmarks OOD : La méthode a produit des gains moyens de 4,7 % sur mGPQA et de 6,2 % sur MMATH, surpassant LIDR, qui provoquait une dégradation des performances sur les tâches OOD.
• Cohérence : L'analyse a confirmé que la méthode améliore significativement l'auto-cohérence monolingue et cross-lingue. Les modèles entraînés avec cette méthode atteignent une performance proche du maximum avec moins d'échantillons (Maj@8) par rapport aux bases de référence, indiquant une optimisation efficace du calcul d'inférence.
• Niveaux de Ressources : La méthode réduit considérablement l'écart de performance entre l'anglais et les autres langues, particulièrement dans les niveaux de ressources élevées et moyennes, bien que les langues à faibles ressources accusent toujours un retard dû aux limites de compétence du modèle sous-jacent.

Signification et Revendications

L'article affirme que les méthodes basées sur la cohérence offrent une voie viable pour améliorer les capacités multilingues des LLM sans le coût prohibitif de l'annotation de données supervisées.

• Équité et Robustesse : En réduisant l'écart de performance entre les langues à hautes et faibles ressources, la méthode fait progresser l'équité et la robustesse des LLM dans différents contextes linguistiques.
• Amélioration Intrinsèque : Contrairement aux stratégies de "traduction vers l'anglais" qui utilisent l'anglais comme proxy, cette méthode améliore la capacité intrinsèque du modèle à raisonner dans la langue source.
• Praticité : Le recours à l'auto-traduction et aux données monolingues rend l'approche hautement évolutive et applicable aux domaines où les données de raisonnement multilingue sont inexistantes.

Les auteurs concluent que, bien que la méthode dépende des échelles de modèles actuelles (inférieures à 20B) et soit confrontée aux limites de disponibilité des benchmarks de faibles ressources, elle ouvre la voie à l'amélioration de la performance du raisonnement multilingue à grande échelle sans annotation de données supplémentaire. Des travaux futurs sont suggérés pour explorer les tâches non vérifiables et les architectures de modèles plus larges.