Résumé Technique : Améliorer le rappel factuel translingue via l'apprentissage par renforcement piloté par la cohérence

Énoncé du Problème

Les grands modèles de langage (LLM) entraînés principalement sur des données anglaises encodent de vastes quantités de connaissances mondiales mais échouent fréquemment à accéder de manière fiable à ces connaissances lorsqu'ils sont interrogés dans des langues non anglaises. Ce phénomène, nommé incohérence factuelle translingue, n'est pas principalement causé par un déficit de stockage de connaissances. Au contraire, des études mécanistes suggèrent que l'échec se produit lors de la phase de « transition linguistique » : le modèle peut récupérer le concept correct dans les couches intermédiaires (souvent dans un espace latent centré sur l'anglais ou agnostique à la langue), mais échoue à mapper ce concept de manière fiable vers les jetons (tokens) de la langue cible dans les couches finales.

Bien que le pré-entraînement continu (CPT) sur des corpus parallèles ait montré une amélioration de la fluidité de traduction, il échoue souvent à augmenter substantiellement les performances sur des tâches exigeantes comme le rappel factuel. Cela suggère que, si les données parallèles alignent les représentations internes, elles n'enseignent pas suffisamment au modèle comment accéder à cette connaissance alignée via des interfaces non anglaises.

Méthodologie

1. Le jeu de données POLYFACT

Pour remédier au manque de données factuelles multilingues parallèles à grande échelle, les auteurs introduisent POLYFACT.

• Construction : Dérivé de triplets de vérité de Wikidata, le jeu de données contient 100 000 faits répartis sur 12 langues typologiquement diverses (incluant des langues à hautes ressources comme l'anglais, le chinois et l'espagnol, et des langues à faibles ressources comme le swahili et le bengali).
• Format : Il s'agit d'un jeu de données de questions à choix multiples (QCM) où chaque fait est entièrement parallèle dans les 12 langues. Pour chaque fait, trois distracteurs sont échantillonnés à partir d'objets cooccurrents de la même propriété pour garantir la plausibilité.
• Qualité : Le jeu de données a subi un contrôle qualité rigoureux à l'aide d'un juge LLM ancré sur le web (GPT-4o) et d'une revue manuelle, atteignant un accord de 91 % entre le juge LLM et les annotateurs humains.

2. Approches d'entraînement

L'étude compare trois stratégies de post-entraînement sur deux modèles de l'échelle 7B (OLMo-2-1124-7B et Qwen-2.5-7B) :

1. Pré-entraînement Continu (CPT) : Un léger pré-entraînement sur un corpus parallèle équilibré (TED2025) pour aligner les représentations avant le fine-tuning.
2. Fine-tuning Supervisé (SFT) : Entraînement sur POLYFACT en utilisant un objectif conjoint qui combine une perte de classification standard avec un terme de cohérence. Le terme de cohérence minimise la divergence KL entre les distributions de sortie du modèle à travers les 12 langues parallèles, encourageant le modèle à produire des réponses cohérentes quel queque soit la langue d'entrée.
3. Apprentissage par Renforcement Piloté par la Cohérence (GRPO) : Une approche d'Optimisation de Politique Relative de Groupe (Group Relative Policy Optimization) où la fonction de récompense incite explicitement à la cohérence translingue.
   • Mécanisme de Récompense : Pour un groupe de 8 rollouts (chaque groupe contenant 12 générations parallèles), la récompense est calculée sur la base de la justesse (+1), des pénalités d'hallucination (-0,5), et d'un bonus spécifique (+1) si toutes les 12 langues du groupe sont répondues correctement. Cela force le modèle à apprendre un chemin de récupération partagé plutôt qu'une mémorisation spécifique à la langue.

3. Analyse Mécaniste

Les auteurs utilisent deux outils d'interprétabilité pour analyser comment ces méthodes remodèlent l'architecture interne du modèle :

• LAHIS : Analyse les têtes d'attention pour déterminer les contributions de traitement spécifiques à la langue.
• LAPE : Identifie les neurones spécifiques à la langue dans les couches MLP en mesurant la fréquence d'activation et l'entropie.

Résultats Clés

Gains de Performance

• GRPO vs SFT : GRPO surpasse systématiquement SFT sur tous les benchmarks d'évaluation (POLYFACT, KLAR et Global-MMLU).
  • Sur POLYFACT, GRPO atteint la précision la plus élevée tant dans les langues à hautes ressources que dans les langues à faibles ressources.
  • Sur KLAR (un benchmark de génération de texte libre), GRPO améliore les performances dans presque toutes les langues, alors que SFT régresse souvent. Cela indique que SFT apprend principalement à faire correspondre des candidats de réponses (reconnaissance de formes) plutôt qu'à améliorer la véritable récupération translingue.
  • Sur Global-MMLU (nécessitant un raisonnement multi-étapes), les modèles GRPO généralisent mieux que les modèles SFT ou CPT-seuls.
• Rôle du CPT : Un léger CPT sur des données parallèles a fourni des gains additionnels limités lorsqu'il est combiné au post-entraînement. Dans certains cas, le CCP suivi du post-entraînement a entraîné des performances inférieures à celles du post-entraînement à partir du modèle de base seul, suggérant que l'alignement seul ne garantit pas un meilleur accès à la connaissance.

Transfert Translingue

GRPO démontre une généralisation supérieure aux langues non vues (langues non présentes lors du post-entraînement, telles que le grec, l'ukrainien et l'hébreu).

• Les gains sont plus prononcés pour les langues partageant des scripts ou des sous-mots (subwords) avec les langues d'entraînement (par exemple, les langues à script latin ou celles partageant des sous-mots perso-arabes).
• Des baisses de performance sont observées pour les langues « isolées par le script » (ex: grec, coréen), indiquant que bien que GRPO améliore les représentations partagées, il reste contraint par les limites de la tokenisation.

Insights Mécanistes

• Routage Linguistique : GRPO restructure fondamentalement le calcul multilingue. Contra-irement au modèle de base, qui prend des décisions de routage linguistique immédiatement (souvent dès la première couche), GRGRPO retarde la spécialisation linguistique aux couches ultérieures. Cela crée un espace intermédiaire partagé et agnostique à la langue plus vaste.
• Spécialisation des Neurones : GRPO augmente la proportion de neurones spécifiques à l'anglais (d'environ 38 %) tout en réduisant la spécialisation dans d'autres langues (ex: bengali et swahili). Cela suggère que l'objectif de RL « comprime » l'espace comportemental du modèle, encourageant le recours au squelette représentationnel le plus stable (l'anglais) comme pivot pour les autres langues.
• Partage de Têtes : Alors que SFT augmente considérablement le chevauchement pairwise des têtes (particulièrement parmi les langues indo-européennes), GRPO parvient à un accroissement plus modéré du chevauchement mais induit une réorganisation plus profonde du traitement, le déplaçant loin des couches de routage précoces.

Signification et Revendications

L'article pose que l'incohérence factuelle translingue est moins un problème de connaissance manquante qu'un problème d'accès peu fiable aux connaissances latentes existantes.

• Contribution Principale : Les auteurs démontrent que l'apprentissage par renforcement piloté par la cohérence (GRPO) est un mécanisme plus efficace que le Fine-tuning Supervisé (SFT) ou le léger Pré-entraînement Continu (CPT) pour améliorer le rappel factuel translingue. Le GRPO réussit en favorisant des représentations internes partagées et en réorganisant le routage multilingue pour garantir que les concepts factuels sont accédés de manière cohérente à travers les langues.
• Publication du Jeu de Données : La publication de POLYFACT fournit une ressource critique pour étudier et évaluer la cohérence factuelle translingue, comblant le manque précédent de données de questions-réponses multilingues entièrement parallèles à grande échelle.
• Portée Modeste : Les auteurs reconnaissent que leur méthode améliore l'accès aux faits mais ne résout pas nécessairement les défis plus larges du raisonnement multilingue (comme le montrent les résultats de Global-MMLU). De plus, l'approche est actuellement limitée aux modèles de l'échelle 7B et pourrait ne pas se généraliser à des architectures ou des modèles nettement plus grands sans investigations supplémentaires. L'article note également que les biais dans la source Wikidata sous-jacente (ex: noms propres anglocentrés) peuvent involontairement renforcer certains modes d'échec, comme répondre à des questions sur des noms propres en anglais plutôt que dans la langue cible.