💬 NLP

CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

Le papier présente CroCo, une méthode démontrant que l'ajustement contrastif des préférences interlinguales utilisant des réponses auto-générées et un modèle de récompense entraîné en anglais améliore efficacement les performances des LLM multilingues sur diverses tâches sans nécessiter d'annotations de préférences spécifiques à la langue, à condition que des données on-policy soient utilisées.

Auteurs originaux : Mike Zhang, Ali Basirat, Desmond Elliott

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Mike Zhang, Ali Basirat, Desmond Elliott

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Enseigner à un Chef Multilingue sans Critique Multilingue

Imaginez que vous avez un chef talentueux (le modèle d'IA) qui parle de nombreuses langues mais qui doit apprendre à préparer de meilleurs plats que les humains apprécient réellement. Habituellement, pour enseigner à un chef, vous avez besoin d'un critique gastronomique qui parle la même langue que le chef pour goûter les plats et dire : « Celui-ci est excellent, celui-là est terrible. »

Le Problème :
Dans le monde de l'IA, nous avons beaucoup de « critiques » (Modèles de Récompense) qui sont experts en anglais, mais très peu qui sont experts en danois, en néerlandais ou en italien. Traditionnellement, pour améliorer un chef multilingue, les chercheurs tentaient de traduire les instructions anglaises dans d'autres langues ou d'embaucher des critiques spécifiques pour chaque langue. C'est coûteux, lent, et conduit souvent le chef à oublier comment préparer ses plats d'origine (un problème appelé « oubli catastrophique »).

La Solution (CROCO) :
Les auteurs de ce papier proposent un raccourci astucieux appelé CROCO. Au lieu d'avoir besoin d'un critique pour chaque langue, ils utilisent un seul critique anglophone et une technique appelée Ajustement Contrastif des Préférences.

Voici comment cela fonctionne, étape par étape :

1. Le Buffet « Auto-génération »

Au lieu de demander au chef de préparer un seul plat, on demande à l'IA (le chef) de préparer 64 versions différentes de la même recette pour une langue spécifique (par exemple, 64 versions d'une histoire en danois).

2. La Fiche de Notes « Un Seul Critique »

Le seul critique anglophone goûte les 64 versions. Même si le critique parle anglais, il peut toujours distinguer une histoire cohérente et utile en danois d'une histoire incompréhensible et confuse. Il attribue une note à chaque version.

L'Idée Clé : Le critique n'a pas besoin de savoir exactement à quel point une histoire en danois est bonne en termes absolus. Il doit simplement être cohérent. Si l'Histoire A obtient un 90 et l'Histoire B un 10, le critique sait que A est meilleure que B, même si les chiffres ne sont pas parfaits.

3. Le Couple « Point Idéal »

C'est l'astuce magique. Les chercheurs ne choisissent pas simplement l'histoire « Meilleure » et l'histoire « Pire ».

Ils choisissent l'histoire Meilleure (la gagnante).
Ils choisissent une histoire médiocre qui est clairement inférieure à la gagnante mais pas la pire absolue (spécifiquement, celle qui se situe environ 2 écarts-types en dessous de la note moyenne).

Pensez-y comme un entraîneur sportif. Au lieu de montrer à un joueur une vidéo d'un médaillé d'or et une vidéo de quelqu'un qui trébuche sur ses lacets, l'entraîneur lui montre le médaillé d'or et un joueur qui a fait quelques erreurs mais qui jouait encore le jeu. Ce « contraste » est plus facile à apprendre pour le joueur.

4. La Leçon (DPO)

L'IA apprend en comparant ces deux histoires spécifiques : « Je devrais viser le gagnant, et je devrais éviter le style de celui qui est médiocre. » Parce que l'IA apprend la différence (l'écart) entre les deux, il n'importe pas si le système de notation du critique est légèrement « décalé » pour cette langue spécifique. Tant que le classement est cohérent, l'IA apprend la bonne leçon.

Ce qu'ils ont Découvert

Les chercheurs ont testé cela sur deux modèles d'IA différents (un petit et un de taille moyenne) dans 14 langues différentes (y compris le danois, le néerlandais, le français, l'allemand, l'italien, l'espagnol, et même des langues à ressources limitées comme le gallois et l'irlandais).

Le Piège de la « Traduction » : Lorsqu'ils ont essayé de simplement traduire des données d'entraînement anglaises dans d'autres langues et d'enseigner directement à l'IA (Ajustement Fin Supervisé), l'IA s'est confuse et a oublié comment parler ces langues correctement. C'était comme forcer un chef français à mémoriser un livre de recettes italien traduit ; il a eu les mots faux et a oublié ses compétences d'origine.
Le Succès de CROCO : En utilisant la méthode « Auto-génération + Un Seul Critique », l'IA s'est améliorée dans presque toutes les langues.
- Elle s'est améliorée dans les tâches structurées (comme les mathématiques et le codage) et les tâches ouvertes (comme l'écriture créative).
- Cela a fonctionné pour les modèles petits et grands.
- Cela a même fonctionné pour des langues que l'IA n'avait pas vues pendant l'entraînement, montrant qu'elle avait appris une compétence générale de « meilleure cuisine » qui se transférait d'une langue à l'autre.

Les Exigences de la « Sauce Secrète »

Le papier a révélé que cette méthode ne fonctionne que si vous suivez deux règles strictes :

Vous devez utiliser votre propre cuisine (Données On-Policy) : L'IA doit générer les 64 histoires elle-même. Si vous utilisez des histoires générées par une autre IA pour l'enseigner, la méthode échoue. C'est comme un chef qui apprend de ses propres erreurs plutôt que de celles de quelqu'un d'autre.
L'approche « Hors Ligne » est meilleure : Vous devez noter toutes les histoires avant de commencer à enseigner à l'IA. Si vous essayez d'enseigner à l'IA pendant qu'elle génère des histoires en temps réel (En Ligne), l'IA se confond avec le feedback immédiat du critique et n'apprend pas aussi bien.

La Conclusion

Ce papier prouve que vous n'avez pas besoin d'une équipe d'experts multilingues pour enseigner à une IA à être meilleure dans de nombreuses langues. Vous avez juste besoin d'un seul critique anglophone cohérent et d'une façon intelligente de montrer à l'IA la différence entre une réponse « bonne » et une réponse « mauvaise » dans sa propre langue.

En se concentrant sur la différence relative entre les réponses plutôt que sur la qualité absolue, l'IA peut apprendre à mieux parler danois, italien ou gallois sans avoir besoin d'un enseignant spécifique pour chacun, et sans oublier comment parler anglais.

Résumé Technique : CROCO – Ajustement Contrastif des Préférences Translinguistique sur des Générations Automatiques

Énoncé du Problème

L'alignement des grands modèles de langage (LLM) avec les préférences humaines constitue une étape finale critique du post-entraînement, généralement réalisée via l'optimisation directe des préférences (DPO). Bien que des avancées récentes aient démontré que le DPO peut être appliqué à des échantillons générés automatiquement (en utilisant un modèle de récompense pour évaluer les propres sorties du modèle politique) plutôt qu'à des annotations humaines, ces méthodes ont été établies exclusivement en anglais.

Étendre cela à un cadre multilingue présente des défis significatifs. Les travaux antérieurs sur l'alignement des préférences multilingues s'appuient sur des signaux basés sur la traduction, exploitent les écarts de capacités entre l'anglais et d'autres langues comme récompenses implicites, ou réajustent les pertes pour des paires bruyantes. Cependant, il reste une question ouverte de savoir si le mécanisme spécifique de l'ajustement contrastif des préférences sur des générations automatiques – où les paires de préférences sont construites sur la base de scores de récompense relatifs au sein d'une distribution – se transfère d'une langue à l'autre sans annotations de préférences spécifiques à la langue. De plus, il est incertain qu'un modèle de récompense (RM) entraîné uniquement sur des préférences anglaises puisse classer efficacement les réponses dans d'autres langues pour piloter l'alignement multilingue.

Méthodologie : CROCO

Les auteurs proposent CROCO (Ajustement Contrastif des Préférences Translinguistique sur des Générations Automatiques), un cadre qui étend la construction de préférences « point idéal » (Xiao et al., 2025) à plusieurs langues.

Mécanisme Central

Génération Automatique : Pour un prompt donné $x$ dans une langue cible $\ell$ , le modèle politique $\pi_\theta$ génère $K$ réponses candidates ( $Y_x$ ).
Évaluation par Récompense : Un modèle de récompense (RM) externe, prêt à l'emploi, évalue ces réponses. Crucialement, le RM est entraîné sur des préférences anglaises mais construit sur la base d'un modèle multilingue (par exemple, Qwen3-8B).
Construction de Paires Contrastives : Au lieu d'apparier la réponse la mieux notée avec la moins bien notée absolue, la méthode sélectionne un « point idéal » pour induire un contraste contrôlé :
- Choisie ( $y_c$ ) : La réponse avec la récompense maximale.
- Rejetée ( $y_r$ ) : La réponse dont la récompense est la plus proche de $\mu_x - 2\sigma_x$ (où $\mu$ et $\sigma$ sont la moyenne et l'écart-type de la distribution de récompense pour ce prompt).
Entraînement : Le modèle est affiné (fine-tuned) en utilisant le DPO sur ces paires construites. Les auteurs évaluent deux régimes :
- Monolingue : Ajustement indépendamment sur les données pour chaque langue.
- Multilingue : Ajustement conjoint sur l'union des données de toutes les langues.

Configuration Expérimentale

Modèles : Deux modèles de différentes échelles ont été testés : EuroLLM-9B (9 milliards de paramètres) et aya-3B (3 milliards de paramètres).
Données : 20 000 instances d'entraînement par instruction du corpus Dolci-Instruct-SFT ont été traduites dans six langues européennes (danois, néerlandais, français, allemand, italien, espagnol) en utilisant TranslateGemma-27B.
Modèle de Récompense : Skywork-Reward-V2-Qwen3-8B, un RM entraîné sur des préférences anglaises avec une base multilingue.
Lignes de Base : Affinement supervisé standard (SFT) sur des données traduites, SFT uniquement sur les réponses les mieux récompensées (Max-R), et méthodes existantes d'ajustement des préférences multilingues (ICR, MAPO).

Contributions Clés

Transfert Translinguistique de l'Ajustement Contrastif : L'article démontre que l'ajustement contrastif des préférences sur des générations automatiques se transfère efficacement d'une langue à l'autre. Le DPO sur des paires de générations automatiques surpasse les lignes de base SFT et les méthodes multilingues existantes, tandis que le SFT standard sur des données traduites provoque un oubli catastrophique.
Élimination de l'Annotation Spécifique à la Langue : L'étude montre que l'ajustement des préférences multilingues ne nécessite pas d'annotations de préférences spécifiques à la langue. Un RM exclusivement anglais (sur une base multilingue) produit des classements cohérents au sein de chaque langue qui génèrent des progrès dans la plupart des langues.
Robustesse à travers les Échelles et les Tâches : La méthode améliore les performances sur les tâches structurées (EuroEval) et la génération ouverte (m-ArenaHard 2.1). Elle égale ou dépasse le modèle de base dans 6/7 langues pour EuroLLM-9B et 4/7 pour aya-3B sur les tâches structurées, et gagne contre la base dans les 11 langues évaluées sur la génération ouverte.
Insights des Ablations :
- Nécessité des Données On-Policy : Les gains nécessitent des données on-policy. Les réponses off-policy (générées par un modèle différent) réduisent les bénéfices, et l'optimisation des préférences en ligne échoue à améliorer la variante hors ligne lors de l'utilisation d'un RM externe.
- Langue du Prompt : La langue du prompt doit correspondre à la langue de la réponse choisie pour des performances optimales.
- Utilité de la Traduction : Bien que le SFT se dégrade avec des données traduites, le signal contrastif du DPO reste informatif même lorsque la traduction ajoute du bruit, car il repose sur des écarts de récompense relatifs plutôt que sur des cibles absolues.

Résultats

EuroEval (Tâches Structurées) :
- Échec du SFT : Le SFT monolingue et multilingue sur des données traduites a provoqué un oubli catastrophique, avec des baisses de performance allant de 0,1 à 11,3 points.
- Succès du DPO : Le DJO apparié a été non-négatif dans 12/14 configurations pour aya-3B et a amélioré la ligne de base dans 10/14 configurations pour EuroLLM-9B. Le plus grand gain a été de +3,6 points pour EuroLLM-9B en italien (monolingue).
- Comparaison : Le DPO apparié était la seule méthode restant non-négative en moyenne sur toutes les langues, surpassant ICR et MAPO qui ont souvent dégradé les performances.
m-ArenaHard 2.1 (Génération Ouverte) :
- Le DPO apparié a atteint des taux de victoire contrôlés par la longueur (LC) compris entre 54,5 % et 58,4 % contre la base EuroLLM-9B sur les 7 langues.
- Pour aya-3B, les taux de victoire LC variaient de 55,5 % à 66,3 %, avec des gains à deux chiffres dans la plupart des langues.
- La méthode a réussi à réduire l'écart de performance entre les modèles de base et les modèles de référence plus grands (Gemma3-12B et Gemma3-4B) dans la plupart des langues.
Généralisation : La méthode a généralisé positivement vers des langues non vues (norvégien, portugais, suédois) dans EuroEval, tandis que le SFT multilingue a dégradé les performances sur tous les ensembles de données non vus.

Importance et Revendications

L'article revendique que CROCO offre une direction prometteuse pour l'ajustement des préférences multilingues en démontrant que l'écart de récompense relatif est un signal robuste qui se transfère d'une langue à l'autre, même lorsque le modèle de récompense est entraîné exclusivement sur des préférences anglaises.

Les auteurs postulent que la dépendance de l'objectif DPO à l'ordre relatif des réponses appariées (plutôt qu'à un étalonnage absolu) lui permet de tolérer le bruit de traduction et une mauvaise calibration interlinguistique. Cette découverte suggère qu'un alignement multilingue de haute qualité peut être atteint sans le coût prohibitif de l'annotation de préférences par langue, à condition que des générations automatiques on-policy soient utilisées pour construire des paires contrastives.

Le travail met en évidence que les données on-policy sont un composant critique, car le signal contrastif n'est informatif que lorsque les réponses appariées proviennent de la propre distribution du modèle politique. De plus, il établit que le DPO hors ligne avec un modèle de récompense fixe est supérieur au DPO en ligne dans ce contexte, car ce dernier crée une boucle de rétroaction qui amplifie les biais du modèle de récompense plutôt que d'apprendre de véritables préférences.

En fin de compte, l'article soutient qu'un seul modèle de récompense entraîné en anglais, lorsqu'il est appliqué à des données multilingues générées automatiquement via la construction de paires contrastives, suffit à piloter des améliorations cohérentes à travers diverses langues et échelles de modèles, évitant ainsi l'oubli catastrophique associé à l'affinement supervisé standard.