Cross-Preference Learning for Sentence-Level and Context-Aware Machine Translation

1. Problématique et Motivation

La traduction automatique (TA) moderne doit souvent fonctionner dans deux conditions d'entrée distinctes :

1. Niveau de la phrase (Sentence-level) : Traduction d'une phrase isolée sans contexte.
2. Sensible au contexte (Context-aware) : Traduction utilisant des informations documentaires (phrases voisines) pour améliorer la cohérence.

Le constat clé : Les travaux antérieurs supposent souvent que l'ajout de contexte améliore systématiquement la qualité de la traduction. Cependant, les auteurs observent que ce n'est pas toujours le cas. Comme illustré par les données (Figure 1 de l'article), le contexte peut être bénéfique pour certaines phrases, mais nuisible ou redondant pour d'autres, conduisant parfois à une dégradation de la qualité par rapport à une traduction isolée.

Limitation des approches actuelles :

• Les modèles sont généralement entraînés séparément pour chaque condition ou via un apprentissage supervisé standard (Maximum Likelihood Estimation) qui traite les deux conditions comme des tâches indépendantes.
• Il n'existe pas de mécanisme explicite permettant au modèle de décider quand utiliser le contexte et comment l'intégrer de manière adaptative.
• Les méthodes d'optimisation par préférence existantes (DPO, CPO, SimPO) se concentrent sur des comparaisons au sein d'une seule condition d'entrée, ignorant les interactions entre les deux modes de traduction.

2. Méthodologie : Cross-Preference Learning (CPL)

Pour résoudre ce problème, les auteurs proposent Cross-Preference Learning (CPL), un cadre d'optimisation basé sur les préférences qui apprend à un modèle unique à gérer dynamiquement les deux conditions.

A. Cadre d'Apprentissage

Le modèle est entraîné à générer des traductions pour une même phrase source sous deux conditions :

• $y_s$ : Traduction sans contexte (condition phrase).
• $y_c$ : Traduction avec contexte (condition document).

B. Construction des Paires de Préférence

L'approche utilise des métriques automatiques (COMET et d-COMET) pour étiqueter les paires de préférences :

1. Préférences intra-condition : Comparaison entre deux candidats générés dans la même condition (ex: $y^+_s$ vs $y^-_s$).
2. Préférences inter-condition (Cross-condition) : Comparaison directe entre la meilleure traduction d'une condition et celle de l'autre.
   • Si le contexte aide, la traduction contextuelle ($y^+_c$) est préférée à la traduction isolée ($y^+_s$).
   • Si le contexte nuit, la traduction isolée est préférée.

C. Fonction de Perte (Loss Function)

L'objectif global $L_{CPL}$ combine deux composantes :

1. Apprentissage de préférence intra-condition ($L_{intra}$) :
   Utilise la perte CPO (Contrastive Preference Optimization) standard pour optimiser les paires de préférences au sein de chaque condition (phrase seule vs contexte). Cela assure que le modèle apprend à bien traduire dans chaque mode individuellement.

2. Apprentissage de préférence inter-condition ($L_{cross}$) :
   C'est l'innovation centrale. Elle introduit une perte Cross-CPO qui compare explicitement les sorties des deux conditions pour la même phrase source.

   • Le modèle apprend à attribuer une probabilité plus élevée à la traduction "gagnante" (celle qui a le meilleur score de qualité), quelle que soit la condition d'entrée qui l'a produite.
   • Cela force le modèle à internaliser un signal de préférence partagé : "Pour cette phrase spécifique, le contexte est-il utile ou non ?".

La fonction de perte totale est :
$$L_{CPL}(\theta) = L_{intra}(\theta) + L_{cross}(\theta)$$

Avantage architectural : Cette méthode ne nécessite aucune modification de l'architecture du modèle (pas de nouveaux paramètres, pas de changement de structure). Elle s'applique uniquement au niveau de la fonction objectif d'entraînement, ce qui la rend compatible avec n'importe quel système de traduction partageant les mêmes paramètres.

3. Contributions Clés

1. Extension de l'optimisation par préférence : Première application de l'apprentissage par préférence à un scénario multi-condition (phrase vs document) pour la TA.
2. Proposition du CPL : Un cadre unifié qui modélise explicitement les interactions entre les traductions avec et sans contexte, permettant une exploitation adaptative du contexte.
3. Robustesse et Performance : Démonstration qu'un seul modèle entraîné avec CPL surpasse les modèles spécialisés et les approches de fine-tuning jointes, tout en restant robuste au bruit contextuel.

4. Résultats Expérimentaux

Les expériences ont été menées sur six directions de traduction (Anglais vers Allemand, Espagnol, Français, Italien, Néerlandais, Russe) en utilisant des modèles de base comme Qwen3-4B/8B et Llama-3-8B.

• Performance Globale : CPL surpasse systématiquement tous les baselines (y compris les modèles fine-tunés séparément, les modèles entraînés conjointement sans préférence, et les modèles CPO mono-condition).
  • Gain moyen en score COMET : +0.60 à +1.12 points par rapport aux meilleures approches existantes, tant pour l'entrée phrase que pour l'entrée contexte.
• Robustesse au Contexte (Analyse de cas) :
  • Sur les phrases où le contexte est utile (désambiguïsation, cohérence), CPL avec contexte surpasse la version sans contexte.
  • Sur les phrases où le contexte est bruyant ou inutile, CPL avec contexte ne subit pas de dégradation significative et se comporte presque aussi bien que la version sans contexte. Cela prouve que le modèle apprend à ignorer le contexte quand il n'est pas nécessaire.
• Métriques Complémentaires :
  • Cohérence discursive : Amélioration mesurée par la similarité cosinus des embeddings (SimCSE).
  • Fidélité : Réduction des hallucinations et des omissions (mesurée par ALTI+).
  • Évaluation par LLM (GPT-as-Judge) : CPL obtient des scores supérieurs en termes de cohérence contextuelle, de fluidité et de terminologie.
• Ablation : La suppression de la perte inter-condition ($L_{cross}$) entraîne une baisse de performance, confirmant que l'apprentissage des interactions entre conditions est crucial.

5. Signification et Conclusion

Ce travail apporte une solution élégante au dilemme "contexte vs pas de contexte" en traduction automatique. Au lieu de forcer le modèle à utiliser le contexte ou de l'ignorer de manière binaire, CPL apprend une structure de préférence partagée.

Points forts :

• Efficacité : Pas de coût architectural supplémentaire.
• Adaptabilité : Le modèle devient capable de décider dynamiquement si le contexte améliore la traduction pour une phrase donnée.
• Généralité : La méthode est applicable à n'importe quel LLM de traduction et ne dépend pas d'une architecture spécifique.

En conclusion, l'article démontre que l'optimisation par préférence croisée est une voie prometteuse pour aligner le comportement de traduction sur des conditions d'entrée variées, améliorant la qualité globale et la robustesse des systèmes de traduction documentaires.