Résumé technique : Évaluation de la qualité basée sur des modèles pour les données parallèles massivement multilingues

1. Énoncé du problème

La construction de corpus parallèles multilingues à grande échelle est confrontée à un double défi : la disponibilité et la qualité des données. Bien que les textes bilingues extraits du web et générés automatiquement étendent la couverture aux langues à faibles ressources, ils contiennent fréquemment des paires de phrases bruitées, incohérentes ou de faible qualité. Ces paires souffrent de deux modes de défaillance distincts :

1. Non-parallélisme : Les phrases sources et cibles n'expriment pas le même contenu (c'est-à-dire qu'elles ne sont pas des traductions l'une de l'autre).
2. Faible qualité de traduction : La paire est parallèle mais contient des omissions, des ajouts, des erreurs de traduction ou des erreurs de fluidité.

L'inspection manuelle est irréalisable à l'échelle de milliers de directions de traduction. Les méthodes d'évaluation automatique existantes reposent souvent sur un modèle ou une métrique « universelle » unique, ce qui ne tient pas compte de la distribution inégale de la performance des modèles sur la longue traîne des directions multilingues. L'article postule qu'un score de qualité générique unique occulte différents modes de défaillance et qu'aucun modèle unique n'est de manière fiable calibré pour toutes les paires de langues.

2. Méthodologie

Les auteurs décomposent la tâche d'évaluation en deux composantes indépendantes mais complémentaires : l'Évaluation du Parallélisme et l'Estimation de la Qualité (QE) sans référence. Ils proposent un cadre de routage sensible à la direction où le modèle et les seuils optimaux sont sélectionnés en fonction de l'étalonnage empirique pour chaque direction de traduction spécifique ($d = \ell_s \to \ell_t$).

2.1 Composante 1 : Évaluation du parallélisme

Cette composante détermine si une phrase source $x$ et une cible $\hat{y}$ expriment le même contenu.

• Mécanisme : Utilise des modèles d'encastrement de phrases (embeddings) multilingues pour calculer la similitude cosinus dans un espace d'encastrement.
• Modèles évalués : Quatre modèles d'encastrement : Harrier, mE5-large, GTE et Jina-v3.
• Étalonnage : Évalué sur les tâches de recherche FLORES-200 et BOUQuET couvrant 6 654 directions source-cible. La performance est mesurée par le Rang Réciproque Moyen (MRR) pour déterminer quel modèle récupère le plus fiablement la traduction correcte pour une phrase source donnée.
• Stratégie de routage : Pour chaque direction, le modèle ayant le MRR le plus élevé est sélectionné comme aligneur sémantique.

2.2 Composante 2 : Estimation de la Qualité (QE) sans référence

Cette composante évalue la fluidité et l'adéquation d'une traduction candidate sans nécessiter de référence de base lors de l'inférence.

• Mécanisme : Les évaluateurs attribuent directement un score de qualité scalaire à la paire $(x, \hat{y})$.
• Modèles évalués : Neuf évaluateurs sans référence, incluant des modèles basés sur des encodeurs (COMETKiwi, xCOMET), des métriques apprises (MetricX), des modèles de récompense (ReMedy), des juges LLM (M-Prometheus, famille Qwen3) et des nettoyeurs (Bicleaner).
• Étalonnage : Évalué sur des traductions professionnelles de FLORES-200 à travers 41 412 directions ordonnées. Comme FLORES-200 manque d'étiquettes QE, il sert de benchmark de substitution. L'hypothèse est que les évaluateurs robustes doivent attribuer des scores élevés et stables à ces traductions professionnelles.
• Stratégie de routage : Pour chaque direction, l'évaluateur qui attribue le score moyen le plus élevé aux traductions professionnelles est sélectionné.

2.3 Calibrage sensible à la direction

Le cœur de la méthodologie consiste à étalonner les modèles par direction pour établir :

1. Sélection de modèle : Identifier le meilleur modèle pour une paire de langues spécifique.
2. Seuillage : Définir des seuils spécifiques à la direction ($\tau_d$ pour le parallélisme, $\gamma_d$ pour la QE) basés sur les distributions de scores.
3. Analyse d'ensemble : Tester si des ensembles non supervisés (moyenne, médiane, moyenne pondérée) fournissent des signaux plus cohérents que le routage par modèle unique.

3. Résultats clés

3.1 Évaluation du parallélisme (RQ1)

• Absence de dominance universelle : Aucun modèle d'encastrement ne domine toutes les 6 654 directions.
• Variance de performance : Harrier a obtenu le MRR moyen le plus élevé (0,963) et a été sélectionné pour 3 047 directions. mE5-large était compétitif (MRR de 0,953, 2 013 directions). Jina-v3 a été sélectionné pour 1 540 directions malgré un MRR moyen inférieur, indiquant une force spécifique dans certains couples. GTE a été rarement sélectionné (54 directions).
• Conclusion : L'évaluation du parallélisme bénéficie considérablement de la sélection de modèles par direction plutôt que d'un modèle global uniforme.

3.2 QE sans référence (RQ1 & RQ2)

• Variance des modèles : Similairement au parallélisme, aucun modèle de QE n'est universellement meilleur.
  • ReMedy a remporté le plus de directions (39,5 %) mais avait une moyenne macro plus faible (0,5489).
  • MetricX avait la moyenne macro la plus élevée (0,6228) mais moins de victoires au niveau des directions.
  • Qwen3-4B a démontré la plus grande stabilité de rang (écart-type le plus faible).
• Analyse de marge : Près de la moitié (48,49 %) des directions ont été décidées par une marge de score de moins de 0,05 entre les deux meilleurs modèles, limitant la confiance pour déclarer un évaluateur supérieur unique.
• Échec des ensembles (RQ2) : Les ensembles non supervisés naïfs (moyenne, médiane, pondérée) ont dilué les signaux des modèles forts.
  • Les ensembles non restreints ont obtenu des scores nettement inférieurs (ex: Moyenne : 0,4630) aux meilleurs modèles uniques (MetricX : 0,6228).
  • Même les ensembles sensibles à la couverture (restreignant aux modèles supportant les deux langues) ont été surpassés par le meilleur modèle unique (Qwen3-4B : 0,8498) sur le même sous-ensemble.
• Conclusion : Le routage vers le meilleur évaluateur unique est plus efficace que l'agrégation simple.

3.3 Couverture et Asymétrie (RQ3)

• Effet de couverture : La couverture linguistique documentée est fortement associée à des scores QE plus élevés. Les évaluateurs performent mieux lorsque les deux langues source et cible sont documentées comme supportées.
• Asymétrie du côté cible : Dans les scénarios de couverture mixte, la couverture de la langue cible est systématiquement plus importante que celle de la langue source.
  • Exemple : Les scores de Qwen3-4B sont passés de 0,411 (source uniquement) à 0,650 (cible uniquement).
  • Cela suggère que la QE sans référence est très sensible à la compétence de l'évaluateur dans la langue cible (fluidité, acceptabilité).
• Limites de la couverture : Même avec un routage optimal, 18,3 % des directions avaient les meilleurs scores disponibles inférieurs à 0,5, indiquant que les traductions professionnelles dans certaines directions ne reçoivent que des scores modérés de la part des évaluateurs disponibles.

4. Contributions clés

1. Cadre de décomposition : Propose de séparer l'évaluation du parallélisme (alignement sémantique) de l'estimation de la qualité de traduction (fluidité/adéquation) comme des tâches distinctes et spécifiques à la direction.
2. Routage sensible à la direction : Démontre que la fiabilité des modèles n'est pas uniforme à travers l'inventaire multilingue. L'article préconise une stratégie de routage où le modèle et les seuils optimaux sont sélectionnés par direction de traduction sur la base de benchmarks empiriques.
3. Étalonnage de substitution : Utilise les traductions professionnelles de FLORES-200 comme un substitut évolutif et de haute qualité pour évaluer les modèles de QE sans référence à travers 41 412 directions, contournant ainsi l'absence de données de QE étiquetées par des humains pour les langues à faibles ressources.
4. Analyse d'ensemble : Fournit une preuve empirique que les ensembles non supervisés naïfs dégradent les performances dans ce contexte en diluant les signaux forts des modèles de premier rang.
5. Aperçus sur la couverture : Identifie que la couverture de la langue cible est un prédicteur critique de la performance de la QE, plus encore que la couverture de la langue source.

5. Signification et affirmations

L'article affirme que l'évaluation des données parallèles massivement multilingues doit être reformulée comme un problème de routage et de calibrage sensible à la direction.

• Rejet des métriques universelles : L'étude s'oppose à la recherche d'un modèle « universellement meilleur » pour toutes les langues. Au lieu de cela, la fiabilité doit être évaluée par rapport à des paires de langues spécifiques.
• Filtrage pratique : Le cadre proposé offre une méthode pour identifier des signaux basés sur des modèles pouvant soutenir le filtrage de corpus à grande échelle, en reconnaissant que différents modes de défaillance (non-parallélisme vs mauvaise qualité) nécessitent différents mécanismes de détection.
• Portée modeste : Les auteurs déclarent explicitement que ce travail fournit un cadre d'évaluation basé sur des benchmarks et ne prétend pas que leur stratégie de routage améliore nécessairement les résultats de l'apprentissage de la MT ou des LLM en aval. La contribution est l'identification de signaux fiables pour la sélection de données, et non la validation de la performance en aval.
• Limites : L'article reconnaît que le benchmark de QE est un substitut « uniquement positif » (testant la reconnaissance de la haute qualité plutôt que le rejet du bruit) et que les benchmarks de parallélisme peuvent ne pas capturer pleinement les motifs de bruit des grands corpus dérivés d'OPUS. Les seuils dérivés de ces benchmarks doivent être interprétés avec prudence, particulièrement pour les directions à faibles ressources où les preuves de benchmark sont rares.