Résumé technique : STEEREVAL – Interventions au moment de l'inférence pour les métriques de résumé neural multilingue

Énoncé du problème

L'évaluation des tâches de génération de langage naturel (NLG), particulièrement le résumé, fait face à un goulot d'étranglement significatif dans les contextes multilingues. Bien que des métriques comme BLEU et ROUGE aient établi l'évaluation automatique, les tendances récentes favorisent les métriques basées sur des modèles (ex. : BERTScore, COMET) et les grands modèles de langage (LLM) en tant que juges, en raison de leur plus forte corrélation avec les jugements humains. Cependant, des études empiriques indiquent que ces métriques multilingues échouent souvent à corréler correctement avec les jugements humains à travers diverses langues.

Les auteurs émettent l'hypothèse que cet écart de performance provient de l'architecture interne des LLM multilingues, qui utilisent fréquemment l'anglais comme « langue pivot » pour le traitement. Lorsqu'un modèle traite une langue à faibles ressources, les représentations internes peuvent être mal alignées avec ce pivot anglais, entraînant une dégradation des performances en aval. Ce désalignement, précédemment lié à des problèmes de traduction automatique, est proposé ici comme une cause profonde de la faible performance des métriques dans l'évaluation de la synthèse non anglaise.

Méthodologie

Le papier propose STEEREVAL, un cadre qui applique des interventions au moment de l'inférence pour « diriger » (steer) les activations internes des métriques neurales vers un pivot anglais. Cette approche ne nécessite aucun réentraînement du modèle. La méthodologie implique deux techniques d'intervention principales appliquées au moment du test :

1. Intervention basée sur les vecteurs : Basée sur l'hypothèse de la représentation linéaire, les auteurs calculent un vecteur de direction représentant le passage d'une langue source ($h_s$) vers l'anglais ($h_t$) en utilisant des données parallèles (jeu de données FLORES).

   • Le vecteur est calculé comme la différence entre les moyennes des représentations des langues cibles et sources : $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • Lors de l'inférence, ce vecteur est ajouté aux activations du modèle : $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, où $\rho$ contrôle la force de la direction.

2. Intervention basée sur les cartes (Map-based) : Inspirée par des travaux récents sur la génération translingue, cette méthode apprend une matrice de mappage linéaire $W_l$ qui projette les représentations de la langue source dans l'espace de la langue cible.

   • La mappage est appris en minimisant la distance entre les représentations sources et cibles sur des données parallèles.
   • Lors de l'inférence, la représentation source est projetée et mélangée avec l'originale : $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, où $\sigma$ contrôle le degré de déviation.

Les auteurs évaluent ces interventions sur deux types de métriques :

• LLM-as-a-Judge (LLM comme juge) : Prompting direct (notation de 1 à 5) et GPTScore (utilisant les probabilités de génération conditionnelle). Les modèles testés incluent Llama-3-8B, Bloom-7B, et Aya-Expanse (8B et 32B).
• Métrique basée sur un encodeur : COMET (spécifiquement le modèle wmt22-comet-da), qui est typiquement utilisé pour la traduction automatique mais adapté ici pour le résumé.

L'évaluation est menée sur un ensemble de données de méta-évaluation couvrant huit langues typologiquement diverses (arabe, espagnol, hébreu, japonais, turc, ukrainien, yoruba, chinois) avec des jugements humains sur la cohérence et l'exhaustivité.

Résultats clés

L'étude démontre que diriger les activations vers un pivot anglais améliore systématiquement la corrélation entre les métriques neurales et les jugements humains :

• Amélioration générale : Les méthodes de direction (Vecteur et Carte) améliorent presque toujours la corrélation par rapport aux bases de référence non dirigées. Dans de nombreux cas, particulièrement là où la performance de base était faible, l'amélioration relative ($\Delta\%$) a dépassé 100 %, doublant ainsi l'efficacité de la corrélation.
• Impact sur les langues à faibles ressources : Les langues ayant une performance de base plus faible (ex. : hébreu, turc, yoruba) ont le plus bénéficié de la direction. Par exemple, le prompting direct de Bloom-7B sur la cohérence en japonais est passé d'une corrélation proche de zéro à 0,18 après l'intervention.
• Spécificité de la métrique :
  • COMET : A montré une grande réactivité à la direction, avec des améliorations importantes dans presque toutes les langues et dimensions.
  • Prompting direct : A présenté un comportement très variable. Bien que les gains relatifs soient souvent spectaculaires, ils surviennent fréquemment lorsque les corrélations de base sont proches de zéro, résultant en des corrélations absolues modestes.
  • GPTScore : A bénéficié modérément de la direction, avec des rendements décroissants observés lorsque les corrélations de base étaient déjà fortes.
• Vecteur vs Carte : La direction par vecteur a généralement produit des gains plus importants que la direction par carte, particulièrement pour COMET et les paires langue-métrique les moins performantes. Cependant, la force de direction optimale ($\rho$ ou $\sigma$) varie considérablement selon la langue, suggérant qu'un paramètre global unique est sous-optimal.
• Langue pivot : Des expériences utilisant le français comme pivot alternatif ont également entraîné des améliorations significatives, soutenant l'hypothèse que diriger vers une langue à hautes ressources et bien alignée améliore la performance.

Contributions clés

1. Direction d'activation pour les métriques : Le papier introduit et valide l'application des techniques de direction d'activation aux métriques de résumé multilingue. C'est la première exploration de la direction pour les métriques basées sur des encodeurs (comme COMET) et montre des améliorations constantes pour les évaluateurs basés sur les LLM.
2. Méta-analyse multilingue : Les auteurs fournissent une méta-analyse complète des métriques de résumé basées sur des modèles à travers huit langues diverses, soulignant l'inconsistance des approches actuelles de type « LLM-as-a-judge » dans les contextes non anglais.
3. Similitude de vecteur translingue : L'étude mesure empiriquement la similitude des vecteurs de direction langue-vers-anglais à travers les couches. Elle constate que ces vecteurs sont largement similaires d'une langue à l'autre (sauf pour des exceptions comme le yoruba), corroborant les travaux antérieurs sur la géométrie partagée des représentations linguistiques.

Signification et affirmations

Le papier affirme que la dépendance interne des LLM multilingues vis-à-vis de l'anglais comme pivot est un facteur critique limitant la fiabilité de l'évaluation automatique dans d'autres langues. En corrigeant explicitement ce désalignement au moment de l'inférence, STEEREVAL offre une méthode pratique, sans réentraînement, pour améliorer la performance des métriques.

Les auteurs positionnent ce travail comme une étape vers l'exploitation des connaissances internes des modèles pour des scénarios d'évaluation pratique. Ils notent que bien que leur attention se porte sur le résumé, les résultats suggèrent que la direction pourrait être une stratégie généralisable pour améliorer la généralisation multilingue dans les métriques neurales. Le papier reste modeste quant aux implications futures, suggérant que les travaux futurs pourraient explorer la combinaison d'interventions spécifiques à la langue et à la dimension, mais ne propose pas de nouvelles applications spécifiques au-delà du champ de l'évaluation des métriques.