Résumé technique : La rareté des jeux de données limite l'évaluation robuste des modèles d'embeddings multilingues

Énoncé du problème

Les modèles d'embeddings de texte multilingues sont essentiels pour le transfert de connaissances translingues en TAL, pourtant leur évaluation reste très inégale entre les langues à hautes, moyennes et faibles ressources. Les benchmarks existants, tels que MTEB et MMTEB, agrègent les performances par un simple calcul de moyenne de métriques hétérogènes. Cette approche suppose implicitement la comparabilité des jeux de données tout en ignorant les corrélations entre les jeux de données et les déséquilibres de couverture des tâches et des langues.

Le problème central traité est qu'une stabilité apparente dans le classement des benchmarks peut être un artefact de la rareté des jeux de données plutôt qu'une véritable robustesse du modèle. Dans les contextes de faibles ressources, un modèle peut systématiquement arriver en tête simplement parce qu'un seul jeu de données existe, ou parce que plusieurs jeux de données disponibles sont hautement corrélés (redondants), ne fournissant aucune preuve indépendante de robustesse. Les cadres d'évaluation actuels ne parviennent pas à distinguer la stabilité réelle du modèle de la « stabilité apparente » découlant de ressources de benchmark éparses ou redondantes. Cela est particulièrement aigu pour les langues slaves qui, bien que parlées par plus de 300 millions de personnes, souffrent d'une sous-représentation dans les ressources de TAL et présentent des complexités linguistiques (ex. : morphologie riche, scripts mixtes) qui mettent à l'épreuve la généralisation translingue.

Méthodologie

Les auteurs proposent un cadre bidimensionnel pour analyser les benchmarks d'embeddings multilingues dans des conditions de rareté et de déséquilibre des jeux de données. Le cadre opère à travers deux périmètres d'évaluation et analyse trois aspects complémentaires :

1. Périmètres d'évaluation

• Analyse spécifique aux tâches : Évalue la stabilité du classement et la cohérence du transfert du top-$k$ au sein d'une langue et d'une tâche fixes.
• Analyse inter-tâches : Évalue si les modèles généralisent de manière cohérente à travers différentes familles de tâches au sein d'une même langue.

2. Trois aspects analytiques

• Stabilité du classement : Évalue si les classements des benchmarks restent stables sous :
  • Stabilité d'agrégation : Différentes méthodes de classement/agrégation (ex. : WSM, TOPSIS, VIKOR, PROMETHEE II avec diverses stratégies de pondération).
  • Stabilité de composition : Différentes compositions de jeux de données générées par la décorrélation de jeux de données hautement similaires (en utilisant des seuils de corrélation de Pearson).
• Cohérence du transfert Top-$k$ : Une extension quantitative des travaux antérieurs qui mesure la fiabilité avec laquelle les modèles individuels restent parmi les meilleurs performeurs. Contrairement à l'appartenance binaire, cette métrique attribue un crédit pondéré au rang, accordant un poids plus élevé aux modèles apparaissant systématiquement près du sommet du classement.
• Force de la preuve : Un composant novateur introduit pour quantifier la fiabilité des conclusions pour chaque paire langue-tâche.

3. Score de Force de la Preuve (ESS - Evidence Strength Score)

Le document introduit une mesure qualitative et quantitative pour caractériser la fiabilité des conclusions pour chaque paire langue-tâche :

• Niveaux de preuve qualitatifs : Les paires sont catégorisées en cinq niveaux ($E_0$ à $E_{RS+DS}$) basés sur la disponibilité des jeux de données ($n_{t,l}$) et le nombre de clusters de jeux de données décorrélés ($q_{t,l}$). Ces niveaux vont de « Aucune preuve » ($E_0$) à « Évaluabilité de la stabilité complète » ($E_{RS+DS}$), distinguant les preuves issues d'un seul jeu de données, les preuves de jeux de données redondants et les preuves véritablement diverses.
• Score quantitatif (ESS) : Un score de 0 à 1 combinant quatre facteurs :
  1. Disponibilité normalisée des jeux de données.
  2. Diversité effective des jeux de données (tenant compte de la redondance).
  3. Capacité à évaluer la stabilité d'agrégation.
  4. Capacité à évaluer la stabilité de composition.
     $$ESS(t, l) = \frac{1}{4}(A(t, l) + Div(t, l) + RS(t, l) + DS(t, l))$$

Le cadre applique ces métriques au sous-ensemble de langues slaves du benchmark MTEB, en utilisant 15 schémas de classement dérivés de méthodes de prise de décision multicritères et de stratégies de pondération.

Résultats clés

Éparsement et redondance des benchmarks

L'analyse révèle un éparsement sévère des benchmarks à travers les langues slaves :

• Couverture des tâches : Le russe atteint 100 % de couverture des tâches, tandis que des langues comme l'ukrainien, le bosniaque et le biélorusse ne couvrent que 25 à 37,5 % des tâches.
• Niveaux de preuve : De nombreuses paires langue-tâche reposent sur un seul jeu de données ($E_1$) ou des jeux de données hautement corrélés ($E_{SC}$). Les tâches de similitude textuelle sémantique (STS), de re-classement (Reranking) et de classification de paires sont sous-représentées, tombant souvent dans les catégories « aucune preuve » ($E_0$) ou « jeu de données unique » ($E_1$).
• Exception du minage de bitext : Le minage de bitext est la seule tâche possédant une couverture et une diversité suffisantes pour supporter une analyse de stabilité complète (stabilité d'agrégation et de composition) pour un large sous-ensemble de langues.

Stabilité du classement vs Force de la preuve

• Haute stabilité apparente : Là où la stabilité peut être évaluée (ex. : dans le minage de bitext), les classements sont hautement stables à travers les méthodes d'agrégation (Kendall's $W$ moyen $\approx 0,986$) et les compositions de jeux de données.
• Le piège de la rareté : Des scores de stabilité élevés dans des contextes de faible ESS (ex. : scénarios à jeu de données unique) n'indiquent pas une véritable robustesse ; ils reflètent simplement l'absence de variabilité dans le dispositif d'évaluation. Les auteurs soulignent que les conclusions de stabilité doivent être interprétées conjointement avec les valeurs d'ESS.

Performance des modèles

• Spécialistes par tâche : Différents modèles dominent des tâches spécifiques. Par exemple, les variantes de Qwen3-Embedding dominent la classification et la classification de paires ; LaBSE-ru-turbo et bilingual-embedding-large mènent en matière de recherche d'information (retrieval) ; et KaLM-Embedding-Gemma3 mène en classification multilabel.
• Généralistes inter-tâches : Un petit groupe de modèles démontre une cohérence de transfert inter-tâches stable à travers les langues slaves :
  • llama-embed-nemotron-8b : Émerge comme le modèle global le plus fort, dominant dans 55,6 % des langues analysées.
  • multilingual-e5-large-instruct : Perform de manière constante, dominant dans 33,3 % des langues.
  • Variantes de Qwen3-Embedding : Performent fortement, particulièrement en polonais et en russe.
• Dominance du clustering : llama-embed-nemotion-8b montre une cohérence quasi parfaite ($TC=1,00$) dans le clustering à travers toutes les langues, une tâche présentant une couverture relativement meilleure.

Cohérence du transfert inter-tâches

Contrairement aux résultats spécifiques aux tâches, qui varient considérablement selon la langue et le jeu de données, les classements inter-tâches sont hautement stables. L'analyse suggère que la spécialisation par tâche est la principale source de variabilité dans l'évaluation, plutôt que la variation linguistique. Les modèles généralistes (comme llama-embed-nemotron-8b) maintiennent des classements élevés à travers diverses familles de tâches, tandis que les spécialistes de tâches (comme bge-m3 dans le minage de bitext ou Octen-Embedding dans le STS) apparaissent rarement comme les meilleurs performeurs inter-tâches.

Signification et affirmations

L'article affirme que la rareté des benchmarks est un obstacle majeur à une évaluation multilingue fiable. Ses principales contributions sont :

1. Cadre méthodologique : Il fournit une approche structurée pour distinguer la véritable robustesse d'un modèle de la stabilité apparente causée par des données éparses ou redondantes.
2. Score de Force de la Preuve (ESS) : Il introduit une métrique pour qualifier explicitement la confiance que l'on peut accorder aux conclusions d'un benchmark, arguant que les classements sans un ESS élevé doivent être interprétés avec prudence.
3. Aperçu empirique : Il démontre que pour les langues slaves, les benchmarks actuels sont insuffisants pour tirer des conclusions robustes pour la plupart des paires langue-tâche. Les « gagnants » dans de nombreux scénarios de faibles ressources sont souvent des artefacts d'une couverture d'évaluation limitée.
4. Identification de modèles robustes : Malgré les limites de données, l'étude identifie un petit groupe de grands modèles multilingues (llama-embed-nemotron-8b, multilingual-e5-large-instruct, Qwen3-Embedding) qui se généralisent de manière cohérente à travers les tâches et les langues, suggérant qu'ils sont les choix les plus fiables pour les tâches d'embeddings multilingues à usage général.

Les auteurs concluent que les évaluations futures doivent aller au-delà des simples scores agrégés pour inclure la quantification de la force de la preuve, et que la communauté du TAL a besoin de ressources de benchmark plus riches, plus équilibrées et moins redondantes pour soutenir une évaluation fiable dans les contextes multilingues à faibles ressources.