💬 NLP

SEA-Embedding: Open and Reproducible Text Embeddings for Southeast Asia

Cet article présente SEA-Embedding, un pipeline de plongement lexical (text-embedding) entièrement ouvert et reproductible, entraîné exclusivement à partir de données publiquement disponibles pour remédier au manque de robustesse et de reproductibilité des modèles de langue d'Asie du Sud-Est, tout en analysant systématiquement les facteurs de conception clés pour atteindre des performances de pointe sur le benchmark SEA-BED.

Auteurs originaux : Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante où chaque livre est écrit dans une langue différente de l'Asie du Sud-Est. Maintenant, imaginez que vous vouliez construire un bibliothécaire super intelligent capable de comprendre instantanément qu'une histoire sur la « pluie » en thaï signifie la même chose que « pluie » en vietnamien, même si les mots se ressemblent complètement. Ce bibliothécaire s'appelle un Embedding de Texte (ou Text Embedding).

Pendant longtemps, les meilleurs bibliothécaires du monde ont été construits par de grandes entreprises technologiques utilisant des recettes secrètes et des données privées. Vous ne pouviez pas voir comment ils fonctionnaient, et ils avaient souvent du mal à comprendre les langues de l'Asie du Sud-Est, les traitant comme des citoyennes de seconde zone par rapport à l'anglais ou au chinois.

Le document que vous avez partagé présente SEA-Embedding, un nouveau bibliothécaire entièrement open-source, construit spécifiquement pour l'Asie du Sud-Est. Voici comment ils l'ont construit et pourquoi cela fonctionne, expliqué simplement :

1. Le Problème : Les bibliothécaires « Boîte Noire »

La plupart des bibliothécaires de haut niveau aujourd'hui sont des « boîtes noires ». Nous savons qu'ils sont intelligents, mais nous ne savons pas exactement quels livres ils ont lus ni comment ils ont appris. Comme leurs données d'entraînement sont secrètes, nous ne pouvons pas les corriger s'ils font des erreurs, et ils échouent souvent lorsqu'on leur demande de comprendre les divers dialectes et langues de l'Asie du Sud-Est.

2. La Solution : Une cuisine transparente et ouverte

Les auteurs ont construit SEA-Embedding comme un livre de recettes que n'importe qui peut utiliser. Ils n'ont utilisé aucun ingrédient secret. Ils n'ont utilisé que des données qui sont déjà publiques et gratuiles sur Internet.

L'Objectif : Créer un bibliothécaire qui est non seulement intelligent, mais aussi reproductible. Si vous voulez construire votre propre version, vous pouvez suivre leurs étapes exactes et obtenir le même résultat.

3. Les trois ingrédients secrets (La « Recette »)

Les chercheurs ont testé trois éléments principaux pour voir ce qui rend un bibliothécaire véritablement robuste pour cette région. Considérez cela comme les trois piliers de sa construction :

A. La liste de lecture (Composition des données)

Pour être un bon bibliothécaire, il faut lire beaucoup de choses différentes.

Le mélange : Ils n'ont pas seulement lu un type de livre. Ils ont combiné 245 millions de paires de textes généraux (comme des actualités et des histoires pour comprendre les langues de manière large) avec 14 millions de textes d'instruction (comme des paires de questions-réponses pour comprendre comment accomplir des tâches).
L'analogie : Imaginez former un chef. Si vous ne lui donnez qu'un livre de cuisine, il connaît les recettes mais ne sait pas improviser. Si vous ne lui donnez qu'une liste de commandes, il sait ce que les gens veulent mais ne sait pas cuisiner. SEA-Embedding donne au modèle à la fois le livre de cuisine et les commandes, afin qu'il comprenne la langue et comment l'utiliser.

B. Les exercices d'entraînement (Conception de l'objectif)

Comment apprendre au bibliothécaire à être cohérent ?

Apprentissage contrastif symétrique (SCL) : C'est comme un jeu de « Trouver la correspondance ». Le modèle se voit présenter deux phrases qui signifient la même chose et on lui dit : « Elles sont jumelles ! ». Il voit aussi des phrases qui sont différentes et on lui dit : « Ce sont des étrangères ! ». Ils ont ajouté une variante spéciale appelée « repondération focale », qui revient à accorder une attention supplémentaire de l'enseignant aux élèves qui rencontrent le plus de difficultés, plutôt qu'à ceux qui réussissent facilement.
Appariement de la distribution de similitude (SDM) : C'est la « Classe de Maître ». Le modèle (l'élève) essaie de copier le comportement d'un modèle expert préexistant très performant (le professeur). L'élève ne se contente pas de copier les réponses ; il essaie de copier la manière dont le professeur réfléchit à la similitude entre deux éléments.
Le Résultat : Cette combinaison force le modèle à créer une carte mentale très organisée où les idées similaires sont toujours proches les unes des autres, quelle que soit la langue.

C. Le point de départ (Encodeur de base)

On peut partir d'un étudiant intelligent ou d'un moins expérimenté.

L'équipe a testé leur recette sur différents modèles « de base » (certains petits, d'autres grands).
La Découverte : Quel que soit l'étudiant avec lequel ils ont commencé, la recette a fonctionné. Elle a amélioré chacun d'entre eux. Cependant, commencer avec un étudiant légèrement plus grand et plus intelligent (le modèle E5-Large) a donné les meilleurs résultats finaux.

4. Les Résultats : Un nouveau champion

Lorsqu'ils ont testé leur nouveau bibliothécaire contre les champions actuels (les modèles « boîte noire ») :

SEA-Embedding a gagné. Il a obtenu le score moyen le plus élevé sur un test difficile appelé SEA-BED, qui couvre 10 langues d'Asie du Sud-Est et 9 types de tâches différents.
Il est particulièrement bon pour les tâches difficiles : Il est nettement plus performant sur les langues à faibles ressources (comme le lao et le khmer) par rapport aux autres modèles qui privilégient généralement les grandes langues comme l'indonésien ou le thaï.
Il est ouvert : Contrairement aux vainqueurs du passé, vous pouvez voir leur code, télécharger leurs données et lancer l'expérience vous-même.

Résumé

L'article affirme qu'en étant transparent, en utilisant un mélange de données générales et d'instructions, et en utilisant une méthode d'entraînement spécifique en deux étapes (apprendre à partir de correspondances et copier un maître enseignant), ils ont créé le meilleur modèle d'embedding de texte pour l'Asie du Sud-Est à ce jour. C'est un modèle qui fonctionne mieux, qui est plus équitable pour les petites langues, et qui est ouvert pour que tout le monde puisse l'inspecter et l'améliorer.

Résumé Technique : SEA-Embedding

Énoncé du Problème

Les plongements de texte (embeddings) sont essentiels pour les applications de traitement du langage naturel (NLP) en aval, pourtant, les modèles de pointe actuels font face à deux limitations significatives concernant les langues de l'Asie du Sud-Est (SEA) :

Manque de Reproductibilité : La plupart des modèles performants reposent sur des données d'entraînement fermées ou non divulguées, ce qui empêche toute analyse systématique et tout réentraînement.
Robustesse Insuffisante : Les modèles qui excellent sur les benchmarks mondiaux (ex. : MMTEB) sont souvent moins performants sur les évaluations spécifiques à la région SEA (ex. : SEA-BED). La diversité linguistique de la région est élevée, et les gains de performance issus des contextes à hautes ressources ne se transfèrent pas toujours efficacement aux langues de la SEA.

Méthodologie

Les auteurs introduisent SEA-Embedding, un pipeline de plongement de texte entièrement ouvert et reproductible, entraîné exclusivement sur des données publiquement disponibles. Le pipeline est conçu pour étudier systématiquement trois facteurs fondamentaux de la conception d'embeddings robustes : la Composition des Données, l'Objectif d'Entraînement et l'Initialisation de l'Encodeur de Base.

1. Composition des Données (RQ1)

Le pipeline utilise un ensemble de données à deux catégories totalisant 259 millions d'échantillons :

Données Générales (245M d'échantillons) : Provenant de ressources telles que FineTranslations et CCMatrix pour assurer une large couverture régionale à travers les langues de la SEA.
Données d'Instruction (14M d'échantillons) : Provenant d'ensembles de données multilingues pour tâches spécifiques (ex. : MIRACL, SEA-Instruct) avec des instructions préfixées pour améliorer la conscience des tâches et la généralisation.
Format : Les données sont formatées sous forme de triplets (ancre, positif, négatif) ou de paires de textes (ancre, positif).

2. Conception de l'Objectif d'Entraînement (RQ2)

Les auteurs proposent un objectif à deux étapes pour équilibrer la discrimination locale et la cohérence globale :

Apprentissage Contrastif Symétrique (SCL) : Contra-rent à l'apprentissage contrastif standard, cette étape emploie un InfoNCE symétrique avec un repondération focale (focal reweighting). Elle traite les paires ancre-positif et positif-ancre de manière symétrique et utilise un poids focal ( $w_i = (1 - j_i)^\gamma$ ) pour mettre l'accent sur les exemples difficiles.
Appariement de Distribution de Similitude (SDM) : Cette étape effectue une distillation de connaissances pour faire correspondre la distribution de similitude du modèle étudiant à la distribution du modèle enseignant sur une large file d'attente mémoire (65 536 entrées).
- Modèle Enseignant : Un encodeur pré-entraîné puissant (Wang et al., 2024c).
- Mécanisme : L'étudiant imite la distribution de similitude de l'enseignant en utilisant la divergence KL ( $L_{sdm} = KL(D_t \parallel D_s)$ ).
- Conception de la Température : La température de l'étudiant ( $\tau_s$ ) est fixée plus bas que celle de l'enseignant ( $\tau_t$ ) pour créer une distribution d'étudiant plus nette, forçant l'étudiant à apprendre un espace d'embedding plus précis.

3. Initialisation de l'Encodeur de Base (RQ3)

Le pipeline est instancié sur différents encodeurs de base pour tester la transférabilité et les compromis entre efficacité et performance :

Petite Échelle : SEA-LION-ModernBERT-300M.
Grande Échelle : E5-Large (600 millions de paramètres).
Ablation : L'étude teste également XLMR-Large, mmBERT-base et SEA-LION-ModernBERT-base pour vérifier si les bénéfices du pipeline se généralisent au-delà des initialisations spécifiques.

Résultats Clés

Le modèle a été évalué sur SEA-BED, un benchmark hors domaine couvrant 10 langues d'Asie du Sud-Est, 9 types de tâches et 169 ensembles de données.

Performance de Pointe (State-of-the-Art) :
- SEA-Embedding-E5-Large-600M a atteint un score moyen par langue de 0,800 sur SEA-BED, surpassant le précédent meilleur modèle ouvert (multilingual-e5-large-instruct à 0,789) et dépassant nettement le beaucoup plus grand Qwen3-Embedding-8B (0,773).
- SEA-Embedding-ModernBERT-300M a obtenu un score de 0,760, surpassant d'autres petits modèles comme harrier-oss-v1-270m (0,753) et embeddinggemma-300m (0,704).
Gains pour les Langues à Faibles Ressources : Le modèle a montré des améliorations particulièrement fortes sur les langues à faibles ressources telles que le lao, le khmer et le birman par rapport aux modèles entraînés principalement sur les langues de la SEA à hautes ressources (indonésien, thaï, vietnamien).
Insights d'Ablation :
- Données : Supprimer soit les données générales, soit les données d'instruction a provoqué des chutes de performance significatives. Crucialement, supprimer les données d'instruction non-SEA (ex. : arabe, MIRACL thaï) a réduit le score de 0,800 à 0,755, indiquant la valeur de la diversité des tâches multilingues.
- Objectifs : Supprimer la perte SDM a réduit le score de 0,800 à 0,776. Remplacer SDM par une distillation de connaissances standard (L2-KD) ou CKD a entraîné une dégradation supplémentaire. La conception de la température ( $\tau_s < \tau_t$ ) était également critique.
- Modèles de Base : Le pipeline améliore systématiquement divers encodeurs de base (pré-entraînés par MLM et par contraste), avec des gains allant de +0,294 à +0,366 dans les scores moyens par langue, suggérant que la recette n'est pas liée à une seule initialisation.

Signification et Contributions

L'article revendique trois contributions principales :

Cadre Reproductible : SEA-Embedding fournit un pipeline transparent avec un code ouvert, des données ouvertes (uniquement des données publiques) et un environnement entièrement reproductible, permettant des comparaisons contrôlées et des analyses d'échec actuellement impossibles avec les modèles fermés.
Perspectives Empiriques : L'étude isole les effets spécifiques de la composition des données, de la conception de l'objectif et de l'initialisation de l'encodeur de base sur la robustesse de la SEA, fournissant une "recette de conception" pour les futurs modèles.
Performance Robuste : Il établit un nouveau niveau de pointe pour les plongements de texte de la SEA tout en démontrant qu'une haute performance peut être atteinte grâce à une ingénierie systématique de données et d'objectifs ouverts plutôt qu'en s'appuyant sur des données propriétaires non divulguées.

Les auteurs notent que bien que le pipeline soit agnostique à la région et adaptable, l'étude actuelle se concentre sur la construction d'une fondation robuste plutôt que sur la couverture exhaustive de chaque dialecte ou application spécifique à un domaine (ex. : texte financier), laissant ces aspects aux travaux futurs.