💬 NLP

SEA-Embedding: Open and Reproducible Text Embeddings for Southeast Asia

Dieses Paper stellt SEA-Embedding vor, eine vollständig offene und reproduzierbare Text-Embedding-Pipeline, die ausschließlich mit öffentlich verfügbaren Daten trainiert wurde, um den Mangel an Robustheit und Reproduzierbarkeit bei Modellen für südostasiatische Sprachen zu adressieren, während sie gleichzeitig entscheidende Designfaktoren systematisch analysiert, um eine State-of-the-Art-Leistung auf dem SEA-BED-Benchmark zu erzielen.

Ursprüngliche Autoren: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige Bibliothek, in der jedes Buch in einer anderen südostasiatischen Sprache geschrieben ist. Und stellen Sie sich nun vor, Sie möchten einen superintelligenten Bibliothekar bauen, der sofort versteht, dass eine Geschichte über „Regen“ auf Thai dasselbe bedeutet wie „Regen“ auf Vietnamesisch, obwohl die Wörter völlig unterschiedlich aussehen. Dieser Bibliothekar wird als Text Embedding bezeichnet.

Lange Zeit waren die besten Bibliothekare der Welt von großen Tech-Unternehmen gebaut, die geheime Rezepte und private Daten verwendeten. Man konnte nicht sehen, wie sie funktionierten, und sie hatten oft Schwierigkeiten mit südostasiatischen Sprachen, da sie diese wie Bürger zweiter Klasse im Vergleich zu Englisch oder Chinesisch behandelten.

Das von Ihnen geteilte Paper stellt SEA-Embedding vor, einen neuen, vollständig Open-Source-Bibliotekar, der speziell für Südostasien entwickelt wurde. Hier ist, wie sie ihn gebaut haben und warum er funktioniert, einfach erklärt:

1. Das Problem: Die „Black Box“-Bibliothekare

Die meisten erstklassigen Bibliothekare von heute sind „Black Boxes“. Wir wissen, dass sie intelligent sind, aber wir wissen nicht genau, welche Bücher sie gelesen haben oder wie sie gelernt haben. Da ihre Trainingsdaten geheim sind, können wir sie nicht korrigieren, wenn sie Fehler machen, und sie scheitern oft daran, die vielfältigen Dialekte und Sprachen Südostasiens zu verstehen.

2. Die Lösung: Eine transparente, offene Küche

Die Autoren haben SEA-Embedding wie ein Rezeptbuch gebaut, das jeder nutzen kann. Sie haben keine geheimen Zutaten verwendet. Sie haben nur Daten verwendet, die bereits öffentlich und kostenlos im Internet verfügbar sind.

Das Ziel: Einen Bibliothekar zu erschaffen, der nicht nur intelligent, sondern auch reproduzierbar ist. Wenn Sie Ihre eigene Version bauen wollen, können Sie deren exakte Schritte befolgen und das gleiche Ergebnis erhalten.

3. Die drei geheimen Zutaten (Das „Rezept“)

Die Forscher haben drei Hauptaspekte getestet, um zu sehen, was einen Bibliothekar für diese Region wirklich robust macht. Betrachten Sie dies als die drei Säulen ihres Aufbaus:

A. Die Leseliste (Datenzusammensetzung)

Um ein guter Bibliothekar zu sein, muss man viel Verschiedenes lesen.

Die Mischung: Sie haben nicht nur eine Art von Buch gelesen. Sie kombinierten 245 Millionen allgemeine Textpaare (wie Nachrichten und Geschichten, um die Sprachen breit zu verstehen) mit 14 Millionen Instruktionstexten (wie Frage-Antwort-Paaren, um zu verstehen, wie man Aufgaben ausführt).
Die Analogie: Stellen Sie sich vor, Sie trainieren einen Koch. Wenn Sie ihm nur ein Kochbuch geben, kennt er Rezepte, kann aber nicht improvisieren. Wenn Sie ihm nur eine Liste von Bestellungen geben, weiß er, was die Leute wollen, aber nicht, wie man kocht. SEA-Embedding gibt dem Modell sowohl das Kochbuch als auch die Bestellungen, sodass es die Sprache und deren Anwendung gleichermaßen versteht.

B. Die Trainingsübungen (Objective Design)

Wie bringt man den Bibliothekar bei, konsistent zu sein?

Symmetric Contrastive Learning (SCL): Dies ist wie ein Spiel von „Finde das Paar“. Dem Modell werden zwei Sätze gezeigt, die dasselbe bedeuten, und es wird gesagt: „Das sind Zwillinge!“ Es sieht auch Sätze, die unterschiedlich sind, und bekommt die Rückmeldung: „Das sind Fremde!“ Sie fügten einen besonderen Kniff namens „Focal Reweighting“ hinzu, was so ist, als würde der Lehrer den Schülern, die am meisten Schwierigkeiten haben, besondere Aufmerksamkeit schenken, anstatt sich nur auf die einfachen zu konzentrieren.
Similarity Distribution Matching (SDM): Dies ist die „Meisterklasse“. Das Modell (der Schüler) versucht, das Verhalten eines sehr starken, bereits existierenden Expertenmodells (des Lehrers) zu kopieren. Der Schüler kopiert nicht nur die Antworten; er versucht, die Art und Weise zu kopieren, wie der Lehrer darüber nachdenkt, wie ähnlich sich zwei Dinge sind.
Das Ergebnis: Diese Kombination zwingt das Modell dazu, eine sehr organisierte mentale Landkarte zu erstellen, auf der ähnliche Ideen immer nah beieinander liegen, unabhängig von der Sprache.

C. Der Ausgangspunkt (Base Encoder)

Man kann mit einem klugen Studenten oder einem weniger erfahrenen Studenten beginnen.

Das Team hat ihr Rezept auf verschiedenen „Basis“-Modellen getestet (einige klein, einige groß).
Die Erkenntnis: Unabhängig davon, mit welchem Studenten sie begannen, funktionierte das Rezept. Es verbesserte jeden einzelnen. Dennoch lieferte der Start mit einem etwas größeren, klügeren Studenten (dem E5-Large Modell) die besten Endergebnisse.

4. Die Ergebnisse: Ein neuer Champion

Als sie ihren neuen Bibliothekar gegen die aktuellen Champions (die „Black Box“-Modelle) testeten:

SEA-Embedding gewann. Es erreichte die höchste Durchschnittsbewertung in einem schwierigen Test namens SEA-BED, der 10 verschiedene südostasiatische Sprachen und 9 verschiedene Aufgabenarten abdeckt.
Es ist besonders gut in den schwierigen Dingen: Es schnitt bei Ressourcen-armen Sprachen (wie Lao und Khmer) signifikant besser ab als andere Modelle, die normalerweise große Sprachen wie Indonesisch oder Thai bevorzugen.
Es ist offen: Im Gegensatz zu den Gewinnern der Vergangenheit können Sie deren Code einsehen, deren Daten herunterladen und das Experiment selbst durchführen.

Zusammenfassung

Das Paper behauptet, dass sie durch Transparenz, die Verwendung einer Mischung aus allgemeinen und Instruktionsdaten sowie eine spezifische zweistufige Trainingsmethode (Lernen aus Übereinstimmungen und Kopieren eines Meisterlehrers) das bisher beste Text-Embedding-Modell für Südostasien geschaffen haben. Es ist ein Modell, das besser funktioniert, fairer gegenüber kleineren Sprachen ist und offen für alle ist, damit man es inspizieren und verbessern kann.

Technisches Resümee: SEA-Embedding

Problemstellung

Text-Embeddings sind entscheidend für nachgelagerte Anwendungen der natürlichen Sprachverarbeitung (NLP), doch aktuelle State-of-the-Art-Modelle stehen vor zwei signifikanten Einschränkungen in Bezug auf südostasiatische (SEA) Sprachen:

Mangelnde Reproduzierbarkeit: Die meisten leistungsstarken Modelle basieren auf geschlossenen oder nicht offengelegten Trainingsdaten, was eine systematische Analyse und ein erneutes Training verhindert.
Unzureichende Robustheit: Modelle, die in globalen Benchmarks (z. B. MMTEB) exzellieren, schneiden bei SEA-spezifischen Evaluierungen (z. B. SEA-BED) oft unterdurchschnittlich ab. Die linguistische Diversität in der Region ist hoch, und Leistungssteigerungen aus ressourcenreichen Settings übertragen sich nicht immer effektiv auf SEA-Sprachen.

Methodik

Die Autoren führen SEA-Embedding ein, eine vollständig offene und reproduzierbare Text-Embedding-Pipeline, die ausschließlich auf öffentlich verfügbaren Daten trainiert wurde. Die Pipeline ist darauf ausgelegt, drei Kernfaktoren des robusten Embedding-Designs systematisch zu untersuchen: Datenzusammensetzung, Trainingszielsetzung und Basis-Encoder-Initialisierung.

1. Datenzusammensetzung (RQ1)

Die Pipeline nutzt einen dualen Datensatz mit insgesamt 259 Millionen Samples:

Allgemeine Datensätze (245 Mio. Samples): Bezogen aus Ressourcen wie FineTranslations und CCMatrix, um eine breite regionale Abdeckung über SEA-Sprachen hinweg zu gewährleisten.
Instruktions-Datensätze (14 Mio. Samples): Bezogen aus multilingualen Downstream-Datensätzen (z. B. MIRACL, SEA-Instruct) mit vorangestellten aufgabenspezifischen Instruktionen, um die Aufgabenbewusstheit und Generalisierung zu verbessern.
Format: Die Daten sind als Tripletts (Anker, Positiv, Negativ) oder Textpaare (Anker, Positiv) formatiert.

2. Design der Trainingszielsetzung (RQ2)

Die Autoren schlagen eine zweistufige Zielsetzung vor, um lokale Diskriminierung mit globaler Konsistenz in Einklang zu bringen:

Symmetrisches kontrastives Lernen (SCL): Im Gegensatz zum Standard-kontrastiven Lernen verwendet diese Stufe Symmetrisches InfoNCE mit Focal Reweighting. Sie behandelt die Paare Anker-Positiv und Positiv-Anker symmetrisch und verwendet ein Focal Weight ( $w_i = (1 - j_i)^\gamma$ ), um schwierige Beispiele hervorzuheben.
Similarity Distribution Matching (SDM): Diese Stufe führt Knowledge Distillation durch, um die Ähnlichkeitsverteilung des Studentenmodells an die Verteilung eines Lehrer-Modells über eine große Memory-Queue (65.536 Einträge) anzupassen.
- Lehrer-Modell: Ein starker vortrainierter Encoder (Wang et al., 2024c).
- Mechanismus: Der Student imitiert die Ähnlichkeitsverteilung des Lehrers mittels KL-Divergenz ( $L_{sdm} = KL(D_t \parallel D_s)$ ).
- Temperatur-Design: Die Temperatur des Studenten ( $\tau_s$ ) wird niedriger als die des Lehrers ( $\tau_t$ ) angesetzt, um eine schärfere Studentenverteilung zu erzeugen, was den Studenten zwingt, einen präziseren Embedding-Raum zu erlernen.

3. Basis-Encoder-Initialisierung (RQ3)

Die Pipeline wird auf verschiedenen Basis-Encodern instanziiert, um die Transferierbarkeit und die Trade-offs zwischen Effizienz und Leistung zu testen:

Kleine Skala: SEA-LION-ModernBERT-300M.
Große Skala: E5-Large (600 Mio. Parameter).
Ablation: Die Studie testet auch XLMR-Large, mmBERT-base und SEA-LION-ModernBERT-base, um zu verifizieren, ob die Vorteile der Pipeline über spezifische Initialisierungen hinaus generalisieren.

Zentrale Ergebnisse

Das Modell wurde auf SEA-BED evaluiert, einem Out-of-Domain-Benchmark, der 10 südostasiatische Sprachen, 9 Aufgabentypen und 169 Datensätze abdeckt.

State-of-the-Art Performance:
- SEA-Embedding-E5-Large-600M erreichte einen sprachdurchschnittlichen Score von 0,800 auf SEA-BED, womit es das bisher beste offene Modell (multilingual-e5-large-instruct mit 0,789) übertraf und das wesentlich größere Qwen3-Embedding-8B (0,773) deutlich übertraf.
- SEA-Embedding-ModernBERT-300M erreichte einen Score von 0,760 und übertraf damit andere kleine Modelle wie harrier-oss-v1-270M (0,753) und embeddinggemma-300m (0,744).
Gewinne bei ressourcenarmen Sprachen: Das Modell zeigte besonders starke Verbesserungen bei ressourcenarmen Sprachen wie Laotisch, Khmer und Birmanisch im Vergleich zu Modellen, die primär auf ressourcenreichen SEA-Sprachen (Indonesisch, Thailändisch, Vietnamesisch) trainiert wurden.
Ablations-Erkenntnisse:
- Daten: Das Entfernen entweder der allgemeinen oder der Instruktions-Datensätze führte zu signifikanten Leistungseinbußen. Entscheidend war, dass das Entfernen von Nicht-SEA-Instruktionsdaten (z. B. Arabisch, Thailändisch MIRACL) den Score von 0,800 auf 0,755 senkte, was den Wert der multilingualen Aufgabenvielfalt verdeutlicht.
- Zielsetzungen: Das Entfernen des SDM-Loss reduzierte den Score von 0,800 auf 0,776. Das Ersetzen von SDM durch Standard-Knowledge-Distillation (L2-KD) oder CKD führte zu einer weiteren Verschlechterung. Auch das Temperatur-Design ( $\tau_s < \tau_t$ ) war kritisch.
- Basis-Modelle: Die Pipeline verbesserte diverse Basis-Encoder (MLM und kontrastiv vortrainiert) konsistent, mit Zuwächsen zwischen +0,294 und +0,366 im sprachdurchschnittlichen Score, was darauf hindeutet, dass das Rezept nicht an eine einzige Initialisierung gebunden ist.

Bedeutung und Beiträge

Die Arbeit beansprucht drei primäre Beiträge:

Reproduzierbares Framework: SEA-Embedding bietet eine transparente Pipeline mit offenem Code, offenen Daten (nur öffentlich verfügbare Daten) und einer vollständig reproduzierbaren Umgebung, was kontrollierte Vergleiche und Fehleranalysen ermöglicht, die mit geschlossenen Modellen derzeit unmöglich sind.
Empirische Erkenntnisse: Die Studie isoliert die spezifischen Auswirkungen der Datenzusammensetzung, des Design der Zielsetzung und der Basis-Encoder-Initialisierung auf die SEA-Robustheit und liefert so ein „Design-Rezept“ für zukünftige Modelle.
Robuste Performance: Es etabliert einen neuen State-of-the-Art für SEA-Text-Embeddings und demonstriert gleichzeitig, dass hohe Leistung durch systematisches Engineering von offenen Daten und Zielsetzungen erreicht werden kann, statt sich auf nicht offengelegte proprietäre Daten zu verlassen.

Die Autoren merken an, dass die Pipeline zwar regionsagnostisch und adaptierbar ist, sich die aktuelle Studie jedoch auf den Aufbau eines robusten Fundaments konzentriert, anstatt jeden Dialekt oder domänenspezifische Anwendungen (z. B. Finanztexte) erschöpfend abzudecken, was diese für zukünftige Arbeiten offen lässt.