💬 NLP

Leveraging LaBSE with Progressive Curriculum Learning for Multicultural Polarization

Diese Arbeit adressiert die Herausforderung der Erkennung multilingualer und multikultureller Online-Polarisierung durch den Vorschlag einer neuartigen Architektur, die LaBSE-Embeddings für ein verbessertes kreuzsprachliches Lernen in ressourcenarmen Sprachen nutzt, und evaluiert diverse Qwen-Encoder-Modelle innerhalb eines abrufgestützten Prompting-Frameworks.

Ursprüngliche Autoren: Sachin Sundar, Sandeep Kumar, Mothish M

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sachin Sundar, Sandeep Kumar, Mothish M

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als einen riesigen, geschäftigen globalen Marktplatz vor. In diesem Platz unterhalten sich Menschen aus allen Kulturen und Sprachen, streiten und teilen ihre Meinungen. Manchmal werden diese Gespräche toxisch, wenn Gruppen aufgrund von Politik, Religion, Rasse oder Geschlecht gegeneinander angreifen. Die Herausforderung für Informatiker besteht darin, einen „digitalen Schiedsrichter“ zu bauen, der diese toxische Polarisierung sofort erkennt, egal in welcher Sprache gesprochen wird.

Dieses Papier mit dem Titel „PolarMind at SemEval-2026 Task 9“ beschreibt, wie ein Forscherteam einen klügeren Schiedsrichter gebaut hat, um diesen chaotischen Marktplatz zu bewältigen. Hier ist die Geschichte, wie sie es geschafft haben, unter Verwendung einfacher Analogien.

Das Problem: Die „Lost in Translation“-Lücke

Die Forscher standen vor einem kniffligen Problem: Die meisten computergestützten Gehirne (KI-Modelle) sind sehr gut darin, Englisch zu verstehen, haben aber Schwierigkeiten mit „ressourcenarmen“ Sprachen (Sprachen mit weniger verfügbaren Daten, wie Amharisch oder Urdu).

Denken Sie an einen Lehrer, der ein Experte für englische Literatur ist, aber noch nie ein Buch in Urdu gelesen hat. Wenn Sie den Lehrer bitten, einen wütenden Streit in einem urdu-sprachigen Text zu erkennen, übersieht er ihn vielleicht, weil er die spezifischen Wörter oder den kulturellen Kontext nicht kennt. Die Forscher mussten einen Weg finden, der der KI hilft zu verstehen, dass ein Satz auf Englisch harmlos sein kann, in einer anderen Kultur jedoch hochgradig aufhetzend wirkt.

Die Lösung: Der „Universelle Übersetzer“ (LaBSE)

Anstatt für jede einzelne Sprache einen separaten Schiedsrichter zu bauen, verwendete das Team ein spezielles Werkzeug namens LaBSE.

Die Analogie: Stellen Sie sich einen universellen Übersetzer vor, der nicht nur Wörter übersetzt, sondern Gefühle. Wenn jemand auf Englisch „I hate this“ sagt und auf Hindi „I despise this“, erkennt LaBSE, dass diese beiden Sätze im selben „emotionalen Viertel“ wohnen.
Die Innovation: Das Team nahm diesen Übersetzer und gab ihm ein spezielles Upgrade. Sie schauten nicht nur auf den fertigen Satz; sie betrachteten die „Schichten“ des Verständnisses, die die KI aufgebaut hatte, und mischten diese zusammen, wie ein Koch Gewürze vermengt, um den perfekten Geschmack zu erzielen. Sie entwickelten auch ein Hybrid-Pooling-System:
- Mean Pooling: Das Erstellen eines „Großen Ganzen“ durch den Durchschnitt der gesamten Konversation.
- Attention Pooling: Das Heranzoomen auf die spezifischen, lauten, wütenden Wörter, die wirklich wichtig sind.
- Das Ergebnis: Durch die Kombination des großen Ganzen mit den spezifischen Details wurde die KI viel besser darin, den Unterschied zwischen einem normalen Kommentar und einem polarisierten Angriff zu erkennen.

Die Trainingsmethode: „Der Lehrplan“

Das Team hat der KI nicht einfach alle Daten auf einmal vorgeworfen. Sie nutzten eine Strategie namens Progressive Curriculum Learning.

Die Analogie: Stellen Sie sich vor, Sie unterrichten einen Schüler. Sie würden ihn nicht direkt mit einer komplexen politischen Abhandlung beginnen lassen. Sie würden mit einfachen Geschichten beginnen, dann mit Aufsätzen mittlerer Schwierigkeit und schließlich mit dem schwierigen Stoff.
Wie es funktionierte: Die KI lernte zuerst von „einfachen“ Beispielen (eindeutige Fälle von Polarisierung). Sobald sie diese gemeistert hatte, bewegte sie sich zu „mittelschweren“ und schließlich zu „schweren“ Beispielen. Dies half der KI, ein starkes Fundament aufzubauen, bevor sie sich an die kniffligen, verwirrenden Fälle wagte.

Das „Große Gehirn“-Experiment: Testen von LLMs

Die Forscher testeten auch eine sehr leistungsstarke, moderne KI namens Qwen-2.5 (ein Large Language Model). Sie probierten zwei verschiedene Wege aus, um es zu lehren:

Die „Zeigen und Erzählen“-Methode (Retrieval): Sie gaben der KI einige Beispiele für polarisierte Texte aus verschiedenen Sprachen, die sie sich ansehen konnte, bevor sie einen neuen Text bewertete.
Die „Phonetische“ Methode: Sie versuchten, Text in Laute (Phoneme) umzuwandeln, in der Hoffnung, dass das Hören der Klänge der Wörter der KI helfen könnte, die Kultur besser zu verstehen.

Die Überraschung: Das „Große Gehirn“ (Qwen) schnitt nicht so gut ab wie der spezialisierte „Übersetzer“ (LaBsE). Die Forscher fanden heraus, dass das Hinzufügen von Lautinformationen (Phonemen) die KI ein wenig verwirrte. Sie vermuten, dass die KI für diese spezifische Aufgabe die kulturellen Nuancen bereits durch den geschriebenen Text verstand und das Umwandeln in Laute wichtige visuelle Hinweise (wie Emojis oder spezifische Schriftstile) entfernte, die Wut signalisierten.

Die Ergebnisse: Ein Gewinner-Team

Das Team testete ihr System in 22 verschiedenen Sprachen.

Die Punktzahl: Ihr maßgeschneidertes „Übersetzer“-System schlug die Standard-Baseline-Modelle um eine deutliche Marge. In einigen schwierigen Sprachen stieg ihre Punktzahl um 0,2 Punkte (was in KI-Wettbewerben eine große Sache ist).
Das Ranking: Sie belegten die Top 10 für fünf Sprachen in der ersten Challenge (Erkennung, ob etwas polarisiert ist) und die Top 5 für fünf Sprachen in der zweiten Challenge (Erkennung, welche Art von Polarisierung vorliegt, wie politisch oder rassistisch).

Das Fazit

Das Paper kommt zu dem Schluss, dass man für das Erkennen von Online-Hass und Spaltung über viele Kulturen hinweg nicht unbedingt die größte, teuerste KI benötigt. Stattdessen braucht man ein intelligentes, spezialisiertes System, das:

Versteht, wie verschiedene Sprachen dieselbe „emotionale DNA“ teilen.
In einem schrittweisen Lehrplan lernt (von einfach zu schwer).
Weiß, wie man das Gleichgewicht hält zwischen dem Blick auf das große Ganze und dem Fokus auf die wichtigsten Wörter.

Ihr „PolarMind“-System hat bewiesen, dass wir mit der richtigen Architektur digitale Schiedsrichter bauen können, die die vielfältigen Stimmen der Welt verstehen, und nicht nur die lautesten.

Technisches Resümee: PolarMind bei SemEval-2026 Task 9

Problemstellung

Die Arbeit adressiert die kritische Herausforderung der Erkennung von Online-Polarisierung in multilingualen und multikulturellen Kontexten, spezifisch im Rahmen von SemEval-2026 Task 9. Die Aufgabe umfasst die Identifizierung polarisierter Sprache in 22 Sprachen, unterteilt in zwei Teilaufgaben:

Teilaufgabe 1: Binäre Klassifizierung (polarisiert vs. nicht polarisiert).
Teilaufgabe 2: Multi-Klassen-Klassifizierung von Polarisierungstypen (Politisch, Rasse/Ethnizität, Geschlecht, Ethnizität, Sonstige).

Die Autoren betonen, dass Polarisierung kulturell und linguistisch abhängig ist; ein Satz kann in einer Sprache (z. B. Englisch) neutral sein, aber in eine andere Sprache (z. B. Urdu) übersetzt polarisiert wirken. Eine primäre Schwierigkeit liegt in der Knappheit von Trainingsdaten für ressourcenarme Sprachen, was oft zu signifikanten Leistungsunterschieden zwischen ressourcenreichen (z. B. Englisch) und ressourcenarmen Sprachen in State-of-the-Art-Modellen führt.

Methodik

Die Autoren schlagen PolarMind vor, ein System, das auf einer angepassten LaBSE (Language-agnostic BERT Sentence Embedding) Architektur basiert, die durch Proxy-Guided Curriculum Learning ergänzt wird.

Kernarchitektur: LaBSE mit Hybrid Pooling

Im Gegensatz zu Standard-Multilingual-Encodern (z. B. mBERT, XLM-R) ist LaBSE darauf optimiert, semantisch ähnliche kreuzsprachliche Sätze in exakt denselben Vektorraum abzubilden. Die Autoren hypothetisieren, dass diese strikte Ausrichtung es dem Modell ermöglicht, spärlich vorhandene polarisierte Phrasen aus ressourcenarmen Sprachen in robuste semantische Nachbarschaften zu projizieren, die durch ressourcenreiche Sprachen etabliert wurden.

Die Architektur beinhaltet zwei wesentliche Modifikationen:

Gewichtete Schichtaggregation (Weighted Layer Aggregation): Anstatt nur die letzte Schicht zu verwenden, aggregiert das Modell die letzten vier Schichten ( $L_{n-4}$ bis $L_n$ ) unter Verwendung lernbarer Parameter ( $w_1, w_2, w_3, w_4$ ). Die Gewichte für die früheren Schichten werden kleiner initialisiert ( $\sim 0,2w_1$ ), um tiefere semantische Merkmale zu priorisieren.
Hybrides Pooling: Die finale Repräsentation kombiniert Global Mean Pooling (erfasst den allgemeinen semantischen Kontext) und Additive Attention Pooling (hebt hochwirksame Token hervor).
- Mean Pooling: Berechnet den arithmetischen Mittelwert der Hidden States.
- Attention Pooling: Verwendet einen additiven Attention-Mechanismus (Bahdanau et al., 2016), um Gewichte für spezifische Token zuzuweisen.
- Fusion: Das finale Embedding ist $e_{hybrid} = e_{mean} + \lambda e_{attn}$ . Für Teilaufgabe 2 werden unabhängige Attention-Mechanismen für jeden Klassifizierungskopf beibehalten, um eine Vermischung verschiedener Polarisierungstypen (z. B. Geschlecht vs. Ethnizität) zu verhindern.

Trainingsstrategie: Proxy-Guided Curriculum Learning

Um das Ungleichgewicht der Daten und die Variation der Schwierigkeit zu adressieren, setzen die Autoren eine Curriculum-Learning-Strategie ein:

Schwierigkeitsranking: Ein Proxy-Modell (XXLM-RoBERTa-base) rankt den Datensatz basierend auf einem Schwierigkeitswert $R(x) = \alpha \cdot P(y|x) + \beta \cdot \frac{1}{len(x)}$ , wobei $P(y|x)$ die Proxy-Konfidenz ist und der Kehrwert des Längen-Terms kurze, ressourcenreiche Beispiele fördert.
Trainingsphasen: Modelle werden in Stufen trainiert: zuerst einfache Samples, gefolgt von einfach+mittel, mittel+schwer und schließlich dem vollständigen Datensatz.

Ablationsstudie und alternative Modelle

Das Paper evaluiert die Kern-LaBSE-Architektur gegen mehrere Alternativen:

RemBERT: Getestet mit und ohne kontinuierliches Pretraining auf einem Korpus, der aus den Daten von Teilaufgabe 3 abgeleitet wurde, um das Wissen des Modells über aktuelle Ereignisse zu aktualisieren.
EuroBERT: Ein State-of-the-Art Encoder, der für europäische Sprachen optimiert ist und einen aktuelleren Wissens-Cutoff besitzt.
Qwen-2.5-14B (LLM): Evaluiert mittels eines Retrieval-basierten Prompting-Frameworks.
- Retrieval: LaBSE ruft die top- $k$ semantisch ähnlichsten Sätze aus den Trainingsdaten ab.
- Diversität: Maximal Marginal Relevance (MMR) stellt sicher, dass die abgerufenen Beispiele sowohl relevant zur Abfrage als auch untereinander divers sind.
- Prompting: Es wurde ein Few-Shot-Prompting (7 Shots) mit Rohtext und durch Phoneme augmentiertem Text (unter Verwendung der Epitran-Library) getestet, um zu analysieren, ob phonetische Informationen die Leistung bei ressourcenarmen Sprachen unterstützen.

Kernbeiträge

LaBSE-basierte Architektur: Einführung einer gewichteten Schichtaggregation und eines hybriden Pooling-Mechanismus, der speziell für die kreuzsprachliche Polarisierungserkennung entwickelt wurde und die strikte kreuzsprachliche Ausrichtung von LaBSE nutzt.
Proxy-Guided Curriculum Learning: Eine Strategie zur Milderung des multilingualen Datenungleichgewichts durch Training auf nach Schwierigkeit sortierten Daten.
Umfassende Modellevaluierung: Eine vergleichende Analyse von Encoder-Modellen (LaBSE, RemBERT, EuroBERT) und Large Language Models (Qwen-2.5) innerhalb eines Retrieval-basierten Frameworks.
Empirische Analyse von LLM-Limitierungen: Untersuchung der Effektivität von Phonem-basiertem Prompting und Few-Shot-Learning für ressourcenarme Polarisierungsaufgaben.

Ergebnisse

Das System wurde auf dem Entwicklungsset und dem offiziellen Testset über 22 Sprachen hinweg evaluiert.

Teilaufgabe 1 (Binäre Klassifizierung):
- Die vorgeschlagene LaBSE-Architektur mit Hybrid Pooling übertraf die offizielle POLAR-Baseline (feingetuntes LaBSE-base) konsistent um durchschnittlich 0,04 Macro F1 über alle 22 Sprachen hinweg.
- In ressourcenarmen Sprachen erzielte das System wettbewerbsfähige Ergebnisse und sicherte sich die Top-10-Rankings in fünf Sprachen. Beispielsweise erreichte das System in Amharisch (amh) einen Score von 0,771, was eine Verbesserung von 5,6 % gegenüber der Baseline darstellt.
- Kontinuierliches Pretraining auf RemBERT brachte nur marginale Gewinne (+0,005 Macro F1), was darauf hindeutet, dass die Hybrid-Pooling-Strategie einen signifikanteren Boost bot als reines Modell-Scaling.
- Das Qwen-2.5 Decoder-Modell konnte die Encoder-Modelle nicht übertreffen, was wahrscheinlich auf Tokenisierungs-Mismatches und eine schwächere kreuzsprachliche Ausrichtung im Vergleich zu LaBSE zurückzuführen ist.
Teilaufgabe 2 (Typenerkennung):
- Das LaBSE-basierte Modell übertraf erneut RemBERT und EuroBERT.
- Eine languagespezifische Schwellenwert-Kalibrierung verbesserte den durchschnittlichen Macro-F1 auf dem Entwicklungsset von 0,5216 auf 0,5441 (+2,25 %), was die Sensibilität der Multi-Label-Detektion gegenüber der Schwellenwertwahl verdeutlicht.
- Qwen-2.5 (7-shot) performte auf Augenhöhe mit dem Encoder-Modell und nutzte Vorwissen, um spärliche Muster (z. B. Geschlecht/Ethnizität) zu generalisieren, bei denen der Encoder aufgrund begrenzter Stichproben Schwierigkeiten hatte.
- Phonem-Prompting: Die Hinzunahme von Phonem-Informationen (Text + IPA) brachte keine signifikanten Verbesserungen. Die Autoren hypothetisieren, dass die phonetischen Ebenen für diese Aufgabe redundante Informationen liefern und die IPA-Transformation möglicherweise Emojis oder skriptspezifische Marker herausfiltert, die ein erhebliches Gewicht für die Polarisierung tragen.

Bedeutung und Behauptungen

Das Paper behauptet, dass der optimale Ansatz zur multikulturellen Polarisierungserkennung in spezialisierten Systemen besteht, die linguistische und kulturelle Nuancen berücksichtigen, anstatt sich rein auf allgemeine Modelle zu verlassen.

Die primäre Bedeutung der Arbeit liegt in dem Nachweis, dass LaBSE, das typischerweise für Retrieval-Aufgaben reserviert ist, effektiv für die Klassifizierung in ressourcenarmen Settings umfunktioniert werden kann. Durch die Kombination von LaBSEs strikter kreuzsprachlicher Ausrichtung mit Hybrid Pooling und Curriculum Learning schließt das System die Leistungslücke zwischen ressourcenreichen und ressourcenarmen Sprachen und erzielt in spezifischen ressourcenarmen Szenarien eine Verbesserung von bis zu 0,2 Macro F1 gegenüber Standard-Baselines.

Die Autoren kommen zu dem bescheidenen Schluss, dass LLMs über Few-Shot-Learning zwar vielversprechend sind, aber derzeit Einschränkungen in der kreuzsprachlichen Ausrichtung und Tokenisierung für diese spezifische Aufgabe aufweisen, und dass eine phonetische Augmentierung aktuell keinen konklusiven Vorteil für die Polarisierungserkennung bietet. Die Arbeit etabliert eine robuste Baseline für die zukünftige Forschung in der multilingualen, multikulturellen NLP.