💬 NLP

PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

Das PSK-Team erreichte mit einem mittleren makro-F1-Wert von 0,811 durch den Einsatz eines Ensembles von LoRA-feinabgestimmten Gemma-3-Modellen, die um synthetische, von GPT-4o-mini generierte Daten erweitert wurden und eine sprachspezifische Schwellenwertanpassung umfassten, den zweiten Gesamtplatz bei SemEval-2026 Task 9 und unterstrich dabei die entscheidende Bedeutung der Generalisierung gegenüber Architekturen, die auf den Entwicklungssätzen gut abschnitten, aber im Testsatz versagten.

Ursprüngliche Autoren: Srikar Kashyap Pulipaka

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Srikar Kashyap Pulipaka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer Gruppe von 22 verschiedenen Schülern (die 22 verschiedene Sprachen repräsentieren) beizubringen, einen „erhitzten Streit" von einem „ruhigen Gespräch" in Social-Media-Beiträgen zu unterscheiden. Dies war die Herausforderung für die SemEval-2026 Task 9, und das Team PSK (unter der Leitung des unabhängigen Forschers Srikar Kashyap Pulipaka) entwickelte ein System, um diese zu lösen.

Hier ist eine einfache Erklärung, wie sie es taten:

1. Das Ziel: Die „Hitze" erkennen

Die Aufgabe bestand darin, Social-Media-Beiträge in 22 Sprachen (von Englisch bis Amharisch) zu lesen und zu entscheiden: Ist dieser Beitrag polarisierend (voll von Stereotypen, Hass oder Intoleranz)? Oder ist er neutral?

Die Herausforderung: Für einige Sprachen gab es nur sehr wenige Beispiele, aus denen gelernt werden konnte, und „Polarisierung" sieht in jeder Kultur anders aus. Es ist wie der Versuch, jemandem beizubringen, ein „Unwetter" zu erkennen, wenn er in einem Land nur Regen gesehen hat.

2. Die Lehrer: Die „Gemma"-Modelle

Anstatt einen einzigen riesigen Lehrer für alle einzusetzen, stellte das Team für jede Sprache zwei spezifische „Nachhilfelehrer" ein:

Der 12B-Nachhilfelehrer: Ein intelligentes, effizientes Modell (12 Milliarden Parameter).
Der 27B-Nachhilfelehrer: Ein noch intelligenteres, leistungsfähigeres Modell (27 Milliarden Parameter).
Sie verwendeten eine Technik namens LoRA, die diesen Lehrern wie ein kleines, spezialisiertes „Spickzettel" dient, um die jeweilige Sprache zu lernen, ohne dass sie ihr gesamtes Gehirn neu schreiben müssen.

3. Der Lernpartner: Synthetische Daten

Das Team erkannte, dass einige Schüler nicht genug Übungsaufgaben hatten. Daher nutzten sie eine KI (GPT-4o-mini), um gefälschte Übungsaufgaben (synthetische Daten) zu erstellen.

Direkte Generierung: Die KI schrieb neue, gefälschte Streitigkeiten von Grund auf neu.
Paraphrasierung: Die KI nahm echte Beispiele und schrieb sie in anderen Worten um (wie ein Schüler, der eine Hausaufgabenfrage umformuliert).
Kontrastive Paare: Die KI erstellte „Zwillings"-Beispiele – eines polarisierend und eines ruhig –, damit das Modell den genauen Unterschied erkennen konnte.
Der Filter: Sie warfen diese gefälschten Daten nicht einfach so hinein. Sie führten sie durch einen strengen „Qualitätskontroll"-Filter, um Duplikate und Unsinn zu entfernen und sicherzustellen, dass die Schüler nur hochwertiges Material lernten.

4. Die Strategie: Drehen am „Lautstärkeregler"

Nach dem Training mussten die Modelle eine endgültige Entscheidung treffen. Normalerweise sagt eine KI „Ja", wenn sie zu mehr als 50 % sicher ist. Doch das Team stellte fest, dass 50 % für einige Sprachen zu hoch oder zu niedrig war.

Die Lösung: Sie behandelten die Entscheidungsschwelle wie einen Lautstärkeregler. Für einige Sprachen drehten sie den Regler auf 30 % herunter (um mehr Streitigkeiten zu erfassen), und für andere stellten sie ihn auf 70 % hoch (um Fehlalarme zu vermeiden). Diese einfache Anpassung verbesserte ihre Ergebnisse um 2–4 %, ohne zusätzliches Training.

5. Das „Ensemble": Eine Richterbank

Für die endgültige Entscheidung hörten sie nicht nur auf einen Nachhilfelehrer. Sie nutzten ein Ensemble:

Sie ließen sowohl den 12B- als auch den 27B-Nachhilfelehrer abstimmen.
Manchmal mittelten sie die Stimmen; manchmal gaben sie dem intelligenteren Lehrer mehr Gewicht.
Für jede Sprache wählten sie die Abstimmungsstrategie aus, die bei den Übungstests am besten funktionierte.

6. Die Ergebnisse: Wer gewann?

Der Gewinner: Das Team landete auf Platz 2 insgesamt von 60 Teams.
Die Punktzahl: Sie erreichten eine Punktzahl von 0,811 (ein Maß für die Genauigkeit). Sie belegten Platz 1 in 3 Sprachen und Platz 1–3 in weiteren 8 Sprachen.
Die Überraschung: Sie versuchten, andere bekannte KI-Modelle (XLM-RoBERTa und Qwen3) einzusetzen. Diese Modelle schnitten bei den Übungstests hervorragend ab, brachen jedoch beim echten Test zusammen und verloren 30–50 % ihrer Genauigkeit.
- Die Lehre: Besser ist ein Modell, das gut generalisiert (das Konzept der Polarisierung lernt), als eines, das nur die Übungslösungen auswendig lernt. Die Gemma-Modelle waren die einzigen, die beim Testbeginn nicht „vergessen" haben.

7. Der eine Schwachpunkt: Das italienische „fehlende Kapitel"

Das System hatte mit Italienisch die größten Schwierigkeiten. Warum?

Den Trainingsdaten für Italienisch fehlten ganze Kategorien von Themen (wie „Politik" oder „andere" Probleme).
Der finale Test enthielt jedoch viele Fragen zu genau diesen fehlenden Themen.
Es ist wie das Lernen für eine Matheprüfung nur über Addition, während die Abschlussprüfung einen großen Abschnitt über Division enthält. Das Modell hatte diese spezifischen Arten von Streitigkeiten noch nie gesehen und konnte daher nicht richtig raten.

Zusammenfassung

Das Team entwickelte ein System, das spezialisierte KI-Nachhilfelehrer, KI-generierte Übungsaufgaben und maßgeschneiderte Entscheidungsregeln nutzt, um Online-Streitigkeiten in 22 Sprachen zu erkennen. Ihr Geheimnis war nicht nur die Verwendung der größten KI, sondern diejenige, die das Konzept der Polarisierung tatsächlich lernen konnte, ohne die Antworten auswendig zu lernen, und die Regeln dann für jede einzelne Sprache feinabstimmen konnte.

Technische Zusammenfassung: PSK bei SemEval-2026 Task 9

Problemdefinition
Der Artikel behandelt SemEval-2026 Task 9, eine binäre Klassifizierungsaufgabe, die auf die Erkennung von Einstellungs-Polarisierung in Social-Media-Texten in 22 typologisch unterschiedlichen Sprachen abzielt. Die Aufgabe besteht darin, Texte entweder als „polarisiert" (beinhaltend Stereotypisierung, Verunglimpfung, Entmenschlichung oder Intoleranz) oder als „nicht polarisiert" zu klassifizieren. Der Datensatz stellt erhebliche Herausforderungen dar, darunter variierende Datensatzgrößen (von ca. 1.700 bis ca. 7.000 Proben pro Sprache), kulturelle Variationen in der Manifestation von Polarisierung und starke Klassenungleichgewichte in bestimmten Sprachen (z. B. Khmer mit einem Verhältnis von 10:1 polarisierte zu nicht-polarisierten Proben). Die primäre Evaluierungsmetrik ist der makro-gemittelte F1-Score.

Methodik
Der Ansatz des Teams konzentriert sich auf das Fine-Tuning separater Modelle für jede Sprache unter Verwendung der Gemma-3-Familie von Google, ergänzt durch synthetische Daten und Ensemble-Strategien.

Modellarchitektur: Das System nutzt zwei Modellgrößen: Gemma 3 12B (Hauptmodell) und Gemma 3 27B (Ensemble-Modell). Beide werden mittels Low-Rank Adaptation (LoRA) mit einem Sequenzklassifizierungs-Kopf feinabgestimmt. Das 12B-Modell verwendet 8-Bit-Quantisierung auf einer einzelnen A100-GPU, während das 27B-Modell 4-Bit-NF4-Quantisierung über zwei A100-GPUs hinweg einsetzt. Die Trainingsparameter umfassen eine Lernrate von $5 \times 10^{-5}$ , 3 Epochen und Batch-Größen von 1–2 mit Gradientenakkumulation.
Synthetische Daten-Augmentierung: Um Datenknappheit zu adressieren, generierte das Team etwa 1.000 synthetische Proben pro Sprache mittels GPT-4o-mini über drei Strategien:
1. Direkte Generierung (50 %): Native Generierung von Proben über fünf kulturell relevante Themen (politisch, ethnisch/rassisch, religiös, soziale Schicht, internationale Beziehungen).
2. Label-erhaltende Paraphrasierung (30 %): Paraphrasierung realer Trainingsproben mit einer Temperatur von 0,7, gefiltert, um eine kosinussimilitud von unter 0,90 zum Original zu gewährleisten.
3. Kontrastive Paare (20 %): Minimal-Edit-Paare zum selben Thema, die eine polarisierte und eine nicht-polarisierte Instanz enthalten, um die Klassenabgrenzungen zu schärfen.
- Qualitätssicherung: Eine mehrstufige Filterpipeline wurde angewendet, einschließlich grundlegender Bereinigung, regex-basierter Erkennung von Label-Leckagen, deduplizierung auf Embedding-Basis (unter Verwendung von paraphrase-multilingual-MiniLM-L12-v2 mit einem Schwellenwert von 0,90) und Konsistenzprüfungen durch Hin-und-Her-Übersetzung.
Ensemble und Schwellenwert-Tuning:
- Schwellenwert-Optimierung: Anstatt einen Standard-Schwellenwert von 0,5 zu verwenden, suchte das Team nach optimalen Schwellenwerten ( $t \in \{0,3, \dots, 0,7\}$ ) auf dem Entwicklungssatz, um den makro-F1 für jede Sprache individuell zu maximieren.
- Ensemble-Strategien: Vier Strategien wurden pro Sprache evaluiert: nur 12B, nur 27B, einfaches Mitteln und gewichtetes Mitteln ( $p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$ ). Die Strategie, die den höchsten Entwicklung-F1 erzielte, wurde für die finale Einreichung ausgewählt.

Hauptergebnisse

Leistung: Das finale System erreichte einen mittleren makro-F1 von 0,811 über alle 22 Sprachen hinweg und belegte den 2. Platz insgesamt unter 60 teilnehmenden Teams. Das System sicherte sich den 1. Platz in 3 Sprachen (Amharisch, Hindi, Swahili) und Top-3-Platzierungen in 8 Sprachen.
Auswirkung der Komponenten:
- Schwellenwert-Tuning: Das sprachspezifische Schwellenwert-Tuning auf dem Entwicklungssatz erzielte F1-Verbesserungen von 2 % bis 4 % ohne erneutes Training.
- Synthetische Daten: Ein optimales Verhältnis synthetischer Daten von 30 % brachte moderate Gewinne (2–3 %), wobei die signifikantesten Vorteile bei ressourcenarmen Sprachen beobachtet wurden.
- Ensembling: Gewichtete Ensembles der 12B- und 27B-Modelle waren die Gewinnstrategie für 14 von 22 Sprachen.
Generalisierung vs. Entwicklung: Ein kritisches Ergebnis war die Diskrepanz zwischen der Leistung auf dem Entwicklungssatz und dem Testsatz über die Architekturen hinweg. Während XLM-RoBERTa und Qwen3 eine starke Leistung auf dem Entwicklungssatz zeigten, erlitten sie massive F1-Einbrüche (30–50 %) auf dem Testsatz. Beispielsweise sank XLM-RoBERTa bei Bengali von 0,856 auf 0,297. Nur die Gemma-Modelle zeigten eine zuverlässige Generalisierung vom Entwicklungssatz zum Testsatz.
Fallstudie (Italienisch): Die schwächste Leistung des Systems wurde im Italienischen erzielt (0,563 F1). Die Analyse deckte eine „Themenabdeckungslücke" auf: Die Trainings- und Entwicklungssätze enthielten null Beispiele für die Themen „politisch" oder „sonstige", doch diese Kategorien machten 41 % des Testsatzes und 87 % seiner positiven Klasse aus. Dies unterstrich eine Verteilungsverschiebung, bei der das Modell an einer positiven Subpopulation evaluiert wurde, die es während des Trainings nie beobachtet hatte.

Bedeutung und Behauptungen
Der Artikel behauptet, dass robuste Generalisierung ein kritischerer Erfolgsfaktor ist als die Maximierung der Leistung auf dem Entwicklungssatz. Die Autoren argumentieren, dass alternative Architekturen (XLM-RoBERTa, Qwen3) zwar während der Entwicklungsphase überlegen erscheinen mögen, aber nicht effektiv auf ungesehene Testverteilungen übertragen werden können, wohingegen die Gemma-Familie eine konsistente Leistung beibehielt.

Die Studie unterstreicht die Wirksamkeit des sprachspezifischen Schwellenwert-Tunings als kostengünstige Methode, um die Leistung signifikant zu steigern, indem eine Fehlkalibrierung der Wahrscheinlichkeiten korrigiert wird (z. B. unterzutrauende russische Modelle und überzutrauende khmerische Modelle). Darüber hinaus zeigt die Arbeit, dass synthetische Daten-Augmentierung am vorteilhaftesten für ressourcenarme Sprachen ist, obwohl ein sorgfältiges Management des Verhältnisses erforderlich ist, um eine Verschlechterung bei ressourcenreichen oder sensiblen Sprachen zu vermeiden.

Limitationen
Die Autoren erkennen mehrere Einschränkungen an:

Rechenintensität: Das Training separater Modelle für 22 Sprachen erfordert erhebliche GPU-Ressourcen.
Authentizität synthetischer Daten: Die Qualität synthetischer Daten für ressourcenarme Sprachen (z. B. Khmer, Swahili) kann begrenzt sein, wenn das LLM keinen authentischen Text in diesen spezifischen sprachlichen Kontexten generieren kann.
Übertragbarkeit von Schwellenwerten: Schwellenwerte, die auf einem kleinen Entwicklungssatz optimiert wurden, übertragen sich möglicherweise nicht vollständig auf die Testverteilung.
Heuristische Strategieverhältnisse: Die 50/30/20-Aufteilung für synthetische Datenstrategien wurde heuristisch gewählt und nicht durch systematische Ablation.

Fazit
Das PSK-System nutzte erfolgreich Gemma-Modelle, synthetische Daten-Augmentierung und Ensemble-Methoden, um in einer herausfordernden mehrsprachigen Aufgabe einen Top-2-Rang zu erreichen. Die wichtigste Erkenntnis ist die Notwendigkeit, Modelle zu priorisieren, die sich gut generalisieren, gegenüber solchen, die lediglich Entwicklungsmetriken überanpassen, sowie die Nützlichkeit einfacher nachträglicher Kalibrierungstechniken wie Schwellenwert-Tuning.