PromotionGo at SemEval-2025 Task 11: A Feature-Centric Framework for Cross-Lingual Multi-Emotion Detection in Short Texts

Stellen Sie sich vor, Sie versuchen, die Stimmung in einem Raum voller Menschen zu verstehen, die 28 verschiedene Sprachen sprechen. Einige flüstern, andere schreien, und viele fühlen gleichzeitig eine Mischung aus verschiedenen Emotionen – wie etwa glücklich und überrascht zugleich zu sein. Dies ist die Herausforderung, der sich das PromotionGo-Team im Rahmen des SemEval-2025 Task 11 Wettbewerbs gestellt hat. Ihr Ziel war es, ein Computersystem zu entwickeln, das kurze Textnachrichten in all diesen vielen Sprachen lesen und korrekt identifizieren kann, welche Emotionen darin enthalten sind, selbst wenn mehrere Emotionen miteinander vermischt sind.

Hier ist die Erklärung ihrer Vorgehensweise, verdeutlicht durch einfache Analogien:

1. Das Kernproblem: Ein Label reicht nicht aus

Traditionelle Emotionsdetektoren sind wie ein strenger Lehrer, der einen Schüler dazu zwingt, nur ein einziges Gefühl für den ganzen Tag zu wählen: „Bist du glücklich, traurig oder wütend?“ Aber das echte Leben ist chaotischer. Man kann über eine Beförderung freudig sein, aber gleichzeitig ängstlich wegen der neuen Verantwortung. Das System des Teams ist darauf ausgelegt, dieses „gemischte Paket“ an Gefühlen zu handhaben und zu erkennen, dass ein einziger Satz mehrere Emotionen gleichzeitig enthalten kann.

2. Das Drei-Schritte-Rezept

Das Team entwickelte ein „merkmalzentriertes Framework“, was im Grunde nur eine schicke Art ist zu sagen, dass sie eine modulare Küche gebaut haben, in der sie verschiedene Zutaten austauschen konnten, um zu sehen, was das beste Gericht für die jeweilige Sprache ergibt. Ihr Rezept bestand aus drei Hauptschritten:

Schritt A: Wörter in Zahlen übersetzen (Dokumentrepräsentation)

Computer können keine Wörter lesen; sie verstehen nur Zahlen. Das Team probierte drei verschiedene Wege aus, um Text in Zahlen umzuwandeln:

• Die „Wortzählmethode“ (TF-IDF): Stellen Sie sich vor, Sie zählen, wie oft bestimmte Wörter in einem Text vorkommen, ignorieren dabei aber häufige Wörter wie „der“, „die“ oder „und“, weil diese nicht viel über die Emotion aussagen. Das ist wie die Verwendung eines einfachen Zählbogens. Das Team fand dies überraschend effektiv, insbesondere für Sprachen, für die sie nur wenig Trainingsdaten hatten (ressourcenarme Sprachen). Es ist ein zuverlässiges, altmodisches Werkzeug, das gut funktioniert, wenn man keine riesige Bibliothek an Beispielen besitzt.
• Die „Kontextuelle Wörterbuch-Methode“ (FastText & BPE): Dies ist so, als würde man dem Computer ein Wörterbuch geben, das nicht nur weiß, was ein Wort bedeutet, sondern auch, wie seine Bestandteile zusammenpassen. Es kann die Bedeutung eines Wortes erraten, das es noch nie gesehen hat, indem es sich die kleineren Teile ansieht (wie zum Beispiel das Erkennen von „Unhappiness“ [Unglückseligkeit], selbst wenn es nur „happy“ [glücklich] und „un-“ kennt).
• Die „Tiefe Verständnis-Methode“ (Sentence-BERT): Dies ist das „klügste“ Werkzeug. Es ist wie ein Polyglott, der einen Satz liucht und die Vibe und den Kontext versteht, nicht nur die einzelnen Wörter. Es kann den Unterschied zwischen „Ich bin so glücklich, dass ich schreien könnte!“ und „Ich bin so wütend, dass ich schreien könnte!“ erkennen, selbst wenn die Wörter ähnlich sind. Dieses Werkzeug ist jedoch schwerfällig und hat manchmal Schwierigkeiten mit Sprachen, für die es nicht spezifisch trainiert wurde.

Die Überraschung: Für viele der untersuchten Sprachen funktionierte die einfache „Wortzählmethode“ (TF-IDF) tatsächlich besser als die super-intelligente „Tiefe Verständnis“-Methode. Es stellt sich heraus, dass es für manche Sprachen zuverlässiger ist, Wörter zu zählen, als zu versuchen, den tiefen Kontext zu erahnen.

Schritt B: Das Chaos beseitigen (Dimensionalitätsreduktion)

Manchmal wird der Computer von zu vielen Informationen überwältigt. Stellen Sie sich vor, Sie versuchen, ein bestimmtes Buch in einer Bibliothek zu finden, in der jedes einzelne Buch in einem riesigen, chaotischen Haufen gestapelt ist.
Das Team nutzte eine Technik namens PCA (Hauptkomponentenanalyse). Betrachten Sie dies als einen klugen Bibliothekar, der die Bücher schnell sortiert, Duplikate und unwichtige Dinge wegwirft und Ihnen so ein ordentliches, organisiertes Regal hinterlässt.

• Das Ergebnis: Dies machte den Computer nicht unbedingt schlauer, aber es machte ihn viel schneller. Es verkürzte die Trainingszeit erheblich, insbesondere bei den komplexen Modellen, ohne die Genauigkeit zu beeinträchtigen.

Schritt C: Der endgültige Richter (Modelltraining)

Sobald der Text in Zahlen umgewandelt und bereinigt worden war, brauchte das Team einen „Richter“, um die Emotionen zu bestimmen. Sie probierten verschiedene Richter aus:

• Der „Solist“ (Entscheidungsbäume): Ein einfacher Richter, der schnelle Entscheidungen bassierend auf einem Flussdiagramm trifft. Schnell, aber manchmal fehlt die Nuance.
• Das „Richterpanel“ (Voting Classifier): Eine Gruppe von verschiedenen Richtern (wie ein Entscheidungsbaum, ein Random Forest und ein K-Nearest-Neighbor), die über die Antwort abstimmen. Dies ist stabiler und zuverlässiger als ein einzelner Richter.
• Der „Tiefe Denker“ (MLP): Ein neuronales Netzwerk, das komplexe Muster lernt. Dies war der Champion. Es war am besten darin, subtile, gemischte Emotionen zu erkennen, brauchte aber am längsten, um zu „lernen“ (trainieren).

3. Die großen Herausforderungen, die sie fanden

• Das „Ungleichgewicht“-Problem: In ihren Daten kamen einige Emotionen (wie „nicht wütend“) viel häufiger vor als andere (wie „Angst“). Es ist wie in einem Klassenzimmer, in dem 90 % der Schüler leise sind und nur 10 % schreien. Der Computer wurde sehr gut darin, die leisen Schüler zu identifizieren, hatte aber Schwierigkeiten, die Schreienden zu entdecken. Dies führte zu einer hohen Genauigkeit bei häufigen Emotionen, aber einer schlechten Genauigkeit bei seltenen Emotionen.
• Der „Unbekannte Sprache“-Trick: Für Sprachen, die der Computer zuvor noch nie gesehen hatte (wie Oromo), nutzten sie einen cleveren Hack. Sie baten ein großes KI-Modell, eine „Cousin-Sprache“ zu finden, die der Computer bereits kannte, und nutzten dann das Wörterbuch dieser Cousin-Sprache, um die neue Sprache zu verstehen. Es ist, als würde man ein Spanisch-Wörterbuch benutzen, um die Bedeutung eines portugiesischen Wortes zu erraten, weil die beiden Sprachen verwandt sind.

4. Das Fazзit

Das PromotionGo-System hat bewiesen, dass es keine „Einheitslösung“ für die Emotionserkennung gibt.

• Für einige Sprachen sind die einfachen, schnellen Werkzeuge (TF-IDF) die Gewinner.
• Für andere sind die komplexen, tiefgründigen Werkzeuge (Sentence-BERT + MLP) notwendig.
• Geschwindigkeit vs. Intelligenz: Man muss sich entscheiden. Wenn Sie sofortige Ergebnisse benötigen, nutzen Sie die einfachen Werkzeuge. Wenn Sie die höchstmögliche Genauigkeit erreichen wollen und bereit sind, etwas länger zu warten, bis der Computer „nachdenkt“, nutzen Sie die Deep-Learning-Modelle.

Das Framework des Teams ist wie ein Schweizer Taschenmesser: Es verlässt sich nicht nur auf eine einzige Klinge. Stattdessen wählt es dynamisch das richtige Werkzeug (Repräsentation), bereinigt den Arbeitsplatz (Dimensionalitätsreduktion) und wählt den besten Richter (Modell) für jede spezifische Sprache aus, um sicherzustellen, dass das System für ein diverses, globales Publikum funktioniert.