Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection
Die Arbeit der Lingo_Research_Group präsentiert eine systematische Evaluierung von zwölf Prompt-Varianten unter Verwendung des Gemma3-27B-Modells für die SemEval-2026 Task 9 und zeigt auf, dass promptbasierte Ansätze zwar effektiv eine grobkörnige Polarisierung über 22 Sprachen hinweg detektieren, jedoch bei der feinkörnigen und Multi-Label-soziolinguistischen Klassifizierung vor zunehmenden Herausforderungen stehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der ein Rätsel lösen muss, das in 22 verschiedenen Sprachen auf der ganzen Welt spielt. Bei dem Rätsel geht es nicht um einen gestohlenen Juwel, sondern um etwas namens „Polarisierung“. Vereinfacht ausgedrückt ist Polarisierung, wenn Menschen in sozialen Medien anfangen, sich gegenseitig anzuschreien, harte Linien zwischen „uns“ und „denen“ ziehen und sich weigern, die andere Seite zuzuhören.
Das Team hinter dieser Arbeit, die Lingo Research Group, nahm an einem weltweiten Wettbewerb (SemEval-2026) teil, um zu sehen, ob sie einem superintelligenten Computer (einer KI) beibringen können, diesen Streit zu erkennen, herauszufinden, über wen sie streiten, und wie sie streiten.
Hier ist, wie sie es gemacht haben, erklärt mit einigen alltäglichen Analogien:
Die drei Ebenen des Rätsels
Der Wettbewerb hatte drei Schwierigkeitsstufen, wie in einem Videospiel:
- Level 1 (Der „Findet es statt?“-Check): Die KI muss nur mit „Ja“ oder „Nein“ antworten. Ist dieser Post wütend und spaltend, oder ist es nur ein normaler Post?
- Analogie: Wie ein Rauchmelder. Er muss nur sagen: „Ist da Rauch?“
- Level 2 (Der „Um wen geht es?“-Check): Wenn der Post polarisiert ist, über wen streiten sie? Sind es Politiker? Eine bestimmte Rasse? Eine Religion? Geschlecht?
- Analogie: Wie ein Detektiv, der fragt: „Wer ist der Verdächtige?“ Die KI muss eine oder mehrere Personen aus einer Reihe von Verdächtigen auswählen.
- Level 3 (Der „Wie wird gestritten?“-Check): Dies ist die schwierigste Stufe. Wie wird der Hass ausgedrückt? Werden Stereotypen verwendet? Werden Leute beschimpft? Tun sie so, als wäre es ihnen egal, wie andere sich fühlen?
- Analogie: Wie die Analyse des Stils des Kampfes. Benutzen sie ein Messer, einen stumpfen Gegenstand oder schreien sie einfach nur? Dies erfordert das Erkennen von subtilem, hinterlistigem Verhalten.
Das Werkzeug: Der „Prompt“ als Rezept
Anstatt den Computer durch das Zeigen von tausenden Beispielen zu lehren (was so wäre, als würde man einen Schüler zwingen, ein Lehrbuch auswendig zu lernen), nutzte das Team Prompts. Denken Sie bei einem Prompt an ein Rezept oder eine Anweisung, die einem sehr talentierten, aber buchstäblichen Koch (der KI) gegeben wird.
Das Team testete 12 verschiedene Rezepte.
- Einige Rezepte waren sehr kurz: „Ist das wütend?“
- Andere waren detailliert: „Suche nach Wörtern, die Menschen in Gruppen trennen. Wenn du Sarkasmus siehst, prüfe, ob er gemein ist. Hier sind drei Beispiele, wie das aussieht...“
Sie testeten diese Rezepte auf zwei verschiedenen „Köchen“ (KI-Modellen): aya-101 und Gemma3-27B. Sie fanden heraus, dass Gemma3-27B der bessere Koch war, also nutzten sie ihn für den finalen Wettbewerb.
Die Ergebnisse: Gut in den Grundlagen, kämpfend mit der Nuance
Die Ergebnisse des Teams waren eine Mischung aus Erfolg und Kampf, was eine interessante Geschichte erzählt:
- Level 1 (Rauchmelder): Die KI war sehr gut darin. Sie identifizierte polarisierte Posts im Durchschnitt zu 76 % der Zeit korrekt. Es ist wie ein Rauchmelder, der selten ein Feuer übersieht.
- Level 2 (Die Verdächtigen): Die Punktzahl sank auf etwa 59 %. Es war schwieriger, genau zu bestimmen, wer angegriffen wurde.
- Level 3 (Der Kampfstil): Die Punktzahl sank noch weiter auf etwa 44 %. Dies war der schwierigste Teil.
Warum wurde es schwieriger?
Die Autoren erklären, dass die KI verwirrt wird, wenn die Aufgabe spezifischer wird.
- Das „Konservative Koch-Problem“: Die KI wurde darauf trainiert, sehr vorsichtig zu sein. Sie sagte nur „Ja, das ist polarisiert“, wenn die Beweise super offensichtlich waren (wie jemand, der eine Beleidigung schreit).
- Die „Sarkasmus-Falle“: Im Englischen streiten Menschen oft mit Sarkasmus, Ironie oder cleverem Wortspiel (z. B. „Oh großartig, noch ein Sozialist im Namen Jesu“). Die KI, die zu wörtlich ist, übersah dies, weil es keine offensichtlichen „Kampfwörter“ gab. Sie dachte: „Keine direkten Beleidigungen? Dann muss es sicher sein.“
- Die „Direkt vs. Indirekt“-Lücke: In vielen anderen Sprachen (wie Hindi oder Chinesisch) sind Menschen oft direkter in ihren Argumenten. Die KI war gut darin, diese direkten Treffer zu erkennen, hatte aber Schwierigkeiten mit den subtilen, indirekten englischen Argumenten.
Das Sprachrätsel
Die KI schnitt nicht in jeder Sprache gleich ab.
- Nepalesisch und Chinesisch waren für die KI einfach, weil die Polarisierung oft sehr klar und direkt war (wie „Gruppe A gegen Gruppe B“).
- Englisch war überraschend schwierig. Da englischsprachige Menschen viel Sarkasmus und kulturelle Abkürzungen verwenden, übersah die KI die Kämpfe immer wieder. Es ist, als versuche man, einen Witz in einer Sprache zu verstehen, die man nicht voll beherrscht; man hört die Worte, aber man versteht die Pointe nicht.
Die wichtigste Erkenntnis
Das Paper kommt zu dem Schluss, dass KI gut darin ist, die „lauten“ Kämpfe zu erkennen (Level 1), aber mit den „leisen“ oder „cleveren“ Kämpfen kämpft (Level 2 und 3).
Das Team lernte, dass man einer KI nicht einfach eine einfache Anweisung geben kann und erwarten darf, dass sie komplexe menschliche Emotionen über 22 verschiedene Kulturen hinweg versteht. Je mehr man sie bittet, die Nuancen (das „Wie“ und „Wer“) zu analysieren, desto eher verpasst sie die subtilen Zeichen, besonders wenn Menschen sarkastisch oder indirekt sind.
Kurz gesagt: Die KI ist ein guter Detektiv für offensichtliche Verbrechen, aber sie braucht mehr Training, um die subtilen, hinterlistigen und sarkastischen Arten zu verstehen, auf die Menschen online streiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.