The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis

Stellen Sie sich vor, Sie versuchen zu verstehen, wie Menschen über ein Produkt fühlen, wie zum Beispiel einen Laptop oder eine Mahlzeit in einem Restaurant. Traditionelle Computerprogramme sind wie eine Ampel: Sie sehen nur drei Farben – Rot (Negativ), Gelb (Neutral) oder Grün (Positiv). Aber menschliche Gefühle sind selten so einfach. Manchmal ist eine Bewertung „überwiegend glücklich, aber ein wenig frustriert“ oder „sehr intensive Wut“.

Dieses Paper beschreibt den Versuch eines Teams, ein intelligenteres System für die SemEval-2026 zu entwickeln, einen großen Wettbewerb für KI-Forscher. Ihr Ziel war es, über das einfache „Ampelsystem“ hinauszugehen und Gefühle auf einer kontinuierlichen Skala zu messen, ähnlich wie ein Dimmer für Licht oder ein Lautstärkeregler für den Klang. Sie konzentrierten sich auf zwei spezifische „Regler“:

1. Valenz: Wie positiv oder negativ ist das Gefühl (die „Stimmung“).
2. Arousal (Erregung): Wie intensiv oder ruhig ist das Gefühl (die „Energie“).

Hier ist, wie sie die zwei Hauptherausforderungen des Wettbewerbs mit einigen kreativen Analogien angegangen sind:

Herausforderung 1: Das „Thermostat“ (Subtask 1)

Das Ziel: Man gibt dem Computer einen spezifischen Teil eines Satzes (wie „Akkulaufzeit“) und fragt: „Wie fühlt sich der Schreiber dabei und wie stark ist dieses Gefühl?“ Der Computer muss zwei Zahlen liefern (z. B. 8,5 für Glückseligkeit, 7,2 für Intensität).

Die Strategie des Teams:

• Das Ensemble (Die Jury): Anstatt sich auf nur ein KI-Modell zu verlassen, bauten sie eine „Jury“ aus mehreren verschiedenen KI-Modellen (genannt Transformer). Sie ließen jedes Modell über die Zahlen abstimmen, aber sie behandelten nicht jede Stimme gleich. Sie gaben den Modellen, die am meisten geübt hatten und am besten abschnitten, mehr Gewicht. Dies ist vergleichbar mit der Einholung eines Expertenrats für eine Diagnose statt nur eines einzelnen Arztes; es verringert die Chance auf eine völlig falsche Vermutung.
• Der russische „Übersetzer“ (LLM-Augmentierung): Für die russische Sprache stellten die Teams fest, dass die Standardmodelle etwas verwirrt von den subtilen Nuancen waren. Um ihnen zu helfen, nutzten sie eine sehr intelligente KI (ein Large Language Model, oder LLM), die als „Übersetzer“ oder „Coach“ fungierte. Bevor die Hauptmodelle versuchten, die Zahlen zu erraten, schrieb diese intelligente KI einen kurzen, beschreibenden Satz darüber, warum der Schreiber so fühlte (z. B. „Der Schreiber ist sehr erfreut, aber leicht besorgt“). Sie speisten diese Beschreibung als zusätzlichen Kontext in die Hauptmodelle ein. Es ist, als würde man einem Schüler einen Hinweis vor einer Prüfung geben; der Hinweis half den Modellen, die „Vibe“ besser zu verstehen, was zu genaueren Vorhersagen der Zahlen führte.

Herausforderung 2: Der „Detektiv“ (Subtask 3)

Das Ziel: Dies war schwieriger. Der Computer musste eine ganze Rezension lesen und alles finden: Was ist das Thema? Was ist die Kategorie? Was ist der spezifische Meinungsausdruck? Und was sind die zwei Zahlen (Stimmung und Intensität) dafür? Es ist wie ein Detektiv, der gleichzeitig den Verdächtigen, die Tatwaffe, das Motiv und die exakte Tatzeit finden muss.

Die Strategie des Teams:

• Der „Alles-aus-einer-Hand“-Ansatz (Generatives Framework): Normalerweise versuchen Menschen, dies zu lösen, indem sie eine Pipeline aufbauen: Schritt 1 findet das Thema, Schritt 2 findet die Meinung, Schritt 3 rät die Zahlen. Das Team erkannte, dass dies wie das Weitergeben einer Nachricht im Spiel „Stille Post“ war – Fehler häufen sich an und die endgültige Nachricht wird verzerrt.
• Stattdessen nutzten sie eine einzige, leistungsstarke KI (ein Decoder-LLM), die darauf trainiert war, alles in einem Schritt zu erledigen. Sie brachten der KI bei, den Text zu betrachten und die vollständige Antwort sofort in einem strukturierten Format „auszuschreiben“.
• Die Überraschung: Das Team dachte anfangs, dass diese „Alles-aus-einer-Hand“-KIs zu gut im Geschichtenerzählen und zu schlecht im Rechnen seien. Sie erwarteten, dass der „Jury“-Ansatz (aus Herausforderung 1) besser darin wäre, Zahlen zu erraten. Sie entdeckten jedoch, dass der „Detektiv“-KI tatsächlich besser bei dieser Aufgabe war. Sie lernte, die Wörter direkt mit den Gefühlen zu verknüpfen, ohne einen separaten mathematischen Schritt zu benötigen. Es stellte sich heraus, dass die KI die Intensität der Wörter allein durch das Verständnis der Geschichte „fühlen“ konnte.

Die Ergebnisse

• Für das „Thermostat“ (Subtask 1): Ihr „Jury“-Ansatz funktionierte sehr gut und schlug die vom Wettbewerbsveranstalter bereitgestellten Basissysteme. Der Trick mit dem „russischen Übersetzer“ half ihnen speziell dabei, bessere Punktzahlen im russischen Sprach-Track zu erzielen.
• Für den „Detektiv“ (Subtask 3): Ihre einzelne KI-Detektivin schnitt überraschend gut ab und belegte den 7. Platz von 18 Teams. Das Experiment bewies, dass ihre anfängliche Befürchtung – dass KIs nicht gut im mathematischen Teil der Aufgabe sein könnten – falsch war. Die KI konnte die komplexe Argumentation und die Zahlenberechnungen gleichzeitig bewältigen.

Das Fazit

Das Paper zeigt, dass wir, um menschliche Emotionen tiefgreifend zu verstehen, aufhören müssen, Gefühle als einfache Kategorien (Gut/Schlecht) zu behandeln, und stattdessen beginnen müssen, sie als kontinuierliche Erfahrungen zu messen (Wie gut? Wie intensiv?).

Das Team stellte fest, dass:

1. Teamarbeit funktioniert: Die Kombination mehrerer verschiedener KI-Modelle hilft dabei, die richtigen Zahlen zu erhalten.
2. Kontext ist entscheidend: Für schwierigere Sprachen wie Russisch hilft es sehr, wenn eine KI das Gefühl zuerst in Worten erklärt, bevor sie die Zahlen errät.
3. „Alles-in-einem“ ist leistungsstark: Für komplexe Aufgaben, bei denen man Details finden und gleichzeitig Zahlen erraten muss, ist eine einzige, intelligente KI, die alles in einem Schritt erledigt, oft besser als eine Kette aus kleineren Werkzeugen.

Die Autoren geben zu, dass ihr System Grenzen hat (es funktioniert am besten bei kleineren Modellen und spezifischen Datensätzen), aber sie glauben, dass dieser Ansatz, intelligente KIs zur Erzeugung deskriptiver Kontexte und zur Bewältigung komplexer Argumentationen zu nutzen, ein vielversprechender Weg für die Zukunft des Verständnisses menschlicher Gefühle ist.