AILS-NTUA at SemEval-2026 Task 3: Efficient Dimensional Aspect-Based Sentiment Analysis

In diesem Papier stellt das AILS-NTUA-Team sein System für die SemEval-2026-Aufgabe 3 vor, das durch eine effiziente Kombination aus feingetunten Encoder-Modellen für die Sentiment-Regression und loRA-basiertem Instruction-Tuning von Large Language Models für die Extraktion von Tripletts und Quadrupletts eine leistungsstarke, ressourcenschonende Lösung für multidimensionale aspektbasierte Sentimentanalyse in mehreren Sprachen und Domänen bietet.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschung des AILS-NTUA-Teams, als würde man sie einem Freund beim Kaffee erzählen:

🌍 Die große Reise: Gefühle in Zahlen verwandeln

Stellt euch vor, ihr lest eine Restaurantbewertung: "Das Essen war fantastisch, aber der Service war langsam."
Ein normales Computerprogramm würde vielleicht nur sagen: "Das ist positiv" oder "Das ist negativ". Aber das ist zu grob.

Das Team von AILS-NTUA (aus Athen) hat sich für den Wettbewerb SemEval-2026 eine viel feinere Aufgabe vorgenommen: Sie wollten nicht nur wissen, ob etwas gut oder schlecht ist, sondern wie gut und wie intensiv.

Stellt euch Gefühle wie ein Farbrad vor.

• Valence (Wertigkeit): Wie "hell" oder "dunkel" ist die Farbe? (Ist es ein strahlendes Gelb für "Super!" oder ein trübes Grau für "Schrecklich"?).
• Arousal (Erregung): Wie "laut" oder "ruhig" ist die Farbe? (Ist es ein aufregendes, knalliges Rot oder ein sanftes, ruhiges Blau?).

Die Aufgabe war also: Für jedes Wort in einem Text (z. B. "Essen" oder "Service") zwei Zahlen zwischen 1 und 9 zu finden, die diese beiden Gefühlsdimensionen beschreiben.

---

🛠️ Das Werkzeug: Ein cleveres, zweigeteiltes Team

Das Team hat nicht einfach einen riesigen, dicken Roboter gebaut, der alles versucht zu lernen. Stattdessen haben sie sich wie ein Schweizer Taschenmesser verhalten: Für jede Aufgabe das passende Werkzeug.

1. Der präzise Messer-Macher (Für das "Wie stark?")

Aufgabe: Die genauen Zahlen für die Gefühle (Valence & Arousal) vorhersagen.
Die Lösung: Sie haben spezialisierte "Kleinmeister" (kleine, effiziente KI-Modelle) für jede Sprache trainiert.

• Die Analogie: Stellt euch vor, ihr müsst in verschiedenen Ländern die Temperatur messen. Anstatt einen riesigen, schweren Thermometer zu transportieren, der in jedem Klima funktioniert, nehmen sie für Deutschland ein deutsches, für Japan ein japanisches Thermometer. Jedes ist perfekt auf das lokale Klima (die Sprache) abgestimmt.
• Das Ergebnis: Diese kleinen Modelle waren oft genauer als die riesigen, allgemeinen KI-Riesen, weil sie sich auf ihre spezifische Aufgabe konzentrieren konnten.

2. Der strukturierte Detektiv (Für das "Wer sagt was?")

Aufgabe: Die komplexen Sätze in eine Liste zerlegen: Wer ist das Thema? Was wurde gesagt? Welche Gefühlszahl gehört dazu?
Die Lösung: Hier nutzten sie große Sprachmodelle (wie Llama oder Qwen), aber mit einem Trick.

• Die Analogie: Stellt euch einen riesigen, schlauen Bibliothekar vor (den großen KI-Modell). Wenn ihr ihn einfach fragt, antwortet er vielleicht in ganzen Sätzen. Das ist aber schwer zu verarbeiten.
  Das Team hat dem Bibliothekar eine spezielle Anweisung gegeben: "Schreibe mir die Antwort nicht als Text, sondern nur als saubere JSON-Liste, genau wie in diesem Beispiel!"
  Sie haben dem Bibliothekar nicht das ganze Gehirn neu trainiert (was teuer und langsam wäre), sondern ihm nur eine kleine Notizkarte (LoRA-Adapter) in die Hand gedrückt, die ihm sagt: "Achte besonders auf diese Regel!". So bleibt der Bibliothekar schlau, wird aber extrem effizient.

---

🌐 Die Herausforderung: Viele Sprachen, viele Probleme

Der Wettbewerb war besonders knifflig, weil er sechs Sprachen (Englisch, Chinesisch, Japanisch, Russisch, Tatarisch, Ukrainisch) und vier Themenbereiche (Restaurants, Laptops, Hotels, Finanzen) abdeckte.

• Das Problem mit den "leeren Stellen": Manchmal steht in einer Bewertung: "Der Service war okay." Aber was genau war okay? Der Lächeln des Kellners? Die Schnelligkeit? Die KI muss hier manchmal raten, ob etwas "implizit" (unter der Oberfläche) gemeint ist. Das Team hat spezielle Regeln eingebaut, damit die KI nicht einfach "NULL" (nichts) als Ausrede benutzt, wenn es schwierig ist.
• Die Übersetzungs-Falle: Das Team hat versucht, Texte aus schwierigen Sprachen (wie Tatarisch) ins Englische zu übersetzen, um sie dort zu analysieren.
  • Die Erkenntnis: Das war wie das Übersetzen eines Witzes. Der Witz funktioniert im Englischen, aber die Nuancen gehen verloren. Die Übersetzung brachte oft mehr "Rauschen" (Störungen) als Nutzen. Es war besser, die KI direkt in der Originalsprache zu trainieren, auch wenn die Datenmenge kleiner war.

---

🏆 Das Fazit: Weniger ist oft mehr

Die große Botschaft dieses Papiers ist: Man braucht nicht immer den größten und teuersten Computer, um die beste Arbeit zu leisten.

Das Team hat gezeigt, dass man durch kluge Kombinationen – kleine, spezialisierte Modelle für die Zahlen und große, aber "leicht gewichtete" Modelle für die Textanalyse – sehr gute Ergebnisse erzielt. Sie haben mit weniger Rechenleistung (nur eine Grafikkarte!) oft bessere Ergebnisse geliefert als Systeme, die viel größer waren.

Kurz gesagt: Sie haben keine riesige Bulldozer-Maschine gebaut, um einen Garten zu pflegen. Stattdessen haben sie einen Haufen kleiner, scharfer Gärtnerscheren und einen sehr gut ausgebildeten Gärtner genommen, der genau weiß, wo er schneiden muss. Und das Ergebnis war ein wunderschöner Garten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AILS-NTUA at SemEval-2026 Task 3: Efficient Dimensional Aspect-Based Sentiment Analysis" auf Deutsch:

1. Problemstellung und Kontext

Das Paper adressiert die Dimensional Aspect-Based Sentiment Analysis (DimABSA), eine Erweiterung der klassischen aspektbasierten Sentimentanalyse (ABSA). Im Gegensatz zu herkömmlichen Ansätzen, die nur diskrete Sentiment-Polaritäten (positiv/negativ/neutral) vorhersagen, zielt DimABSA darauf ab, feinere emotionale Informationen zu extrahieren.

Die Aufgabe wird im Rahmen von SemEval-2026 Task 3 definiert und umfasst drei komplementäre Subtasks innerhalb eines mehrsprachigen und multidomänigen Rahmens (Sprachen: Chinesisch, Englisch, Japanisch, Russisch, Tatarisch, Ukrainisch; Domänen: Restaurant, Laptop, Hotel, Finanzen):

1. DimASR (Regression): Vorhersage kontinuierlicher Valence-Arousal (VA)-Werte (Werte zwischen 1,00 und 9,00) für gegebene Aspekte. Valence misst die Positivität/Negativität, Arousal die Aktivierung/Intensität.
2. DimASTE (Triplet-Extraktion): Extraktion von Triplets bestehend aus Aspekt (A), Meinung (O) und VA-Werten.
3. DimASQP (Quadruplet-Vorhersage): Extraktion von Quadruplets bestehend aus Aspekt (A), Kategorie (C), Meinung (O) und VA-Werten.

Ein besonderes Merkmal des Datensatzes ist das Vorkommen von NULL-Annotationen für implizit ausgedrückte Aspekte oder Meinungen, was die Modellierung erschwert.

2. Methodik

Das AILS-NTUA-Team schlägt einen einheitlichen, aber aufgabenspezifischen Ansatz vor, der auf Parameter-Effizienz und spezialisierte Architekturen setzt:

A. Für DimASR (Regression)

• Architektur: Feinabstimmung (Fine-Tuning) von vortrainierten Transformer-Encodern (BERT, RoBERTa, DeBERTa, XLM-R), die sprachspezifisch ausgewählt wurden (z. B. DeBERTa für Englisch/Japanisch, RoBERTa für Chinesisch, XLM-R für Tatarisch/Ukrainisch).
• Verarbeitung: Eingabe ist eine verkettete Sequenz aus Aspekt und Text. Das Modell nutzt einen Attention-Pooling-Mechanismus, um eine Repräsentation zu erzeugen.
• Ausgabe: Zwei skalare Regressionsköpfe sagen Valence und Arousal vorher.
• Verlustfunktion: Eine gewichtete Kombination aus Mittlerem Quadratischen Fehler (MSE) und dem Kongruenz-Korrelationskoeffizienten (CCC), um sowohl die Genauigkeit als auch die Übereinstimmung der Verteilung zu optimieren. Zusätzlich wird ein VA-gesteuerter Triplet-Regularizer (Hinge-Triplet-Objective) verwendet, um den Repräsentationsraum zu strukturieren.
• Strategie: Separate Modelle werden für jede Sprach-Domäne-Kombination trainiert.

B. Für DimASTE und DimASQP (Strukturierte Extraktion)

• Architektur: Nutzung von Large Language Models (LLMs) (Llama 3.1, Qwen 2.5) mit bis zu 14 Milliarden Parametern.
• Methode: Instruction Tuning mittels LoRA (Low-Rank Adaptation). Dies ermöglicht eine effiziente Anpassung ohne das vollständige Fine-Tuning der gesamten Modelle.
• Generierungsansatz: Die Aufgabe wird als eingeschränkte Textgenerierung formuliert. Das Modell generiert eine JSON-Liste mit den gesentimentierten Strukturen.
  • Für DimASQP wird eine Liste gültiger Kategorien in den Prompt integriert.
  • Für DimASTE entfällt die Kategorie.
• Besonderheiten:
  • Die VA-Werte werden als explizite numerische Schlüssel (Valence, Arousal) im JSON formatiert, um Parsing-Fehler zu minimieren.
  • Sprachspezifische Prompts wurden entwickelt, um das Modell davon abzuhalten, bei impliziten Aspekten vorschnell NULL zu generieren.
  • Es wurden separate Adapter für jede Sprache/Domäne trainiert.

3. Wichtige Beiträge

1. Parameter-effizientes Framework: Ein Ansatz, der für die Regression spezialisierte Encoder und für die strukturierte Extraktion LoRA-finegetunte LLMs (≤14B) kombiniert. Dies reduziert den Trainings- und Inferenzaufwand erheblich im Vergleich zu voll fine-getunten großen Modellen.
2. Unified Pipeline: Eine konsistente Architektur für Triplets und Quadruplets, die nur durch die Präsenz von Kategorien im Prompt unterscheidet.
3. Empirische Studie zum Cross-Lingual Transfer: Analyse des Transfers durch Übersetzung (z. B. Training auf übersetzten Daten). Die Ergebnisse zeigen, dass Übersetzung oft Rauschen einführt (Idiom-Verschiebungen, Span-Drift), was die Leistung im Vergleich zum Training auf Originaldaten verschlechtert, obwohl sie in ressourcenarmen Szenarien teilweise als Kompensation dienen kann.

4. Ergebnisse

Die Modelle wurden auf den Validierungs- und Testsets evaluiert und zeigten folgende Leistungen:

• DimASR: Die Encoder-basierten Modelle übertrafen in den meisten Szenarien (insbesondere Englisch und Chinesisch) die bereitgestellten Baselines (Kimi K2 Thinking, Qwen 3 14B) und auch größere LLM-Ansätze aus dem Benchmark-Paper, trotz geringerer Parameterzahl. Die Performance war in ressourcenarmen Sprachen (z. B. Tatarisch) aufgrund kleinerer Trainingsdaten und schwächerer sprachspezifischer Vortrainings etwas geringer.
• DimASTE & DimASQP: Die ≤14B LLMs mit LoRA erzielten wettbewerbsfähige bis überlegene Ergebnisse (gemessen am continuous F1 / cF1) im Vergleich zu viel größeren Modellen (bis zu 120B Parameter) und Baselines.
  • Die Modelle zeigten eine starke Fähigkeit, den JSON-Ausgabeformaten zu folgen.
  • In ressourcenstarken Sprachen (Englisch, Chinesisch) waren die Ergebnisse konkurrenzfähig mit den größten Modellen.
  • In ressourcenarmen Szenarien (z. B. Tatarisch Restaurant) wurden die Ergebnisse teilweise von sehr großen Modellen (Llama 3.3 70B) übertroffen, was auf die Grenzen kleinerer Modelle bei komplexen Mehrsprachen-Mustern hinweist.
• Zero-Shot vs. Few-Shot vs. Fine-Tuning: Few-Shot-Learning war besser als Zero-Shot, erreichte aber nicht die Leistung des Fine-Tunings. Dies unterstreicht die Notwendigkeit der Anpassung für diese spezifische Aufgabe.

5. Bedeutung und Fazit

Das Paper demonstriert, dass für komplexe, multidimensionale Sentimentanalysen nicht zwingend massive, voll fine-getunte LLMs erforderlich sind. Durch die Kombination von spezialisierten Encodern für Regression und parameter-effizientem Instruction Tuning (LoRA) für strukturierte Extraktion lassen sich robuste, mehrsprachige Systeme mit geringeren Ressourcenanforderungen entwickeln.

Die Arbeit liefert wichtige Erkenntnisse für die Zukunft der DimABSA:

• Die Trennung von Regression und strukturiertem Extraktionsansatz ist effektiv.
• Übersetzungsbasierte Transfer-Learning-Ansätze sind in diesem Kontext mit Vorsicht zu genießen, da sie oft mehr Rauschen als Nutzen bringen.
• Effiziente Modelle können in den meisten Domänen mit den größten verfügbaren Modellen mithalten, was die Skalierbarkeit und Zugänglichkeit der Technologie für niedrigere Ressourcen erhöht.

Die Autoren identifizieren als Limitationen die Notwendigkeit separater Modelle pro Sprache/Domäne (fehlende Cross-Lingual-Transfer-Nutzung in einem einzigen Modell) und die Instabilität in extrem ressourcenarmen Szenarien.