Extending Czech Aspect-Based Sentiment Analysis with Opinion Terms: Dataset and LLM Benchmarks

Diese Arbeit stellt ein neues tschechisches Datenset für die aspektbasierte Sentimentanalyse mit Opinion-Term-Annotationen vor, bewertet moderne Transformer- und LLM-Modelle in verschiedenen Sprachsettings und schlägt eine skalierbare Übersetzungs- und Label-Alignierungsmethode vor, um Ressourcen für ressourcenarme Sprachen zu erweitern.

Das Wesentliche

Das große Restaurant-Rating-Problem

Stell dir vor, du liest eine Bewertung über ein Restaurant. Der Satz lautet: "Das Essen war köstlich, aber der Service war langsam."

Ein einfacher Computer sieht das vielleicht nur als "gut" oder "schlecht". Aber ein menschlicher Leser versteht sofort:

1. Das Essen (das ist der "Aspekt") war super (positive Stimmung).
2. Der Service (ein anderer Aspekt) war schlecht (negative Stimmung).

Das ist das Ziel der Aspekt-basierten Sentiment-Analyse (ABSA). Es geht nicht darum, das ganze Restaurant zu bewerten, sondern jeden einzelnen Teil genau zu zerlegen.

Was haben die Forscher aus Pilsen jetzt gemacht?

Die Forscher (Jakub, Pavel und Pavel) aus Tschechien haben ein riesiges Problem gelöst: Bisher gab es für die tschechische Sprache kaum Daten, die so feinmaschig analysiert waren. Es fehlte vor allem an einer wichtigen Zutat: den Meinungswörtern (den "Opinion Terms").

Stell dir das wie ein Kochbuch vor:

• Das alte Kochbuch: Sagte nur: "Das Gericht ist gut." (Aspekt: Gericht, Stimmung: Gut).
• Das neue Kochbuch (ihr Dataset): Sagt: "Das Essen (Aspekt) war köstlich (Meinungswort) und schnell zubereitet (noch ein Meinungswort)."

Sie haben tausende Restaurantbewertungen in Tschechien gesammelt und von Hand so detailliert annotiert (markiert), dass ein Computer lernen kann, genau diese Nuancen zu verstehen. Sie haben sogar Fälle berücksichtigt, wo das Wort für das Essen oder den Service gar nicht im Satz steht, sondern nur gemeint ist (z. B. "Das war lecker!" – Was war lecker? Das Essen. Das muss der Computer erraten).

Der Kampf der Roboter: Die kleinen Helfer vs. die Superhirne

Um zu testen, wie gut diese neuen Daten sind, haben die Forscher verschiedene KI-Modelle gegeneinander antreten lassen. Man kann sich das wie ein Rennen zwischen zwei Arten von Robotern vorstellen:

1. Die spezialisierten Kleinen (Fine-tuned Modelle wie mT5):
   Diese sind wie ein Lehrling, der monatelang nur in diesem einen Restaurant gearbeitet hat. Er kennt jeden Teller, jeden Kellner und jedes Wort auswendig.

   • Ergebnis: Wenn er genug Zeit zum Lernen hat (Training), ist er der unangefochtene Champion. Er macht kaum Fehler und ist schnell.

2. Die Superhirne (Large Language Models / LLMs wie LLaMA oder GPT):
   Diese sind wie Weltreisende, die schon alles gesehen haben, aber vielleicht nicht genau wissen, wie man in diesem spezifischen tschechischen Restaurant bestellt.

   • Ohne Training (Zero-Shot): Sie raten oft. Sie verstehen die Grundidee, aber verpassen Details.
   • Mit ein paar Beispielen (Few-Shot): Wenn man ihnen kurz zeigt, wie es geht, werden sie besser.
   • Mit Training (Fine-tuning): Wenn man sie auch in diesem Restaurant arbeiten lässt, können sie fast so gut werden wie der Lehrling, brauchen aber viel mehr Energie und Zeit.

Die magische Brücke: Übersetzen mit KI

Das größte Hindernis war: Es gab viele Trainingsdaten auf Englisch, aber kaum auf Tschechisch. Wie bringt man einem KI-Modell bei, Tschechisch zu verstehen, indem man es nur Englisch lernt?

Die Forscher haben einen cleveren Trick angewendet: Sie haben die englischen Daten mit Hilfe einer starken KI (GPT-4o) ins Tschechische übersetzt. Aber das war nicht einfach nur "Übersetzen".

Stell dir vor, du übersetzt ein Rezept. Wenn du "1 Tasse Mehl" einfach ins Tschechische übersetzt, steht dort vielleicht "1 Tasse Mehl". Aber was ist, wenn im Englischen "1 Tasse" gemeint war und im Tschechischen "100 Gramm"? Die KI hat nicht nur den Text übersetzt, sondern auch die Markierungen (Labels) angepasst. Sie hat sichergestellt, dass das Wort "Meinung" im neuen Satz genau an der richtigen Stelle steht.

Das ist wie ein Übersetzer, der auch der Koch ist: Er weiß nicht nur, wie man "Delicious" ins Tschechische sagt, sondern auch, dass das Wort "köstlich" im tschechischen Satz genau dort steht, wo im englischen Satz "delicious" stand, damit der Computer nicht verwirrt ist.

Was haben sie herausgefunden?

1. Spezialisten gewinnen: Wenn es um Genauigkeit geht und man genug Rechenleistung hat, ist ein speziell trainiertes Modell (der Lehrling) immer noch besser als ein riesiges, allgemeines KI-Modell.
2. Die Feinheiten sind schwer: Das Schwierigste für die KIs ist nicht zu erkennen, ob etwas "gut" oder "schlecht" ist. Das Schwierigste ist, das genaue Wort zu finden, das die Meinung ausdrückt (z. B. ist "etwas sauer" negativ, aber "sehr sauer" noch negativer? Oder ist es nur "neutral"?).
3. Die Brücke funktioniert: Der Trick mit der KI-Übersetzung und dem Anpassen der Labels hat funktioniert. Man kann also englische Daten nutzen, um tschechische Modelle zu trainieren, auch wenn die Sprachen sehr unterschiedlich sind.

Fazit

Die Forscher haben den Tschechien eine neue, super-detaillierte "Landkarte" für Restaurantbewertungen gegeben. Damit können Computer endlich nicht nur sagen "Das Restaurant ist gut", sondern genau verstehen: "Der Kellner war nett, aber das Bier war lauwarm."

Das ist ein riesiger Schritt für die tschechische Sprache in der KI-Welt und zeigt, wie man mit cleveren Tricks (wie dem KI-Übersetzer) auch für kleinere Sprachen starke KI-Modelle bauen kann.

Technische Zusammenfassung

1. Problemstellung

Die aspektbasierte Sentiment-Analyse (ABSA) zielt darauf ab, detaillierte Informationen über Entitäten und ihre Aspekte zu extrahieren. Ein vollständiges ABSA-Modell muss vier Elemente identifizieren:

1. Aspekt-Term (a): Das spezifische Merkmal (z. B. „Tea").
2. Aspekt-Kategorie (c): Die Kategorie des Merkmals (z. B. „drinks quality").
3. Sentiment-Polarität (p): Die Stimmung (positiv, negativ, neutral).
4. Meinungsterm (o): Der Ausdruck der Meinung (z. B. „Delicious").

Bisher fehlten für die tschechische Sprache hochwertige Datensätze, die alle vier Elemente, insbesondere die Meinungsterme (Opinion Terms), annotieren. Existierende tschechische Datensätze (z. B. basierend auf SemEval-2014/2016) decken nur einfache oder zusammengesetzte Aufgaben ab, ohne Meinungsterme zu verknüpfen. Dies verhindert die Durchführung komplexer Aufgaben wie der Extraktion von Quadruplets (ASQP) oder der Vorhersage von Aspekt-Kategorie-Meinung-Sentiment (ACOS) sowie den direkten sprachübergreifenden Vergleich mit englischen Datensätzen. Zudem ist unklar, wie gut moderne Large Language Models (LLMs) und feinabgestimmte Transformer-Modelle mit den linguistischen Nuancen einer ressourcenarmen Sprache wie Tschechisch umgehen, insbesondere bei impliziten Aspekten und Meinungen.

2. Methodik

Datenerstellung und Annotation

Die Autoren erweiterten den bestehenden CsRest-M-Datensatz (Restaurant-Domain), um ihn für drei komplexe ABSA-Aufgaben nutzbar zu machen:

• ASTE: Aspekt-Sentiment-Triplet-Extraktion (Aspekt, Meinung, Polarität).
• ASQP: Aspekt-Sentiment-Quad-Vorhersage (Aspekt, Kategorie, Meinung, Polarität).
• ACOS: Aspekt-Kategorie-Meinung-Sentiment-Vorhersage (inkl. impliziter Terme).

Annotation-Prozess:

• Zwei muttersprachliche tschechische Annotatoren mit ABSA-Erfahrung erstellten die Labels unter Verwendung detaillierter Richtlinien, die sich an englischen Referenzdatensätzen (ACOS, ASQP, USAGE) orientierten.
• Besonderheit: Im Gegensatz zu vielen englischen Datensätzen wurden Modifikatoren (z. B. „velmi" für „sehr") in die Meinungsterme integriert, da diese in Tschechisch die Sentiment-Intensität entscheidend beeinflussen.
• Implizite Meinungsterme wurden als „NULL" markiert.
• Der Prozess umfasste iterative Verfeinerung der Richtlinien, um eine hohe Inter-Annotator-Übereinstimmung (IAA) zu erreichen (Final: 85 %).
• Das finale ACOS-Dataset enthält 3.000 Sätze mit fast 7.000 annotierten Quadruplets.

Experimentelles Setup

Die Studie evaluierte verschiedene Modellarchitekturen in drei Szenarien:

1. Monolingual: Training und Test nur auf Tschechisch.
2. Cross-lingual: Training auf Englisch, Test auf Tschechisch. Hier wurde eine neue Methode zur Übersetzung und Label-Alignment mittels LLMs (GPT-4o mini) vorgeschlagen, um englische Trainingsdaten in Tschechisch zu übertragen und die Labels (Aspekt/Meinung) an den übersetzten Text anzupassen.
3. Multilingual: Training auf einer Kombination aus Tschechisch und Englisch.

Modelle:

• Sequence-to-Sequence (Seq2Seq): Feinabgestimmtes mT5 (Baseline).
• Large Language Models (LLMs): Evaluation von GPT-4o mini, LLaMA 3.1/3.3, Gemma 3, Aya 23 und Orca 2.
  • Zero-Shot & Few-Shot: Nutzung von Prompts (in Englisch).
  • Fine-Tuning: Anwendung von QLoRA (4-Bit-Quantisierung) für effizientes Training auf begrenzter Hardware.

3. Wichtige Beiträge

1. Neuer Tschechischer Datensatz: Einführung des ersten tschechischen ABSA-Datensatzes mit vollständigen Annotationen für Aspekt-Terme, Kategorien, Polaritäten und Meinungsterme, der Aufgaben auf Quadruplet-Ebene (ASQP, ACOS) unterstützt.
2. LLM-Benchmarks: Umfassende Evaluierung moderner LLMs (Zero-Shot, Few-Shot, Fine-Tuning) für tschechische ABSA-Aufgaben.
3. Cross-Lingual Transfer-Methode: Entwicklung einer skalierbaren Pipeline zur Übersetzung und Label-Alignment von ABSA-Daten von Englisch nach Tschechisch unter Verwendung von LLMs, die konsistente Verbesserungen gegenüber reinen englischen Baselines erzielt.
4. Fehleranalyse: Detaillierte Untersuchung der Fehlerquellen, die spezifische Herausforderungen der tschechischen Sprache aufzeigen.

4. Ergebnisse

• Leistungsvergleich:

  • Feinabgestimmte Modelle (mT5) erzielten konsistent die besten Ergebnisse (z. B. ~64 % F1-Score im Durchschnitt über alle Aufgaben), gefolgt von feinabgestimmten LLMs (z. B. Aya 23 8B, LLaMA 3.1 8B).
  • Zero-Shot und Few-Shot LLMs schnitten deutlich schlechter ab als feinabgestimmte Modelle, wobei größere und multilinguale Modelle (z. B. Gemma 3 27B, LLaMA 3.3 70B) besser abschnitten als kleinere.
  • Die Aufgaben waren nach Schwierigkeit geordnet: ASTE (einfachste) > ASQP > ACOS (schwierigste, da implizite Terme und Kategorien enthalten sind).

• Cross-Lingual und Multilingual:

  • Das Training nur auf Englisch führte zu schlechteren Ergebnissen auf Tschechisch (ca. 15–20 % niedriger als monolingual).
  • Die Übersetzungs- und Alignierungsmethode verbesserte die Leistung mehrerer Modelle signifikant (z. B. +4 % bei Gemma 3 12B), war jedoch immer noch nicht so effektiv wie monolinguales Fine-Tuning. Ein Hauptgrund für die Lücke sind Inkonsistenzen bei der Behandlung von Modifikatoren in den englischen vs. tschechischen Datensätzen.
  • Multilinguales Fine-Tuning bot kaum Vorteile gegenüber rein monolingualen Ansätzen.

• Fehleranalyse:

  • Meinungsterme waren die am schwierigsten vorherzusagenden Elemente, gefolgt von Aspekt-Termen. Sentiment-Polaritäten waren am einfachsten.
  • Hauptfehlerquellen waren: Implizite Meinungen, mehrwortige Meinungsausdrücke, Umgangssprache/Idiome (z. B. „Pivečko jak křen") und die Unterscheidung zwischen leicht positiven/negativen und neutralen Aussagen.
  • Feinabgestimmte Modelle zeigten weniger Formatierungsfehler und passten sich besser an die spezifischen Annotation-Konventionen an als Zero-Shot-LLMs.

5. Bedeutung und Fazit

Das Paper schließt eine kritische Lücke in der NLP-Forschung für die tschechische Sprache, indem es einen hochwertigen Benchmark für komplexe ABSA-Aufgaben bereitstellt. Die Ergebnisse zeigen, dass feinabgestimmte, ressourceneffiziente Modelle (wie mT5 mit QLoRA) derzeit die zuverlässigste Wahl für ressourcenarme Sprachen sind, insbesondere wenn es um die Erfassung subtiler linguistischer Nuancen geht.

Die vorgeschlagene LLM-gestützte Übersetzungs- und Alignierungsmethode bietet einen vielversprechenden Weg, um ABSA-Ressourcen für andere ressourcenarme Sprachen zu skalieren, ohne auf manuelle Annotation zurückgreifen zu müssen, auch wenn sie die Leistung von monolingualen Modellen noch nicht vollständig erreicht. Die Studie unterstreicht zudem die Notwendigkeit, bei der Übersetzung von Datensätzen kulturelle und linguistische Besonderheiten (wie Modifikatoren) sorgfältig zu berücksichtigen, um Annotation-Inkonsistenzen zu minimieren.

Der Datensatz und der Code sind öffentlich verfügbar, um zukünftige Forschung im Bereich multilingualem und low-resource ABSA zu fördern.