Challenges in annotations by humans and LLMs: A case study of evaluative language

Technische Zusammenfassung: Herausforderungen bei der Annotation durch Menschen und LLMs: Eine Fallstudie zu evaluativer Sprache

Problemstellung
Die Arbeit befasst sich mit der zunehmenden Komplexität von Annotationsaufgaben in den Digital Humanities und den Computational Social Sciences, wobei der Schwerpunkt auf der Identifizierung und Klassifizierung von evaluativer Sprache liegt. Während Large Language Models (LLMs) vielversprechende Ergebnisse bei unüberwachten NLP-Aufgaben gezeigt haben, bleibt ihre Fähigkeit, die Leistung von Menschen bei hochgradig subjektiven, komplexen theoretischen Rahmenwerken zu erreichen oder zu übertreffen, ungeprüft. Die Studie konzentriert sich auf die Appraisal-Theorie (Martin & White, 2005), ein funktionales Modell für evaluative Sprache, speziell auf deren Attitude-Subsystem (Affekt, Urteil, Wertschätzung/Appreciation). Die Autoren heben hervor, dass die manuelle Annotation dieser Kategorien zeitaufwendig ist, zu einer geringen Inter-Annotator-Übereinstimmung (IAA) neigt und durch Kontextabhängigkeit, implizite Bedeutungen sowie die Schwierigkeit der Unterscheidung zwischen subtilen Kategorien erschwert wird. Das zentrale Forschungsproblem besteht darin, zu bestimmen, ob LLMs vor denselben Herausforderungen stehen wie menschliche Annotatoren bei diesen komplexen Aufgaben und ob sie als effektive Werkzeuge zur Lösung solcher Annotationsschwierigkeiten dienen können.

Methodik
Die Studie verwendet eine Mixed-Methods-Fallstudie unter Verwendung eines Korpus aus 190 englischen TED-Talk-Transkripten (das EmotionalizTED-Korpus) über elf Domänen hinweg (z. B. Wissenschaft, Politik, Medizin). Die Methodik ist in drei Phasen unterteilt:

1. Menschliche Annotation:

   • Annotatoren: 24 Linguistikstudierende in der Ausbildung (Nicht-Muttersprachler, primär Deutsche) und ein leitender Forscher (der als Goldstandard dient).
   • Aufgabe: Satzebene-Klassifizierung von evaluativem Inhalt. Die Annotatoren bestimmten zunächst, ob ein Satz evaluativ war (binär) und klassifizierten ihn anschließend in Attitude-Kategorien: Affekt, Urteil, Wertschätzung, Ambivalent oder Unsicher. Multi-Labeling war zulässig.
   • Evaluierung: Die Inter-Annotator-Übereinstimmung (IAA) wurde mittels Cohen's Kappa (für die binäre Evaluativität) und Krippendorff's Alpha (für die Multi-Class-Subklassifizierung) gemessen. Eine qualitative Fehleranalyse wurde durchgeführt, um Quellen der Diskrepanz zu identifizieren.

2. Automatische Annotation (LLM):

   • Prompt Engineering: Drei verschiedene Prompt-Variationen wurden entworfen und unter Verwendung des Modells qwen3-30b-a3b-instruct-25075 verglichen. Diese beinhalteten Few-Shot- und Zero-Shot-Ansätze mit Variationen in Kontext, Persona, Beschränkungen und der Einbeziehung von Chain-of-Thought (CoT)-Reasoning.
   • Modellwahl & Tuning: Der leistungsfähigste Prompt wurde auf drei verschiedene LLMs angewendet. Das effektivste Modell wurde anschließend mittels QLoRA feinjustiert, um die Leistung zu optimieren.
   • Prozess: Die LLMs folgten einem zweistufigen Prozess: (1) binäre Klassifizierung der Evaluativität und (2) Multi-Class-Klassifizierung der Attitude-Kategorien für evaluative Sätze.

3. Vergleichende Analyse:

   • Die Leistung des feinjustierten LLM wurde gegen den Goldstandard (leitender Forscher) und die Studierenden (Annotatoren) verglichen.
   • Die Studie untersuchte spezifisch, ob LLMs mit denselben spezifischen linguistischen Phänomenen (z. B. implizite Bedeutung, Zielidentifikation) zu kämpfen hatten, die bei Menschen zu einer geringen Übereitsimmung führten.

Wesentliche Ergebnisse

• Menschliche Leistung: Die Inter-Annotator-Übereitsimmung unter den Linguistikstudierenden war variabel und oft gering. Die Übereinstimmung bei der binären Entscheidung „evaluativ vs. nicht-evaluativ“ variierte von gering bis moderat (Kappa $\ge$ 0,51 in einigen Domänen wie Unterhaltung und Politik, sank jedoch signifikant in Geschichte und Psychologie). Die Übereinstimmung bei den spezifischen Attitude-Unterklassen (Affekt, Urteil, Wertschätzung) war noch geringer, wobei Krippendorff's Alpha häufig unter 0,50 und teilweise im negativen Bereich lag.
• Quellen menschlicher Fehler: Die qualitative Analyse ergab, dass menschliche Diskrepanzen aus folgenden Punkten resultierten:
  • Schwierigkeit bei der Unterscheidung zwischen expliziter und impliziter Bedeutung.
  • Verwirrung bezüglich des „Ziels der Evaluation“ (z. B. ob eine Emotion zum Sprecher selbst gehört oder zu einer erwähnten dritten Person).
  • Herausforderungen mit langen, komplexen Sätzen, die verschachtelte evaluative Bedeutungen enthalten.
  • Variationen in der Englischkompetenz und domänenspezifischem Wissen.
• LLM-Leistung: Das feinjustierte LLM erreichte einen F1-Score von 0,77 gegenüber dem Goldstandard.
  • Vergleich: Das LLM übertraf die Studierenden und erreichte bemerkenswerterweise eine höhere Übereinstimmung mit dem leitenden Forscher (Goldstandard) als die Studierenden selbst.
  • Herausforderungs-Alignment: Die Studie fand heraus, dass LLMs nicht zwangsläufig unter denselben spezifischen Problemen wie Menschen auf die gleiche Weise litten; vielmehr zeigten sie die Fähigkeit, komplexe Klassifizierungsaufgaben konsistenter zu lösen als die ausgebildeten, aber unerfahrenen menschlichen Kohorten.

Wesentliche Beiträge

1. Annotationsschema: Die Arbeit präsentiert ein spezifisches Annotationsschema für die Attitude-Kategorien der Appraisal-Theorie, das für die Satzebenen-Analyse in der gesprochenen populärwissenschaftlichen Diskursebene angepasst wurde.
2. Empirischer Vergleich: Sie liefert einen direkten empirischen Vergleich zwischen menschlichen Annotatoren (sowohl Trainees als auch Experten) und LLMs bei einer komplexen, subjektiven linguistischen Aufgabe.
3. Prompt-Optimierung: Die Studie demonstriert den Einfluss des Prompt-Designs (einschließlich CoT- und Few-Shot-Strategien) auf die Leistungsfähigkeit von LLMs in der pragmatischen Annotation.

Bedeutung und Behauptungen
Die Autoren behaupten, dass LLMs effektiv dazu beitragen können, komplexe Annotationsaufgaben zu lösen, wobei sie in Bezug auf Konsistenz und Übereinstimmung mit Expertenstandards potenziell die Leistung von Linguisten in der Ausbildung übertreffen können. Die Arbeit legt nahe, dass, wenn LLMs komplexe linguistische Theorien wie die Appraisal-Theorie durch Prompting und Fine-Tuning erfolgreich annotieren können, dies neue Wege für die Forschung in den Digital Humanities eröffnet. Speziell impliziert dies, dass umfangreiche, manuell annotierte Korpora nicht immer strikt notwendig sind, um große Teile von Sprachdaten zu klassifizieren, sofern die LLMs angemessen gesteuert werden. Die Studie kommt zu dem Schluss, dass LLMs eine praktikable Strategie zur Skalierung von Annotationsprozessen in interdisziplinären Feldern bieten, räumt jedoch ein, dass eine aufgabenbezogene Validierung der Modellleistung erforderlich ist.