Diverse Word Choices, Same Reference: Annotating Lexically-Rich Cross-Document Coreference

Dieses Papier stellt ein überarbeitetes Annotationschema für die cross-document Coreferenzresolution vor, das lexikalische Vielfalt und Framing-Variationen in Nachrichten durch die Behandlung von Coreferenzketten als Diskurselemente berücksichtigt und durch die Neuanotation des NewsWCL50-Datensatzes sowie eines ECB+-Teils eine ausgewogenere Grundlage für die Forschung schafft.

Das Wesentliche

Das Problem: Wenn alle dasselbe meinen, aber ganz anders sagen

Stellen Sie sich vor, Sie lesen zwei Zeitungen über dasselbe Ereignis: einen großen Zug von Flüchtlingen, der eine Grenze überquert.

• Zeitung A schreibt: "Die Karawane nähert sich der Grenze."
• Zeitung B schreibt: "Asylsuchende versuchen, illegal einzudringen."
• Zeitung C schreibt: "Die Gruppe, die die Grenze bedroht, wird gestoppt."

Für einen Computer ist das ein riesiges Rätsel. Ein normaler Computer denkt: "Karawane" ist nicht dasselbe wie "Asylsuchende" oder "Gruppe". Er sieht nur verschiedene Wörter und denkt, es seien verschiedene Dinge. Aber für uns Menschen ist klar: Alle drei Wörter beschreiben dieselbe Gruppe von Menschen.

Das ist das Problem, das die Forscher in diesem Papier lösen wollen. Sie nennen es "Cross-Document Coreference Resolution" (ganz schön sperrig!). Auf Deutsch heißt das so viel wie: "Verbinden von Hinweisen auf dasselbe Ding in verschiedenen Texten."

Die alte Lösung: Zu streng oder zu locker

Bisher gab es zwei Arten, Computer das zu lehren, aber beide hatten Mängel:

1. Der "Strenge Lehrer" (ECB+-Datensatz): Dieser Lehrer sagte: "Ein Ereignis ist nur dann dasselbe, wenn der Ort, die Zeit und die Person exakt übereinstimmen."

   • Der Vergleich: Das ist wie ein Schloss, das nur mit einem einzigen, perfekten Schlüssel aufgeht. Wenn jemand sagt "Der Präsident" statt "Donald Trump", geht das Schloss nicht auf. Das ist zu streng für echte Nachrichten, wo Journalisten gerne verschiedene Wörter benutzen, um eine bestimmte Stimmung zu erzeugen.

2. Der "Lockere Lehrer" (NewsWCL50-Datensatz): Dieser Lehrer sagte: "Alles, was irgendwie ähnlich klingt, gehört zusammen."

   • Der Vergleich: Das ist wie ein Korb, in den man alles wirft, was auch nur entfernt nach Obst aussieht. Eine Banane, ein Apfel und eine Tomate landen im selben Korb. Das ist zu ungenau. Der Computer lernt nicht, die feinen Unterschiede zu erkennen, die wichtig sind, um zu verstehen, wie etwas dargestellt wird (z. B. als "Karawane" vs. "Asylsuchende").

Die neue Lösung: Ein smarter Übersetzer

Die Forscher haben einen neuen Weg gefunden, der das Beste aus beiden Welten kombiniert. Sie haben die Daten neu markiert (annotiert), damit der Computer lernt, nicht nur nach exakten Wörtern zu suchen, sondern nach der Bedeutung und dem Kontext.

Stellen Sie sich vor, der Computer ist jetzt ein sehr aufmerksamer Detektiv, der nicht nur nach Namen sucht, sondern auch nach:

• Metaphern: "Die Karawane" = "Die Gruppe".
• Euphemismen: "Illegaler Einreisender" = "Asylsuchender".
• Verbindungen: "Das Weiße Haus" = "Die US-Regierung".

Das Ziel: Der Computer soll lernen, dass diese verschiedenen Wörter zwar unterschiedlich klingen, aber im gleichen Kontext oft auf dasselbe Konzept verweisen. Und zwar so, dass er merkt: "Aha, Zeitung A nennt sie 'Karawane' (klingt wie eine Reise), aber Zeitung B nennt sie 'Asylsuchende' (klingt nach Schutz). Beide meinen dieselbe Gruppe, aber die Art, wie sie darüber sprechen, ist unterschiedlich."

Was haben sie getan? (Die Experimente)

Die Forscher haben zwei alte Datensätze genommen und sie mit ihrer neuen "Detektiv-Regel" neu bearbeitet:

1. Sie haben die zu strengen Regeln gelockert, damit mehr Wortvielfalt erkannt wird.
2. Sie haben die zu lockeren Regeln straffer gemacht, damit die Gruppen klarer definiert sind.

Das Ergebnis ist wie ein perfektes Gleichgewicht:

• Die neuen Datensätze sind nicht zu einfach (wie der alte "Strenge Lehrer").
• Sie sind nicht zu chaotisch (wie der alte "Lockere Lehrer").
• Sie liegen genau in der Mitte: Sie sind herausfordernd genug, um den Computer zu trainieren, aber klar genug, damit er nicht verrückt wird.

Warum ist das wichtig?

Warum sollten wir uns dafür interessieren? Weil Nachrichten nicht neutral sind. Wie eine Gruppe genannt wird ("Karawane" vs. "Asylsuchende"), verändert, wie wir sie fühlen.

Wenn wir Computer so trainieren, dass sie diese feinen sprachlichen Unterschiede verstehen, können wir:

• Medienbias (Voreingenommenheit) erkennen: Wir können automatisch sehen, welche Zeitungen welche Wörter benutzen, um eine bestimmte Stimmung zu erzeugen.
• Bessere Zusammenfassungen erstellen: Ein Computer kann Informationen aus 50 verschiedenen Artikeln über dasselbe Thema zusammenfassen, auch wenn jeder Artikel andere Wörter benutzt.
• Die Welt besser verstehen: Wir können analysieren, wie über wichtige Themen (wie Migration, Kriege oder Politik) gesprochen wird, ohne von den einzelnen Wörtern verwirrt zu werden.

Fazit

Kurz gesagt: Die Forscher haben eine neue Art von "Schulbuch" für Computer erstellt. In diesem Buch lernen Computer nicht nur, dass "Hund" und "Tier" zusammengehören, sondern auch, dass "die Karawane", "die Flüchtlinge" und "die Eindringlinge" in bestimmten Nachrichten oft dasselbe meinen – aber mit ganz unterschiedlicher Absicht. Das hilft uns, die Sprache der Medien besser zu verstehen und die Nachrichten, die wir jeden Tag lesen, kritischer zu betrachten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Technische Zusammenfassung: Diverse Word Choices, Same Reference

Titel: Diverse Word Choices, Same Reference: Annotating Lexically-Rich Cross-Document Coreference
Veranstaltung: ACDSA 2026 (Boracay, Philippinen)
Autoren: Anastasia Zhukova et al. (Universität Göttingen, Humboldt-Universität Berlin, Universität Zürich)

---

1. Problemstellung

Die Cross-Document Coreference Resolution (CDCR) zielt darauf ab, Erwähnungen derselben Entitäten und Ereignisse über mehrere verwandte Dokumente hinweg zu identifizieren und zu verknüpfen. Dies ist essenziell für die Inhaltsanalyse, insbesondere in der Medienforschung zur Erkennung von Framing und Bias.

Das zentrale Problem liegt in der Diskrepanz zwischen bestehenden Datensätzen und den Anforderungen der realen Medienberichterstattung:

• ECB+ (Existing Benchmark): Dieser weit verbreitete Datensatz fokussiert sich stark auf Ereignisauflösung mit einer sehr strengen Definition von Koreferenz (identische Attribute wie Akteur, Ort, Zeit). Dies führt dazu, dass Entitäten nur als ereignisabhängig annotiert werden und lexikalische Variationen (z. B. Euphemismen, Metaphern) ignoriert werden.
• NewsWCL50 (Existing Benchmark): Dieser Datensatz adressiert zwar die lexikalische Vielfalt und Bias durch Wortwahl, verwendet jedoch eine zu breite Annotation, die eher für Inhaltsanalyse als für präzise Koreferenzauflösung geeignet ist. Die Diskurs-Elemente (DEs) sind oft zu unscharf definiert.

Folge: Modelle, die auf diesen Datensätzen trainiert werden, scheitern oft an polarisierten Nachrichtenartikeln, die dasselbe Ereignis mit stark unterschiedlichem Vokabular und unterschiedlichen Perspektiven beschreiben. Es fehlt ein ausgewogener Ansatz, der sowohl die semantische Präzision als auch die lexikalische Diversität abbildet.

---

2. Methodik

Die Autoren schlagen ein revidiertes Annotationschema vor, das die Stärken beider existierender Ansätze integriert und spezifische Lücken schließt.

Kernkonzepte des neuen Schemas:

• Diskurs-Elemente (Discourse Elements - DEs): Koreferenzketten werden als semantische Einheiten definiert, die Entitäten, Ereignisse und abstrakte Konzepte umfassen.
• Erweiterte Relationstypen: Das Schema geht über strikte Identität hinaus und integriert:
  • Near-Identity (Nahe Identität): Semantisch verwandte, aber nicht identische Begriffe.
  • Metonymie & Meronymie: Teil-Ganzes-Beziehungen (z. B. "Kreml" für "Russische Regierung").
  • Kontextabhängige Äquivalenzen: Wörter mit unterschiedlicher wörtlicher Bedeutung, die im Kontext dasselbe meinen (oft mit evaluativem Urteil), z. B. "invasieren" vs. "Grenze überschreiten".
  • Euphemismen, Metaphern und "Labeling"-Relationen: Verben wie "nennen" oder "beschreiben", die ideologische Labels zuweisen (z. B. "Rocket Man" für Kim Jong Un).
• Maximale Spanne (Maximum Span): Im Gegensatz zu ECB+ werden vollständige Nominalphrasen (inkl. Modifikatoren) annotiert, um die volle lexikalische Variation zu erfassen.
• Zehn DE-Typen: Das Schema unterscheidet zwischen ACTION, ACTOR, COUNTRY, ACTOR-G, ACTOR-I, EVENT, GROUP, OBJECT, ORGANIZATION und MISC, um semantische Vielfalt zu strukturieren.

Durchführung der Re-Annotation:

1. NewsWCL50r: Der ursprüngliche NewsWCL50-Datensatz wurde neu annotiert, um zu breite Konzepte in präzisere DEs aufzubrechen und Ambiguitäten zu reduzieren.
2. ECB+r: Ein Subset des ECB+-Datensatzes (fünf Themenbereiche) wurde neu annotiert, um die lexikalische Diversität zu erhöhen, indem die strikte Ereignis-Attribut-Rahmenbedingung gelockert und die Annotation auf maximale Spannen erweitert wurde.
3. Validierung: Eine manuelle Kuratierung ergab eine Präzision von ca. 0,98.

---

3. Wichtige Beiträge

• Einheitliches Codebuch: Entwicklung eines konsistenten Annotationsrahmens, der sowohl für politische als auch für allgemeine Nachrichten geeignet ist und strikte Identität mit "looser" Koreferenz (Near-Identity) verbindet.
• Neue Datensätze: Bereitstellung von NewsWCL50r und ECB+r, die als neue Benchmarks für lexikalisch reiche CDCR dienen.
• Brücke zwischen NLP und Sozialwissenschaften: Das Schema ermöglicht es, nicht nur was diskutiert wird, sondern wie es durch Wortwahl und Framing dargestellt wird, computergestützt zu analysieren.
• Ressourcen: Der Codebook, die Annotationsdateien (MAXQDA) und die finalen Daten sind öffentlich auf GitHub verfügbar.

---

4. Ergebnisse

Die Evaluation erfolgte durch statistische Analysen, Metriken zur lexikalischen Diversität und ein Baseline-Modell (Same-Head-Lemma).

• Statistische Balance:

  • NewsWCL50r: Zeigt eine Verfeinerung der DEs (Anstieg der Anzahl der Ketten um das 3-fache, aber Reduktion der durchschnittlichen Kettenlänge), was auf präzisere Annotation hindeutet.
  • ECB+r: Zeigt das gegenteilige Muster (weniger DEs, aber deutlich längere Ketten), was die Erfassung breiterer lexikalischer Variationen widerspiegelt.
  • Ergebnis: Beide re-annotierten Datensätze liegen in ihren Metriken (Anzahl der Erwähnungen pro Kette) zwischen den Originaldatensätzen und sind nun untereinander vergleichbar.

• Lexikalische Diversität:

  • Metriken wie Unique Head Lemmas (UL), Phrasing Diversity (PD) und MTLD zeigen, dass NewsWCL50r und ECB+r nun ähnliche Verteilungen aufweisen.
  • ECB+r erreicht eine signifikant höhere lexikalische Diversität als das ECB+-Metam-Modell (welches GPT-4 zur Generierung von Paraphrasen nutzte), und zwar allein durch eine bessere Annotation existierender Texte.

• Modellleistung (Baseline):

  • Ein einfacher Same-Head-Lemma-Baseline-Modell erzielt auf beiden neuen Datensätzen vergleichbare CoNLL F1-Scores (NewsWCL50r: 54,08 vs. ECB+r: 52,92).
  • Im Vergleich zu den Originaldaten (wo große Diskrepanzen bestanden) bietet das neue Schema ein moderates und ausgewogenes Schwierigkeitsniveau für CDCR-Modelle.

---

5. Signifikanz und Fazit

Die Arbeit demonstriert, dass die Qualität von CDCR-Datensätzen maßgeblich von der Annotationstiefe abhängt. Durch die Integration von "looser" Koreferenzrelationen (Near-Identity) und die Berücksichtigung von Framing-Aspekten (Euphemismen, Metaphern) schaffen die Autoren einen Datensatz, der die linguistische Komplexität realer Nachrichten besser abbildet.

Dies ermöglicht:

1. Die Entwicklung robusterer NLP-Modelle, die mit lexikalischer Vielfalt und semantischer Mehrdeutigkeit in polarisierten Medien umgehen können.
2. Eine tiefgehende, datengetriebene Analyse von Medienbias und Diskursstrategien im großen Maßstab.
3. Eine Überbrückung der Lücke zwischen technischer NLP-Forschung und kritischen Medienwissenschaften.

Zusammenfassend stellt das vorgeschlagene Schema einen methodischen Fortschritt dar, der CDCR von einer reinen Entitätsverknüpfung zu einer kontextbewussten Analyse von Diskurspartnern weiterentwickelt.