From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation

Diese Arbeit stellt ein qualitatives Inhaltsanalyse-Framework zur Annotation von Inflationsnarrativen als gerichtete azyklische Graphen vor und zeigt durch eine experimentelle Auswertung, dass lokal eingeschränkte Repräsentationen die Annotationsschwankungen verringern, während überlappungsbasierte Metriken die Zuverlässigkeit überschätzen.

Junbo Huang, Max Weinig, Ulrich Fritsche, Ricardo Usbeck

Veröffentlicht 2026-03-05
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, du und deine Freunde sitzt zusammen und lest eine Nachricht über die Inflation. Jeder von euch erzählt die Geschichte ein bisschen anders.

  • Du sagst: „Die Preise sind gestiegen, weil die Lieferketten kaputt waren."
  • Dein Freund sagt: „Nein, das liegt daran, dass die Leute zu viel Geld ausgegeben haben."
  • Ein Dritter sagt: „Beides ist wichtig, aber auch die Energiepreise spielen eine Rolle."

Alle haben recht, aber sie sehen die Geschichte anders. Das ist das große Problem bei der Analyse von Nachrichten durch Computer: Wie messen wir, ob zwei Menschen die gleiche Geschichte erzählen, wenn sie sie nur ein bisschen unterschiedlich formulieren?

Dieser Papier beschreibt genau das. Hier ist die einfache Erklärung, was die Forscher gemacht haben:

1. Das Problem: Die „Wahrheit" ist oft eine Geschichte

In der Wirtschaftswissenschaft gibt es das Konzept der „Narrative" (Geschichten). Wenn die Inflation steigt, erzählen die Medien eine Geschichte darüber, warum das passiert. Computer sollen diese Geschichten automatisch finden und verstehen.

Aber Menschen sind kompliziert. Wenn man ihnen sagt: „Zeichne die Geschichte der Inflation auf", zeichnen sie sie unterschiedlich auf.

  • Der eine zeichnet nur die Hauptursachen.
  • Der andere zeichnet auch die kleinen Nebenursachen mit.
  • Der dritte verbindet die Punkte anders.

Früher haben Computer gesagt: „Wenn die Zeichnungen nicht zu 100 % identisch sind, habt ihr einen Fehler gemacht." Das ist aber falsch! Es ist einfach nur, dass Menschen die Welt unterschiedlich sehen.

2. Die Lösung: Ein neuer Weg zum Zeichnen (Qualitative Inhaltsanalyse)

Die Forscher haben sich etwas Cleveres ausgedacht. Statt einfach nur zu sagen „Fang an!", haben sie wie Sozialwissenschaftler gearbeitet. Sie haben eine Schritt-für-Schritt-Anleitung entwickelt (wie ein Kochrezept), um sicherzustellen, dass alle ihre Geschichte auf die gleiche Art und Weise aufbauen.

Sie haben das wie einen Workshop gemacht:

  1. Erst haben sie eine grobe Anleitung geschrieben.
  2. Dann haben sie versucht, Geschichten zu zeichnen.
  3. Dann haben sie sich getroffen und gesagt: „Moment, hier waren wir uns unsicher. Was genau meinen wir mit 'Energiepreise'?"
  4. Sie haben die Anleitung verbessert und wiederholt.

Das nennt man Qualitative Content Analysis. Es ist wie das Schleifen eines Diamanten: Erst ist er rau, aber durch ständiges Reiben und Besprechen wird er klar und glänzend.

3. Der Experiment: Wie misst man die Übereinstimmung?

Jetzt hatten sie eine Menge von gezeichneten Geschichten (Graphen). Aber wie messen sie, wie gut die Menschen übereinstimmen?

Stell dir vor, du hast zwei verschiedene Arten, die Übereinstimmung zu messen:

  • Der „Lockere" Maßstab (Der Freund): Er sagt: „Hey, ihr habt beide über 'Energiepreise' gesprochen! Das ist super, ihr seid zu 100 % einig!"
    • Problem: Das ist zu nett. Es ignoriert, dass einer meinte, Energie sei die Hauptursache, und der andere meinte, es sei nur ein kleiner Faktor.
  • Der „Streng" Maßstab (Der Richter): Er sagt: „Ihr habt beide 'Energiepreise' geschrieben, aber einer hat es mit einem Strich verbunden und der andere mit einem Punkt. Das ist falsch! Ihr seid zu 0 % einig."
    • Problem: Das ist zu streng. Es ignoriert, dass beide im Kern die gleiche Idee hatten.

Die Forscher haben beide Maßstäbe getestet. Sie haben herausgefunden:

  • Wenn man zu locker misst, denkt man, alle sind sich super einig (obwohl sie es gar nicht sind).
  • Wenn man zu streng misst, denkt man, alle sind sich gar nicht einig (obwohl sie im Kern recht haben).

4. Das große Ergebnis: „Nur das Wichtige"

Das Wichtigste, was sie herausfanden, ist eine Art Goldene Regel für das Zeichnen von Geschichten:

Konzentriert euch auf das, was direkt passiert.

Stell dir vor, du zeichnest ein Familienfoto.

  • Wenn du versuchst, jeden Menschen im Hintergrund, jedes Haus im Hintergrund und jeden Baum im Hintergrund mit zu zeichnen (die „ganze Geschichte"), wird das Bild chaotisch. Jeder zeichnet etwas anderes.
  • Wenn du dich aber nur auf die direkte Familie konzentrierst (die „Nachbarn" der Hauptursache), zeichnen alle fast das Gleiche.

Die Forscher nannten das „Adjacent Story" (Die direkte Geschichte). Sie fanden heraus: Wenn man die Geschichte auf die direkten Ursachen der Inflation beschränkt, sind sich die Menschen viel einigiger. Wenn man versucht, die ganze Weltgeschichte der Inflation zu erzählen, wird es schnell unklar.

Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass man, um Computer beim Verstehen von Wirtschaftsgeschichten zu helfen, nicht nach perfekten, identischen Zeichnungen suchen sollte, sondern eine klare Anleitung geben muss und sich auf die wichtigsten, direkten Zusammenhänge konzentrieren sollte, damit alle Menschen (und Computer) auf derselben Seite stehen.

Die Metapher:
Statt zu versuchen, ein riesiges, komplexes Gemälde zu malen, bei dem jeder Künstler einen anderen Pinselstrich macht, haben sie gelernt, dass es besser ist, sich auf das Gesicht im Bild zu konzentrieren. Dort sind sich alle Künstler einig, wie es aussieht. Den Hintergrund kann man später immer noch hinzufügen, aber das Gesicht ist der Schlüssel zum Verständnis.