Computational Fact-Checking of Online Discourse: Scoring scientific accuracy in climate change related news articles

Diese Studie stellt einen halbautomatischen Workflow zur Bewertung der wissenschaftlichen Genauigkeit von Klimanachrichten mittels LLM-basiertem Statement-Extraktion und Wissensgraphen-Analyse vor, stellt jedoch fest, dass die derzeitige Infrastruktur für Ground-Truth-Wissen und die Skalierbarkeit noch unzureichend sind, um eine umfassende faktenbasierte öffentliche Debatte zu unterstützen.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschung, die in diesem Papier vorgestellt wird – als ob wir sie über einen Kaffee diskutieren würden.

Das große Problem: Der Informations-Ozean

Stellen Sie sich vor, das Internet ist ein riesiger Ozean. Jeden Tag werden dort unvorstellbare Mengen an Wasser (Daten) produziert. Die meisten Menschen, die in diesem Ozean schwimmen, haben keine Schwimmweste und keinen Kompass. Sie sehen Wellen, die wie Fakten aussehen, aber eigentlich nur Schaum sind (Fake News). Besonders beim Thema Klimawandel ist das gefährlich: Wenn wir nicht wissen, was wahr ist, können wir keine guten Entscheidungen für unsere Zukunft treffen.

Die menschlichen "Wasserwächter" (Faktenchecker) sind längst überfordert. Sie können nicht jede Welle einzeln untersuchen, bevor sie an den Strand kommt.

Die Lösung: Ein digitaler "Wahrheits-Scanner"

Die Autoren dieses Papers haben einen neuen Ansatz entwickelt, um diese Wogen automatisch zu prüfen. Sie nennen es "Computational Fact-Checking".

Man kann sich ihren Ansatz wie einen super-smarten Bibliothekar vorstellen, der zwei besondere Werkzeuge hat:

1. Der Übersetzer (KI / LLM): Dieser Teil ist wie ein sehr schneller, aber manchmal etwas verwirrter Dolmetscher. Er liest einen Nachrichtenartikel (oder schaut sich ein Video an, das er in Text umwandelt) und versucht, die wichtigsten Sätze herauszufischen. Er wandelt diese Sätze in einfache Bausteine um: Wer? Hat? Was getan? (z. B. "Menschen" + "verursachen" + "Erderwärmung").
2. Das große Nachschlagewerk (Wissensgraph): Das ist das Herzstück. Stellen Sie sich eine riesige, digitale Landkarte vor, die nur aus geprüften, wissenschaftlichen Fakten besteht. Diese Karte wurde von Experten erstellt (z. B. basierend auf den Berichten des IPCC). Sie ist das "Grundgesetz" der Wahrheit für den Klimawandel.

Wie funktioniert der Check?

Der Prozess läuft so ab:

1. Einscannen: Der "Dolmetscher" nimmt einen Satz aus einer Zeitung: "Die Gletscher schmelzen wegen der Sonne."
2. Baustein-Form: Er zerlegt das in: Gletscher + schmelzen + wegen + Sonne.
3. Vergleich: Jetzt schaut der "Bibliothekar" auf seine riesige Landkarte (den Wissensgraphen).
   • Treffer: Wenn auf der Karte steht: "Gletscher schmelzen wegen Treibhausgasen", aber nichts über die Sonne als Hauptursache, dann ist der Satz aus der Zeitung falsch oder ungenau.
   • Score: Das System gibt dem Satz eine Punktzahl. Grün = Wahr, Gelb = Unklar, Rot = Falsch.

Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben ihr Werkzeug mit Hilfe von 27 Experten und 43 normalen Nutzern getestet.

• Die gute Nachricht: Die Leute finden die Idee toll! Sie wollen so ein Werkzeug, das ihnen im Browser oder als App sagt: "Hey, dieser Tweet über das Klima ist wissenschaftlich fragwürdig." Es hilft, den Dschungel der Informationen zu ordnen.
• Die schlechte Nachricht (und die Hürde): Das System ist nur so gut wie seine Landkarte.
  • Das fehlende Puzzle: Die "Landkarte" mit den wissenschaftlichen Fakten ist noch viel zu klein und lückenhaft. Es gibt nicht genug verifizierte Daten, die maschinenlesbar sind. Es ist, als würde man versuchen, ein riesiges Puzzle zu lösen, aber die Hälfte der Teile fehlt.
  • Der verwirrte Dolmetscher: Die KI (LLM), die die Sätze zerlegt, macht manchmal Fehler oder erfindet Dinge (Halluzinationen). Sie braucht noch mehr Aufsicht.

Die große Metapher: Der Bau einer Autobahn

Stellen Sie sich vor, wir wollen eine Autobahn bauen, auf der Fakten sicher von den Wissenschaftlern zu den Bürgern fahren können.

• Die KI sind die schnellen Autos, die die Nachrichten transportieren.
• Der Wissensgraph ist die Autobahn selbst.

Das Problem ist: Wir haben zwar schnelle Autos, aber die Autobahn ist noch ein Schotterweg mit vielen Löchern. Ohne eine solide, breite und gut gepflegte Autobahn (eine vollständige, maschinenlesbare Datenbank an Fakten) können die Autos nicht sicher und schnell fahren.

Fazit für uns alle

Die Forscher sagen im Grunde: "Wir haben den Motor für einen Fakten-Checker gebaut, und er läuft!" Aber wir brauchen noch mehr Hilfe, um die Straße zu bauen.

Damit das System wirklich funktioniert, brauchen wir:

1. Mehr Wissenschaftler, die ihre Daten so aufbereiten, dass Computer sie verstehen (FAIR-Prinzipien).
2. Bessere KI, die weniger Fehler macht.
3. Vertrauen: Die Menschen müssen glauben, dass die "Landkarte" der Wahrheit fair erstellt wurde.

Es ist ein erster, vielversprechender Schritt, um die Flut an Fake News im Klimadiskurs zu bändigen, aber wir müssen noch viel zusammenarbeiten, bevor das System für jeden perfekt funktioniert.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Computational Fact-Checking of Online Discourse: Scoring Scientific Accuracy in Climate Change Related News Articles" auf Deutsch:

1. Problemstellung

Die Demokratisierung von Informationen steht vor einer massiven Herausforderung: Die Menge an Online-Inhalten (über 100 Zettabyte pro Jahr) wächst exponentiell, während die Fähigkeit der Bürger, die Veracity (Wahrheitsgehalt) dieser Inhalte zu überprüfen, nicht mithält. Dies ist besonders kritisch im Bereich des Klimawandels, wo politische Debatten oft nicht mit dem wissenschaftlichen Konsens übereinstimmen.

• Herausforderung: Traditionelle Faktenprüfer sind durch das Volumen und die Geschwindigkeit der Informationsverbreitung überfordert.
• Technische Lücke: Es fehlt an skalierbaren, halbautomatischen Systemen, die wissenschaftliche Genauigkeit quantifizieren können. Zudem sind bestehende „Ground Truth" (Wahrheitsgrundlagen) oft in nicht maschinenlesbaren Formaten (PDFs) gefangen und nicht FAIR-konform (Findable, Accessible, Interoperable, Reusable).

2. Methodik: Neurosymbolischer Ansatz

Das Paper stellt einen Workflow vor, der die linguistischen Fähigkeiten von Large Language Models (LLMs) mit der strukturellen Strenge von Wissensgraphen (Knowledge Graphs, KG) kombiniert. Dieser neurosymbolische Ansatz zielt darauf ab, die „Black-Box"-Probleme von LLMs durch persistente, überprüfbare Wissensrepräsentation zu kompensieren.

Der Prozess gliedert sich in sieben Module (siehe Abbildung 1 im Paper):

1. Media Processing:
   • Extraktion von Text aus verschiedenen Quellen (Webseiten via Beautiful Soup, PDFs via PDFMiner, Audio/Video via OpenAI Whisper).
   • Zuweisung einer eindeutigen ID für jedes Medienstück.
2. Statement Extraction (Aussage-Extraktion):
   • Ziel: Umwandlung unstrukturierter Texte in strukturierte Triplets (Subjekt, Prädikat, Objekt).
   • Vergleich von Ansätzen:
     • Semantic Role Labeling (SRL) / AMR: Zu aufwendig und nicht skalierbar.
     • Domain-specific NER: Zu ressourcenintensiv für heterogene Diskurse.
     • Gewählter Ansatz: Nutzung von LLMs (getestet: Mistral-7B, Llama-2, ChatGPT-3.5). ChatGPT-3.5 erwies sich als am effektivsten für die Extraktion und Formatierung von Triplets.
3. Alignment (Ausrichtung):
   • Normalisierung der Prädikate und semantische Ausrichtung (Synonym-Erkennung) durch LLM-Prompts.
   • Speicherung im Turtle-Format (RDF).
4. Extend Knowledge Graph:
   • Einlesen der verifizierten Triplets in eine GraphDB.
   • Nutzung von RDF-star und SPARQL-star für Metadaten und Annotationen.
   • Ground Truth: Ein prototypischer Wissensgraph wurde aus dem IPCC AR6-Bericht (der wissenschaftlichen Konsensbasis) manuell und halbautomatisch erstellt, da keine ausreichende existierende Infrastruktur vorhanden war.
5. Check Veracity (Wahrheitsprüfung):
   • Abgleich der extrahierten Triplets mit dem Ground-Truth-Graphen mittels SPARQL-Abfragen.
   • Suche nach exakten Übereinstimmungen.
   • Theoretische Erweiterung: Falls kein exakter Treffer vorliegt, könnte die Pfadlänge im Graphen (nach Ciampaglia et al.) als Indikator für die Wahrscheinlichkeit der Wahrheit dienen (dies erfordert jedoch einen viel umfangreicheren Graphen).
6. Quantify Additional Metrics:
   • Berücksichtigung von Metriken wie zeitliche Relevanz, Klarheit und Objektivität (derzeit aufgrund fehlender Daten noch nicht voll implementiert).
7. Calculate Score:
   • Berechnung eines wissenschaftlichen Genauigkeits-Scores ($s_{acc} \in [0, 1]$).
   • Derzeit basiert der Score fast ausschließlich auf der Veracity (Wahrheitsgehalt), da andere Metriken noch nicht quantitativ fassbar sind.

3. Schlüsselbeiträge

1. Überblick und Analyse: Eine detaillierte Analyse des Zustands von Ground-Truth-Wissensgraphen im Klimabereich und der Grenzen bestehender computergestützter Faktenprüfungen.
2. Workflow-Implementierung: Eine modulare, Open-Source-Implementierung (verfügbar auf GitHub), die den gesamten Prozess von der Semantisierung von Medien bis zur Berechnung des Scores abdeckt.
3. Evaluation: Eine umfassende Bewertung durch 27 Experten (darunter NLP- und KG-Spezialisten des ORKG-Teams) und eine User-Survey mit 43 Teilnehmern.

4. Ergebnisse und Evaluation

Experten-Feedback:

• Konsens: LLMs sind für die skalierbare Extraktion von Aussagen geeignet, aber unzuverlässig für das semantische Parsing und anfällig für Halluzinationen.
• Hauptprobleme:
  • Der größte Engpass ist die Triple-Extraktion.
  • Die semantische Ausrichtung natürlicher Sprache ist schwierig.
  • Der Kontext von Aussagen (besonders in empirischer Forschung) geht in reinen Triplets oft verloren.
• Empfehlung: Experten sehen das Tool eher als integriertes Hilfsmittel (z. B. Browser-Plugin) denn als Standalone-Lösung. Ein „perfekter Algorithmus" ist nicht erreichbar, aber eine Indikation der Wahrscheinlichkeit ist hilfreich.

User-Survey (N=43):

• Akzeptanz: Die Teilnehmer halten einen wissenschaftlichen Genauigkeits-Score für notwendig und hilfreich.
• Nutzungsszenario: Die größte Nachfrage besteht für die Prüfung von Zeitungsartikeln und Wahlprogrammen, gefolgt von politischen Reden und Blogposts.
• Präferenz: Ein Browser-Plugin ist die bevorzugte Form der Anwendung.

5. Bedeutung und Fazit

Technische Bedeutung:
Das Paper demonstriert die Machbarkeit eines hybriden Ansatzes (LLM + Wissensgraph) zur automatisierten Faktenprüfung. Es zeigt jedoch auch, dass die aktuelle Infrastruktur für eine flächendeckende Anwendung nicht ausreicht.

Kritische Erkenntnisse:

1. Mangel an FAIR-Daten: Der größte Flaschenhals ist nicht die Extraktionstechnik, sondern das Fehlen hochwertiger, maschinenlesbarer Ground-Truth-Wissensgraphen für den Klimawandel. Viele Daten sind noch in PDFs „eingesperrt".
2. Skalierbarkeit vs. Genauigkeit: Während Wissensgraphen skalieren, tun es die aktuellen Extraktionsmethoden (insbesondere das Erhalten des Kontexts) nicht.
3. Soziale Dimension: Selbst ein technisch perfekter Score nützt nichts, wenn das Vertrauen in die „Ground Truth" (wissenschaftliche Quellen) in Teilen der Bevölkerung fehlt.

Ausblick:
Zukünftige Arbeiten müssen sich auf drei Säulen konzentrieren:

1. FAIR Ground Truth: Gemeinschaftliche Erstellung und Pflege von Wissensgraphen (z. B. durch Initiativen wie #semanticClimate).
2. Verbesserte Semantisierung: Entwicklung robusterer Methoden zur Extraktion und Kontextbewahrung.
3. Energieeffizienz: Berücksichtigung des Energieverbrauchs von LLMs, um Rebound-Effekte zu vermeiden.

Zusammenfassend liefert das Paper einen vielversprechenden Prototypen, der jedoch verdeutlicht, dass computergestütztes Fact-Checking derzeit noch stark durch die Qualität der zugrundeliegenden Wissensinfrastruktur limitiert ist.