ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
Das Paper stellt ContextClaim vor, einen neuartigen Ansatz, der die verifizierbare Behauptungserkennung verbessert, indem er die übergeordnete Wikipedia-basierte Kontextabfrage und LLM-generierte Zusammenfassungen in den Erkennungsprozess integriert, was im Vergleich zu Methoden, die sich ausschließlich auf den Behauptungstext verlassen, eine verbesserte Leistung über verschiedene Datensätze und nachgelagerte Verifizierungsaufgaben hinweg demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten, lärmenden Landschaft des Internets verbreiten sich Falschinformationen mit erschreckender Geschwindigkeit, prägen Meinungen und verzerren demokratische Prozesse, noch bevor man sie aufhalten kann. Um dem entgegenzuwirken, haben Forscher automatisierte Systeme entwickelt, die als digitale Faktenchecker fungieren sollen. Diese Systeme arbeiten normalerweise in Phasen: Zuerst finden sie eine Aussage; zweitens entscheiden sie, ob es sich überhaupt lohnt, diese zu prüfen; und schließlich suchen sie nach Beweisen, um zu sehen, ob sie wahr ist. Die zweite Phase ist ein entscheidender Filter. Wenn ein Computer versucht, eine Aussage zu verifizieren, die unmöglich zu beweisen ist – wie etwa ein Witz, eine persönliche Meinung oder eine Behauptung über einen fiktiven Charakter –, verschwendet er wertvolle Zeit und Rechenleistung. Das Ziel ist es, nur jene Aussagen zu identifizieren, die im Prinzip gegen reale Belege überprüft werden können. Jahrelang haben diese Systeme versucht, diese Entscheidung zu treffen, indem sie die Aussage allein lesen und nach Hinweisen in den Worten selbst suchen. Doch dieser Ansatz hat einen blinden Fleck. Ein Satz mag wie eine ernsthafte Tatsache aussehen, beruht aber möglicherweise auf Hintergrundwissen, das der Computer nicht besitzt, was eine Verifizierung ohne externe Hilfe unmöglich macht.
Ein Team von Forschern der Queen Mary University of London hat einen neuen Weg vorgeschlagen, um dieses Problem zu lösen. Sie argumentieren, dass ein Computer wissen muss, um welche Personen und Orte es in einer Behauptung geht, um zu wissen, ob eine Behauptung überprüfbar ist – genau so, wie ein menschlicher Faktenchecker. Sie entwickelten eine Methode namens ContextClaim, die die Reihenfolge der Abläufe ändert. Anstatt darauf zu warten, bis ganz am Ende Beweise gesammelt werden, sammelt das System Hintergrundinformationen direkt zu Beginn, noch bevor es entscheidet, ob die Behauptung prüfenswert ist. Wenn das System auf eine Aussage stößt, identifiziert es zuerst die Namen von Personen, Orten oder Organisationen innerhalb dieser Aussage. Es sucht dann in Wikipedia, einer strukturierten Enzyklopädie, nach kurzen Zusammenfassungen über diese spezifischen Entitäten. Schließlich speist es sowohl die ursprüngliche Aussage als auch diese neuen Zusammenfassungen in ein Sprachmodell ein, welches die endgültige Entscheidung darüber trifft, ob die Behauptung verifizierbar ist.
Die Forscher testeten diese Idee an zwei sehr unterschiedlichen Arten von Texten: einer Sammlung von Tweets über die Pandemie und einem Satz von Sätzen aus politischen Debatten. Sie verglichen ihre neue Methode mit älteren Systemen, die nur den Text der Behauptung lasen. Die Ergebnisse zeigten, dass das Hinzufügen dieses Hintergrundkontexts dem Computer im Allgemeinen half, bessere Entscheidungen zu treffen. In vielen Fällen wurde das System genauer darin, Behauptungen zu erkennen, die verifizierbar waren. Die Verbesserung war jedoch nicht einheitlich. Der Erfolg der Methode hing stark von dem verwendeten Computermodell und dessen Training ab. Einige Modelle waren in der Lage, die neuen Informationen reibungslos zu integrieren, während andere dadurch verwirrt wurden und sich manchmal schlechter als zuvor verhielten. Die Forscher fanden heraus, dass die konsistentesten Gewinne erzielt wurden, wenn die Modelle sorgfältig auf die spezifische Aufgabe abgestimmt wurden, anstatt ihnen lediglich einige Beispiele zur schnellen Anwendung mitzugeben.
Ein wesentlicher Teil ihrer Entdeckung war das Verständnis darüber, warum die zusätzlichen Informationen manchmal versagten. Das System verlässt sich auf ein großes Sprachmodell, um die Wikipedia-Artikel in kurze, nützliche Notizen zusammenzufassen. Während diese Zusammenfassungen meist relevant für das Thema waren, fehlte ihnen oft das spezifische „Signal“, das dem Computer sagen könnte, ob eine Behauptung ein Fakt oder eine Meinung ist. Wenn eine Behauptung beispielsweise einen berühmten Politiker erwähnte, fand das System erfolgreich eine Zusammenfassung der Karriere dieses Politikers. Wenn die Behauptung jedoch eigentlich ein Witz über diesen Politiker war, lieferte die Zusammenfassung seiner Karriere möglicherweise nicht deutlich genug den Hinweis, dass der Witz kein verifizierbarer Fakt war. Der Computer, der die ernsthafte Hintergrundinformation sah, könnte fälschlicherweise entschieden haben, dass die Behauptung überprüfbar sei. Dies offenbarte einen subtilen Fehler: Es reicht nicht aus, die richtigen Informationen zu haben; die Informationen müssen so präsentiert werden, dass sie die Art der Behauptung klar hervorheben.
Das Team untersuchte auch, ob die frühe Sammlung dieser Informationen später im Prozess nützlich sein könnte. Sie nahmen die für die Detektionsphase erstellten Zusammenfassungen und nutzten sie, um ein anderes System bei der Verifizierung der Wahrheit von Behauptungen in einem separaten Datensatz zu unterstützen. Überraschenderweise half dieser frühe Kontext auch jenem Downstream-System und verbesserte dessen Fähigkeit, die Wahrheit zu finden. Dies deutet darauf an, dass die Arbeit, die geleistet wird, um zu entscheiden, ob eine Behauptung überprüfbar ist, auch als Fundament dienen kann, um zu beweisen, ob sie wahr ist. Die Studie kommt zu dem Schluss, dass das Einbringen externen Wissens in die frühen Stadien der Faktencheck-Prozesse zwar ein mächtiges Werkzeug ist, es aber eine sorgfältige Handhabung erfordert. Das System darf nicht nur Fakten abrufen, sondern muss sicherstellen, dass diese Fakten so gerahmt sind, dass sie dem Computer helfen, zwischen dem, was bewiesen werden kann, und dem, was nicht bewiesen werden kann, zu unterscheiden. Durch die Verfeinerung der Art und Weise, wie diese Hintergrundinformationen gesammelt und zusammengefasst werden, könnte der automatisierte Faktencheck wesentlich zuverlässiger werden, indem er das Rauschen herausfiltert und die menschliche sowie maschinelle Anstrengung auf die Behauptungen konzentriert, die wirklich zählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.