Customized large language models can outperform Community Notes in correcting misinformation
Das Paper stellt MUSE vor, ein maßgeschneidertes Framework für große Sprachmodelle, das vertrauensbewusste Abfrage und multimodale Argumentation integriert, um Community Notes bei der Identifizierung und Korrektur von Fehlinformationen über verschiedene Inhaltstypen hinweg zu übertreffen und dadurch sowohl die Antwortqualität als auch die Erkennung falscher Informationen durch die Nutzer zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der digitale öffentliche Raum ist überfüllt mit einem hartnäckigen Problem: Falschinformationen, die sich schneller verbreiten als die Wahrheit. In den sozialen Medien kann ein einziger irreführender Post Millionen von Menschen erreichen, noch bevor jemand die Chance hat, ihn zu verifizieren. Jahrelang war die primäre Verteidigung dagegen menschliche Anstrengung. Crowdsourcing-Systeme, bei denen Freiwillige Anmerkungen schreiben, um falsche Behauptungen zu korrigieren, sind zu einem Standardwerkzeug für Plattformen geworden. Diese Anmerkungen sind wertvoll, weil sie von Menschen verfasst werden, die mit Kontext und Nuancen Stellung beziehen können, aber sie haben eine erhebliche Schwäche: Sie sind langsam. Bis ein Freiwilliger eine Korrektur geschrieben hat, kann der irreführende Post bereits Schaden angerichtet haben. Zudem können menschliche Freiwillige nicht jeden Post abdecken, was große Mengen an Fehlinformationen ungeprüft lässt.
Wissenschaftler versuchen schon lange, künstliche Intelligenz einzusetzen, um diese Lücke zu schließen, in der Hoffnung, dass Maschinen Lügen so schnell erkennen können, wie sie sich verbreiten. Herkömmliche KI-Modelle haben jedoch oft Schwierigkeiten mit dieser Aufgabe. Sie werden auf alten Daten trainiert und können Ereignisse, die gerade jetzt geschehen, nicht sehen. Sie können auch „halluzinieren“, also Fakten erfinden oder Quellen zitieren, die nicht existieren. Die Herausforderung besteht nicht nur darin, eine Maschine zu bauen, die lesen kann, sondern eine, die verifizieren und über verschiedene Medientypen wie Text und Bilder hinweg schlussfolgern kann, und das, ohne neue Fehler oder Verzerrungen einzuführen. Das Ziel ist ein System, das wie ein unermüdlicher, unparteiischer Faktencheck fungiert, bereit, in dem Moment zu reagieren, in dem ein verdächtiger Post erscheint.
Ein Forscherteam der University of Washington hat ein neues System namens MUSE entwickelt, um genau dieses Problem anzugehen. MUSE ist ein maßgeschneidertes Framework für künstliche Intelligenz, das darauf ausgelegt ist, Fehlinformationen in Echtzeit zu identifizieren und zu korrigieren. Im Gegensatz zu älteren Modellen, die sich ausschließlich auf das verlassen, was sie in der Vergangenheit gelernt haben, ist MUSE mit einem Mechanismus ausgestattet, der das Live-Web nach aktuellen Belegen durchsucht. Wenn es auf einen Social-Media-Post stößt, rät es nicht einfach; es zerlegt den Inhalt, sucht nach glaubwürdigen Informationen, um die Behauptungen zu stützen oder zu widerlegen, und schreibt dann eine Korrektur, die auf diesen Belegen basiert. Das System ist darauf ausgelegt, komplexe Posts zu handhaben, die Text mit Bildern mischen, um sicherzustellen, dass es alles von einer Bildunterschrift bis hin zu einer Fotografie verifizieren kann.
Um zu testen, ob dieser Ansatz tatsächlich funktioniert, verglichen die Forscher MUSE mit den besten menschlich geschriebenen Korrekturen, die derzeit auf der Plattform X, ehemals Twitter, verfügbar sind. Sie sammelten hunderte echte Posts, einige enthielten klare Lügen, andere subtile irreführende Details und einige waren völlig korrekt. Für jeden Post stellten sie die Antwort der KI gegen hochwertige Anmerkungen von freiwilligen Helfern und durchschnittliche Anmerkungen von weniger erfahrenen Nutzern. Die Evaluierung war streng und beinhaltete ein Gremium aus professionellen Faktencheck-Experten, die die Antworten nach dreizehn verschiedenen Kriterien bewerteten. Diese Experten prüften, ob das System die falschen Teile korrekt identifizierte, ob die Erklärung Sinn ergab und ob die zitierten Quellen vertrauenswürdig waren und tatsächlich existierten.
Die Ergebnisse zeigten einen klaren Vorteil für das neue System. MUSE produzierte Antworten, die von Experten als signifikant hochwertiger eingestuft wurden als selbst die besten menschlich geschriebenen Anmerkungen. Auf einer Skala von zehn erreichte die KI im Durchschnitt einen Wert von 8,1, während die am besten bewerteten menschlichen Anmerkungen im Durchschnitt 6,3 erreichten. Diese Lücke war nicht nur eine Frage des Stils; die KI war genauer darin, die spezifischen Teile eines Posts zu identifizieren, die irreführend waren. Während Standard-KI-Modelle oft daran scheitern, das Problem zu erkennen oder Fakten zu erfinden, identifizierte und erklärte MUSE die Ungenauigkeiten in fast 90 Prozent seiner Antworten korrekt. Es lieferte auch Links zu Quellen, die fast immer erreichbar und relevant waren, wohingegen Standardmodelle häufig defekte oder gefälschte Links zitierten. Das System schnitt in allen Bereichen gut ab, handhabte Posts über Politik, Gesundheit und aktuelle Ereignisse mit gleicher Geschicklichkeit und wies nicht die politische Voreingenommenheit auf, die anderen KI-Systemen manchmal entgegengebracht wird.
Die Forscher wollten auch wissen, ob Menschen tatsächlich einer Korrektur durch eine Maschine vertrauen würden. Sie führten eine Studie mit fast tausend Teilnehmern durch, in der ihnen die irreführenden Posts und die KI-generierten Korrekturen gezeigt wurden. Die Ergebnisse waren ermutigend: Nachdem die Teilnehmer die Erklärung der KI gelesen hatten, konnten sie deutlich besser erkennen, dass der ursprüngliche Post irreführend war. Ihr Glaube an die falsche Behauptung sank. Allerdings beeinflussten keine der Korrekturen signifikant die Absicht der Teilnehmer, die Fehlinformation zu teilen, welche im Allgemeinen niedrig blieb. Interessanterweise hatte die Information, dass die Korrektur von einer künstlichen Intelligenz stammte, keinen signifikanten Einfluss darauf, ob die Menschen ihr vertrauten oder nicht. Die Wirksamkeit des Systems blieb hoch, unabhängig davon, ob seine Quelle offengelegt oder verborgen wurde, was darauf hindeutet, dass die Qualität der Erklärung wichtiger ist als die Identität des Verfassers.
Einer der wichtigsten Aspekte dieser Arbeit ist, wie das System mit dem Unbekannten umgeht. Die Forscher fanden heraus, dass MUSE nicht darauf angewiesen ist, auf bereits existierende Faktenchecks zurückzugreifen, um seine Aufgabe zu erfüllen. Selbst für Posts, die noch nie zuvor von jemandem überprüft worden waren, konnte das System frische Belege im Web finden und eine zuverlässige Korrektur erstellen. Es gelang ihm auch, dies schnell zu tun, wobei es auf Standard-Computerhardware etwa zwei Minuten dauerte, um eine vollständige Antwort zu generen. Die Kosten für den Betrieb des Systems sind ebenfalls gering und liegen bei etwa 0,2 USD pro Post, was weitaus günstiger ist, als menschliche Freiwillige zu bezahlen, um jedes einzelne Stück Inhalt zu überprüfen.
Die Studie hat jedoch Grenzen. Das System arbeitet derzeit mit Text und Bildern, kann aber noch keine Videos analysen. Es ist zudem auf die Existenz glaubwürdiger Informationen im Internet angewiesen; wenn ein Post über ein aktuelles Nachrichtenereignis handelt, zu dem noch keine zuverlässigen Quellen berichtet haben, ist das System darauf ausgelegt, Unsicherheit zuzugeben, anstatt zu raten. Die Forscher testeten das System auf einer einzigen Plattform, und obwohl diese Plattform weit verbreitet ist, können die Ergebnisse anderswo variieren. Trotz dieser Grenzen bieten die Erkenntnisse einen vielversprechenden Weg nach vorn. Durch die Kombination der Geschwindigkeit von Maschinen mit der Fähigkeit, nach realen Belegen zu suchen und diese zu verifizieren, zeigt MUSE, dass wir Werkzeuge bauen können, die Menschen helfen, Wahrheit von Unwahrheit in dem Ausmaß und der Geschwindigkeit zu unterscheiden, die der moderne Internet erfordert. Die Arbeit legt nahe, dass die Zukunft des Kampfes gegen Fehlinformationen nicht eine Wahl zwischen Menschen und Maschinen ist, sondern ein System, in dem Maschinen die schwere Arbeit der Verifizierung übernehmen, damit das menschliche Urteilsvermögen sich auf die komplexesten Fälle konzentrieren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.