Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

Im digitalen Zeitalter verbreiten sich Gesundheitsinformationen mit der Geschwindigkeit eines Klicks, doch das gilt auch für Fehlinformationen. Seit Jahren entwickeln Wissenschaftler Computerprogramme, die als Gatekeeper fungieren sollen, indem sie Online-Texte scannen, um verlässliche medizinische Ratschläge von gefährlichen Unwahrheiten zu trennen. Diese Programme sind bei ihrer Arbeit sehr gut geworden, wenn der Text so aussieht, wie er normalerweise aussieht, wobei sie auf Standardtests oft nahezu perfekte Ergebnisse erzielen. Jedoch ist eine neue Schwachstelle durch den Aufstieg der generativen künstlichen Intelligenz entstanden. Diese leistungsstarken Werkzeuge können eine spezifische Behauptung – ob wahr oder falsch – nehmen und sie komplett umschreiben, wobei sie die Wörter, die Satzstruktur und den Tonfall ändern, während die Kernbedeutung exakt gleich bleibt. Diese Fähigkeit, Informationen zu „waschen“, wirft eine kritische Frage auf: Wenn ein Computerprogramm darauf trainiert ist, eine Lüge basierend darauf zu erkennen, wie sie geschrieben ist, was passiert, wenn eine hochentwickelte KI diese Lüge so umschreibt, dass sie wie ein vertrauenswürdiger, neutraler Artikel klingt? Die Sicherheit digitaler Gesundheitstools hängt davon ab, dies zu beantworten, denn ein System, das eine umgeschriebene Lüge nicht erkennt, könnte Menschen gegenüber schädlichen Ratschlägen verwundbar machen, während ein System, das eine umgeschriebene Wahrheit fälschlicherweise als Lüge ansieht, lebenswichtige Informationen zum Schweigen bringen könnte.

Ein Forscher der Manchester Metropolitan University unternahm den Versuch, genau dieses Szenario mithilfe eines kontrollierten, computergestützten Experiments zu testen. Die Studie konzentrierte sich auf zwei unterschiedliche Gesundheitskrisen: die COVID-19-Pandemie und den jüngsten Mpox-Ausbruch. Der Forscher nahm eine große Sammlung realer Posts zu diesen Themen, von denen einige als wahr und andere als falsch verifiziert wurden, und nutzte ein generatives KI-Tool, um drei verschiedene Versionen jedes Posts zu erstellen. Eine Version wurde umgeschrieben, um neutral und leicht lesbar zu sein, eine andere wurde reorganisiert, um eher logisch und evidenzbasiert zu klingen, und eine dritte wurde angepasst, um dringlicher oder persuasiver zu wirken, wobei sichergestellt wurde, dass die zugrunde liegende medizinische Behauptung unverändert blieb. Diese umgeschriebenen Versionen wurden dann in neun verschiedene Arten von Detektionssoftware eingespeist, die von einfachen statistischen Modellen bis hin zu komplexen neuronalen Netzen reichte, um zu sehen, ob sie die Wahrheit noch identifizieren konnten.

Die Ergebnisse offenbarten eine erschreckende Fragilität der aktuellen Generation von Detektoren. Vor dem Umschreiben führten die Programme außergewöhnlich gut und identifizierten wahre und falsche Informationen in fast jedem Fall korrekt. Doch sobald der Text durch die KI verändert wurde, brach die Leistung der meisten Systeme zusammen. Beim COVID-19-Datensatz sank die durchschnittliche Genauigkeit der Detektoren von einem nahezu perfekten Wert von 0,987 auf einen Bereich zwischen 0,428 und 0,479. Das bedeutet, dass die Fähigkeit der Computer, nach der Textumschreibung korrekte binäre Entscheidungen bei ihren Standardeinstellungen zu treffen, signifikant versagte, obwohl ihre zugrunde liegende Fähigkeit, verlässliche Informationen gegenüber Fehlinformationen höher zu bewerten, immer noch wesentlich besser als reines Raten war. Das Versagen war nicht einheitlich über alle Systeme oder alle Arten von Texten verteilt. In den COVID-19-Tests bestand das Hauptproblem darin, dass die Software begann, verlässliche, wahre Informationen in alarmierendem Maße als falsch zu kennzeichnen, was zuverlässige Quellen effektiv zum Schweigen brachte. Im Gegensatz dazu war das Hauptversagen beim Mpox-Datensatz das Gegenteil: Die Software erkannte die Lügen nicht mehr und ließ umgeschriebene Fehlinformationen so durchgehen, als seien sie wahr.

Die Studie untersuchte auch, warum diese Fehler auftraten, indem sie analysierte, wie die KI den Text veränderte. Es stellte sich heraus, dass der bedeutendste Faktor, der die Detektoren scheitern ließ, nicht unbedingt der emotionale Ton oder die verwendeten spezifischen Argumente waren, sondern vielmehr die strukturellen Änderungen am Schreiben. Wenn die KI den Text kürzte oder die Sätze komplexer und schwerer lesbar gestaltete, neigten die Detektoren signifikant eher zu Fehlern. Dies deutet darauf hin, dass die Software sich zu sehr auf spezifische oberflächliche Muster dessen verlassen hat, wie der Originaltext geschrieben war, anstatt die medizinischen Fakten darin wirklich zu verstehen. Als diese Muster verändert wurden, verlor die Software den Weg.

Um diese Schwäche anzugehen, testete der Forscher eine Verteidigungsstrategie: das Training der Detektoren auf diesen umgeschriebenen Versionen, bevor sie jemals eingesetzt werden. Indem man der Software Beispiele sowohl des Originaltextes als auch der KI-umgeschriebenen Versionen einspeiste, war das Ziel, das System zu lehren, die Wahrheit unabhängig davon zu erkennen, wie sie formuliert ist. Dieser Ansatz funktionierte für die Mpox-Daten bemerkenswert gut, wobei die Detektoren ihre Fähigkeit verbesserten, umgeschriebene Lügen zu erkennen, wobei alle neun Modelle eine bessere Leistung zeigten. Dieser Fix funktionierte jedoch nicht so konsistent für die COVID-19-Daten, und er half der Software nicht, bei einem völlig anderen Krankheitsthema gut abzuschneiden. Dies deutet darauf heavy, dass das Training auf umgeschriebenem Text ein System zwar innerhalb eines spezifischen Kontextes robuster machen kann, aber noch keinen universellen Schutzschild schafft, der über alle Gesundheitsthemen oder alle Arten des KI-Umschreibens hinweg funktioniert.

Die Studie kommt zu dem Schluss, dass eine hohe Genauigkeit bei Standardtests nicht mehr ausreicht, um zu garantieren, dass ein Detektor für Gesundheitsfehlinformationen für den realen Einsatz sicher ist. Die Fähigkeit der generativen KI, Inhalte ohne Änderung der Bedeutung umzuschreiben, legt eine tiefe Verwundbarkeit der aktuellen Systeme offen, die entweder dazu führt, dass gefährliche Lügen übersehen werden oder wahre Fakten fälschlicherweise als falsch beschuldigt werden. Während das Training der Detektoren an diesen umgeschriebenen Beispielen einen vielversprechenden Weg darstellt, um deren Widerstandsfähigkeit zu verbessern, ist die Lösung noch kein vollständiger Fix. Die Forschung legt nahe, dass zukünftige Werkzeuge nicht nur auf Originaltexten getestet werden dürfen, sondern auf den vielen Arten, wie dieser Text transformiert werden kann, um sicherzustellen, dass die digitalen Schutzmechanismen, die die öffentliche Gesundheit schützen, auch dann effektiv bleiben, wenn sich die Sprache der Fehlinformationen weiterentwickelt.