Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline
Dieses Paper stellt OmniFake vor, einen groß angelegten Benchmark-Datensatz, der von Menschen erstellte Desinformation und KI-generierte Inhalte kombiniert, sowie das UMFDet-Framework, das eine kategoriebewusste Mixture-of-Experts-Architektur nutzt, um spezialisierte Modelle bei der Erkennung diverser Arten multimodaler Täuschung in sozialen Medien zu vereinheitlichen und zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet wie einen riesigen, belebten Marktplatz vor, auf dem jeder Geschichten erzählt, Fotos teilt und Nachrichten postet. In diesem Platz gibt es zwei Hauptarten von Unruhestiftern. Die erste Art ist der „menschliche Trickbetrüger“ – eine Person, die eine falsche Geschichte schreibt oder ein Foto bearbeitet, nur um Aufmerksamkeit zu erregen, Gerüchte zu verbreiten oder Menschen wütend zu machen. Die zweite Art ist der „Roboter-Künstler“ – ein mächtiges Computerprogramm, das ein Bild eines fliegenden Hundes malen oder eine überzeugende Schlagzeile über ein Ereignis schreiben kann, das nie stattgefunden hat. Lange Zeit bauten die Leute, die versuchten, den Marktplatz sicher zu halten (die Forscher), zwei verschiedene Sicherheitswachen. Ein Wachmann war ein Experte darin, menschliche Lügen zu erkennen, und der andere war ein Experte darin, Roboter-Fälschungen zu entlarven. Aber in der realen Welt könnte ein hinterlistiger Post von einem Menschen, einem Roboter oder einer Mischung aus beidem stammen, und die Sicherheitswachen wussten nicht, wen sie rufen sollten. Sie waren wie eine Feuerwehr, die nur weiß, wie man Holzbrände löscht, und eine Polizei, die nur weiß, wie man Bankräuber fängt; wenn ein Feuer in einer Bank ausbricht, wissen beide Teams nicht, was zu tun ist. Dieses Paper tritt in dieses Chaos ein, um einen einzigen, superintelligenten Detektiv zu bauen, der jede Art von Fake News bewältigen kann, egal, wer sie gemacht hat.
Die Autoren dieses Papers, ein Team von Universitäten und Technologieunternehmen aus China, erkannten, dass die alte Methode, „menschliche Lügen“ von „KI-Fälschungen“ zu trennen, für die reale Welt zu langsam und klobig war. Also erschufen sie einen massiven neuen Trainingsplatz namens OmniFake. Betrachten Sie diesen Datensatz als eine riesige Bibliothek mit 98.592 Beispielen – fast 100.000 Posts! – die echte Nachrichten, von Menschen geschriebene Gerüchte und KI-generierte Tricks enthält. Sie haben diese nicht nur gesammelt; sie haben sie erschaffen. Sie nahmen echte Fotos und nutzten KI, um Gesichter auszutauschen, Hintergründe zu verändern oder sogar völlig neue Bilder von Dingen zu generieren, die nicht existieren. Sie nahmen auch echte Schlagzeilen und nutzten KI, um sie in irreführende Geschichten umzuschreiben. Sie mischten diese Techniken sogar zusammen, um „Mixed Manipulation“ zu erstellen, bei der ein Post ein echtes Foto, aber eine falsche Geschichte hat oder ein falsches Foto mit einer echten Geschichte. Um zu testen, wie knifflig dies ist, baten sie acht menschliche Experten, 600 dieser Stichproben zu begutachten. Die Menschen hatten nur etwa 40 % richtig, was beweist, dass diese Fälschungen unglaublich schwer zu erkennen sind.
Um dies zu lösen, baute das Team ein neues Detektivsystem namens UMFDet. Anstatt zwei separate Wachen einzustellen, bauten sie ein intelligentes Gehirn mit einem speziellen „Team von Experten“ darin. Stellen Sie sich eine zentrale Schaltstelle vor, die einen Post (ein Bild und etwas Text) erhält und dann fragt: „Wer ist der beste Experte, um sich das anzusehen?“ Das System verfügt über drei spezialisierte Experten: einen für echte Nachrichten, einen für menschengemachte Lügen und einen für KI-synthetisierte Fälschungen. Dies wird als „Category-aware Mixture-of-Experts“ bezeichnet. Wenn ein Post eingeht, leitet das System ihn an den richtigen Experten weiter. Aber hier ist der clevere Teil: Sie stellten sicher, dass sich diese Experten nicht vertun. Sie verwendeten eine spezielle Trainingsregel (genannt „Expert-wise Discriminative Regularization“), um den „menschlichen Experten“ dazu zu zwingen, sehr nah bei anderen menschlichen Lügen zu bleiben und weit weg von KI-Fälschungen, und umgekehrt. Sie fügten auch einen „Cross-modal Consistency“-Check hinzu, der wie ein Faktencheck funktioniert und fragt: „Passt das Bild tatsächlich zur Geschichte?“ Wenn der Text „ein fliegender Hund“ sagt, das Bild aber einen Kater zeigt, markiert dieser Check dies als verdächtig.
Die Ergebnisse zeigen, dass dieser neue Detektiv viel besser ist als die alten Spezialisten. Wenn er auf ihrer neuen 98.000-Beispiele starken Bibliothek getestet wurde, identifizierte UMFDet die Art der Desinformation in etwa 82 % der Fälle korrekt. Dies ist ein großer Sprung im Vergleich zu anderen Methoden. Zum Beispiel verbesserte das neue System bei der Betrachtung von „Text Manipulation“ (gefälschte Geschichten) die beste bisherige Methode um über 13 %. Es bewies auch, dass es „Mixed Manipulation“ (eine Mischung aus echt und falsch) besser handhaben kann als jeder andere. Das Team testete sein System sogar auf anderen bestehenden Datensätzen wie DGM4 und MMFakeBench, und es blieb weiterhin an der Spitze und schlug spezialisierte Modelle, die nur für eine einzige Art von Fälschung entwickelt wurden.
Das Paper legt nahe, dass wir durch die Vereinigung dieser Aufgaben einen praktischeren und leistungsfähigeren Werkzeugkasten für die Sicherheit in sozialen Medien bauen können. Die Autoren behaupten nicht, das Problem der Fake News für immer gelöst zu haben, aber sie haben gezeigt, dass es viel besser funktioniert, menschliche Lügen und KI-Fälschungen als eine einzige, einheitliche Herausforderung zu behandeln, anstatt sie getrennt zu halten. Ihr System sowie ihr massiver neuer Datensatz stehen nun anderen zur Verfügung, um sie nutzen und verbessern zu können, was einen vielversprechenden Schritt hin zu einem Marktplatz darstellt, auf dem die Wahrheit leichter zu finden ist, egal wer versucht, sie zu verstecken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.