Die verborgene Sprache des Internets

Stellen Sie sich das Internet wie einen riesigen, chaotischen Spielplatz vor, auf dem Menschen nicht nur sprechen, sondern Witze erzählen, die aus einer Mischung aus Bildern und Worten bestehen. Diese werden „Memes“ genannt. Manchmal ist ein Meme einfach nur eine lustige Katze mit einer albernen Bildunterschrift. Aber manchmal ist ein Meme ein Trojanisches Pferd: Es sieht aus wie ein harmloser Witz, aber in seinem Inneren verbirgt sich eine bösartige, rassistische oder hasserfüllte Botschaft. Dies ist das schwierige Problem, das Wissenschaftler zu lösen versuchen. Um ein Meme zu verstehen, kann man nicht nur das Bild betrachten oder nur den Text lesen; man muss verstehen, wie sie zusammen funktionieren. Es ist, als würde man versuchen, einen Zaubertrick zu verstehen, indem man entweder nur die Hände des Magiers betrachtet oder nur die Musik hört, aber niemals beides gleichzeitig sieht.

Lange Zeit versuchten Computer, diese schlechten Memes zu erkennen, indem sie das Bild und den Text getrennt betrachteten, wie zwei verschiedene Detektive, die isoliert voneinander arbeiten. Dies schlug jedoch oft fehl, weil sie subtile Hinweise übersahen, wie etwa Sarkasmus oder kulturelle Referenzen, die erst durch die Kombination von beidem entstehen. Vor kurzem begannen Wissenschaftler, die „Chain-of-Thought“ (CoT)-Argumentation (Gedankenkette) einzusetzen. Denken Sie dies als den Versuch, einen Computer dazu zu bringen, „laut zu denken“, bevor er eine Antwort gibt, indem er seine Schritte erklärt, so wie ein Schüler seinen Rechenweg vorzeigt. Das alte Verfahren war jedoch so, als würde man einen Schüler bitten, ein Problem mit nur einer einzigen Methode zu lösen. Wenn dieser Schüler im ersten Schritt einen Fehler machte, war die gesamte Antwort falsch, und er hatte keinen Plan B. Dieses Paper stellt einen neuen Weg vor, um Computern zu helfen, sorgfältiger zu denken, indem es mehrere Perspektiven nutzt, um die hinterlistigen, schädlichen Memes zu fangen, die andere übersehen.

Das Detektiv-Team: EVL-MCoT

Die Forscher Hao Yang, Jin Wang und Xuejiex Zhang von der Yunnan University schlagen ein neues System namens EVL-MCoT (Enhanced Vision-Language Multi-CoT) vor. Sie können sich dieses System wie ein superstarkes Detektiv-Team vorstellen, das sich nicht auf nur einen einzelnen Detektiv verlässt, um einen Fall zu lösen. Stattdessen schickt es ein ganzes Team aus, um dasselbe Meme aus verschiedenen Blickwinkeln zu untersuchen.

So geschieht die Magie:

1. Die „Denk zweimal“-Strategie (Multi-CoT)
In der Vergangenheit würde ein Computer ein Meme betrachten und versuchen, in einem einzigen Schritt zu erraten, ob es schlecht oder gut ist. Wenn er verwirrt war, rät er einfach. Die neue Methode, EVL-MCoT, zwingt den Computer dazu, mehrere verschiedene Erklärungen für dasselbe Meme zu generieren. Stellen Sie sich vor, Sie fragen drei verschiedene Experten, um einen verwirrenden Witz zu erklären: Einer konzentriert sich vielleicht auf die Geschichte, ein anderer auf die visuellen Symbole und ein dritter auf den Tonfall. Das System erstellt eine „schädliche“ Erklärung und eine „harmlose“ Erklärung für dasselbe Bild. Dann vergleicht es diese. Durch das Betrachten der Unterschiede zwischen diesen multiplen Pfaden ist der Computer viel weniger wahrscheinlich durch Sarkasmus oder versteckte Voreingenommenheit getäuscht zu werden. Es ist, als würde man seine Arbeit mit einem zweiten Paar Augen kontrollieren, bevor man eine Prüfung abgibt.

2. Der „Taschenlampen“-Decoder (Prototype-Guided)
Eines der größten Probleme beim Aufspüren schlechter Memes ist, dass der Computer oft winzige, wichtige Details im Bild übersieht. Er sieht vielleicht eine ganze Menge, übersieht aber das spezifische wütende Gesicht in der Ecke. Um dies zu beheben, haben die Forscher einen „Prototype-Guided Decoder“ hinzugefügt. Denken Sie an dies als eine spezielle Taschenlampe, die der Computer verwendet, um das Bild zu scannen. Anstatt das ganze Bild auf einmal zu betrachten, beleuchtet die Taschenlampe spezifische „Prototypen“ oder Schlüsselmuster (wie ein bestimmtes Symbol oder einen bestimmten Gesichtsausdruck), von denen bekannt ist, dass sie wichtig sind. Dies hilft dem Computer, in die feinen Details hineinzuzoomen, die normalerweise ignoriert werden, um sicherzustellen, dass er die kleinen Hinweise nicht übersieht, die ein lustiges Bild in ein hasserfülltes verwandeln.

3. Der „Kontext“-Decoder (Context-Guided)
Selbst wenn der Computer die Details sieht, versteht er vielleicht nicht, warum sie wichtig sind, ohne den richtigen Kontext. Der „Context-Guided Decoder“ fungelt wie ein Übersetzer, der die Punkte zwischen dem Bild und den Worten verbindet. Er nimmt die visuellen Hinweise, die die Taschenlampe gefunden hat, und fragt: „Wie verändert dieses Bild die Bedeutung dieses Textes?“ Wenn zum Beispiel der Text sagt „Geh nach Hause“, ist das harmlos. Aber wenn das Bild eine bestimmte Gruppe von Menschen zeigt, die verfolgt werden, ändert sich die Bedeutung komplett. Dieser Decoder zwingt Text und Bild dazu, tief miteinander zu kommunieren, um sicherzustellen, dass der Computer die ganze Geschichte versteht, nicht nur die Einzelteile.

Was sie herausgefunden haben

Das Team testete sein neues System an zwei großen Sammlungen von Memes: dem Hateful Memes Datensatz (mit über 10.000 Beispielen) und dem MultiOFF Datensatz (mit 743 Beispielen). Sie verglichen ihr System mit vielen anderen berühmten Modellen, einschließlich einiger, die über riesige KI-Gehirne wie GPT-4 und LLaVA verfügen.

Die Ergebnisse waren sehr vielversprechend. Auf dem Hateful-Memes-Datensatz erreichte EVL-MCoT eine Genauigkeit von 75,88 % bei Standardtests und 75,57 % bei schwierigen, unbekannten Tests. Es erzielte auch einen AUROC (ein Maß dafür, wie gut es zwischen gut und schlecht unterscheidet) von 79,25 % bzw. 79,40 %. Diese Zahlen lagen höher als bei fast allen anderen getesteten Methoden, einschließlich einiger sehr fortgeschrittener Modelle.

Auf dem MultiOFF-Datensatz erreichte das System eine Genauigkeit von 70,0 % und einen F1-Score von 63,8, womit es wiederum die anderen Modelle schlug.

Die Forscher führten auch Experimente durch, um zu sehen, was passieren würde, wenn sie Teile ihres Systems entfernen würden. Als sie das „Multi-CoT“ (die multiplen Denkpfade) entfernten, sank die Genauigkeit signifikant. Als sie die „Prototype-Guided“ oder „Context-Guided“ Decoder entfernten, sank auch die Leistung. Dies deutet darauf an, dass jeder Teil ihres Teams für die besten Ergebnisse notwendig ist. Sie fanden heraus, dass die Verwendung von mehr Denkpfaden (speziell die Generierung von 3 schädlichen und 3 harmlosen Erklärungen) besser funktionierte als die Verwendung von nur einem oder zwei.

Warum es wichtig ist

Dieses Paper legt nahe, dass sich die Art und Weise, wie wir Computer lehren, die Internetkultur zu verstehen, ändern muss. Anstatt nur ein Bild anzusehen und zu raten, oder einen einzigen Denkprozess zu nutzen, brauchen wir Systeme, die mit sich selbst argumentieren, ihre eigene Arbeit überprüfen und Details mit einem feinen Kamm untersuchen können. Durch die Nutzung dieses „Multi-CoT“-Ansatzes zeigt das EVL-MCoT-System, dass Computer besser darin werden können, die verborgenen, schädlichen Botschaften aufzuspüren, die versuchen, sich hinter einem Smiley zu verstecken. Obwohl das System nicht perfekt ist, stellt es einen bedeutenden Schritt nach vorn dar, um das Internet zu einem sichereren Ort zu machen, indem es Maschinen hilft, die komplexe, oft tückische Sprache von Memes zu verstehen.