Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

Die Magie der Bilder und die Gefahr der Geschichten

Stellen Sie sich vor, Sie hätten einen magischen Pinsel, der jeden Satz, den Sie schreiben, in ein Bild verwandeln kann. Wenn Sie sagen: „Zeichne eine Katze“, erscheint eine flauschige Katze. Wenn Sie sagen: „Zeichne eine Katze mit einem Hut“, bekommt die Katze einen Hut. Dies ist die Welt der Text-zu-Bild-Systeme (T2I), eine Art von künstlicher Intelligenz, die in letzter Zeit unglaublich gut darin geworden ist, Anweisungen zu befolgen. Aber hier kommt die Wendung: Diese neuen KI-Pinsel sind nicht mehr nur für einzelne Bilder gedacht. Sie können nun ein Gespräch führen. Sie können nach einem Bild fragen, es betrachten, sagen: „Mach die Katze jetzt traurig“, und sie wird eine traurige Katze zeichnen, die exakt wie die erste aussieht. Dies wird Multi-Turn-Generierung genannt. Es ist, als hätte man einen Comic-Zeichner, der sich an jedes Detail erinnert, das Sie bisher verlangt haben, sodass Sie eine ganze Geschichte, Panel für Panel, direkt in Ihrem Chat-Fenster aufbauen können.

Warum ist das wichtig? Denn schon seit langem wissen Menschen, dass ein einzelnes Bild harmlos sein kann, aber eine Abfolge von Bildern eine schreckliche Geschichte erzählen kann. Denken Sie an einen Witz, bei dem das erste Panel zeigt, wie eine Person eine Münze fallen lässt, das zweite zeigt, wie sie sie aufhebt, und das dritte enthüllt, dass sie eine Bombe aufgehoben hat. Die ersten zwei Bilder sind völlig in Ordnung; das dritte ist die Pointe. Wenn eine KI jedes Bild einzeln prüft, übersieht sie die Gefahr vielleicht komplett. Dieses Paper stellt eine beängstigende Frage: Wenn wir diese gesprächigen KI-Künstler ganze Geschichten zeichnen lassen, können sie dann versehentlich (oder absichtlich) eine hasserfüllte Erzählung erstellen, die an den Sicherheitsfiltern vorbeischlüpft, weil kein einzelnes Bild für sich genommen schlecht aussieht?

Das Paper: Wenn harmlose Panels hasserfüllte Erzählungen werden

Diese Forschung untersucht eine verborgene Falle in der neuen Generation von KI-Kunstwerkzeugen. Die Autoren, ein Team von Sicherheitsforschern, entdeckten, dass aktuelle KI-Sicherheitssysteme zwar großartig darin sind, ein einzelnes schlechtes Bild zu erkennen, aber schrecklich darin sind, eine hasserfüllte visuelle Geschichte zu verstehen.

Um dies zu testen, erstellten die Forscher einen speziellen Datensatz namens HatefulStoryPrompts. Sie nahmen 55 verschiedene hasserfüllte Narrative – Geschichten, die darauf ausgelegt sind, bestimmte Gruppen von Menschen zu verspotten oder zu verletzen, wie etwa rassistische Stereotypen oder antisemitische Witze – und brachen sie in Schritt-für-Schritt-Anweisungen auf. Dann baten sie fünf der weltweit fortschrittlichsten KI-Bildgeneratoren (einschließlich Modellen von Google und OpenAI), diese Geschichten zu zeichnen. Der Clou dabei? Jede einzelne Anweisung, die die KI erhielt, sah vollkommen harmlos aus. Die erste Aufforderung könnte nach einem „wohlhabenden Paar“ fragen, die zweite nach einem „schlanken Anwalt“ und die dritte nach einem „wohlhabenden Anwalt“. Individuell betrachtet sind dies nur normale Anfragen. Aber wenn man die Bilder in der richtigen Reihenfolge zusammenfügt, erzählen sie eine rassistische oder hasserfüllte Geschichte darüber, wie der Anwalt das Paar übertölpelt hat.

Die Ergebnisse waren erschütternd. Die Forscher fanden heraus, dass diese KI-Modelle unglaublich gut darin sind, den Anweisungen folgen, um die Geschichte zu vollenden. Von jeweils 100 versuchten Geschichten schafften es die Modelle in mehr als 80 % der Fälle, die vollständige Sequenz an Bildern zu generieren. Das beste Modell, GPT Image 2, vollendete sage und schreibe 99,0 % der hasserfüllten Geschichten. Das bedeutet: Wenn ein böswilliger Akteur diese Werkzeuge nutzen wollte, um einen hasserfüllten Comic zu erstellen, würde die KI ihm dabei bereitwillig helfen, Panel für Panel, ohne jemals Alarm zu schlagen.

Die Sicherheitslücke: Warum heutige Verteidiger versagen

Das Team testete dann die „Sicherheitswächter“, die derzeit von diesen KI-Unternehmen eingesetzt werden. Sie fragten: „Können diese Wächter den Hass erkennen, wenn sie die ganze Geschichte sehen?“ Sie erstellten einen Datensatz namens HravelVisualStory, der fast 1.000 hasserfüllte Bildersätze und 990 harmlose Ähnlichkeiten enthielt.

Die Ergebnisse zeigten, dass die aktuellen Sicherheitssysteme gegenüber dieser Art von Bedrohung weitgehend blind sind.

• Das „Einzelbild-Problem“: Die meisten Sicherheitstools prüfen ein Bild nach dem anderen. Beim Blick auf die hasserfüllten Geschichten übersahen sie fast alles. Ein spezielles Sicherheitsmodell erkannte nur 34,9 % der hasserfüllten Geschichten. Ein anderes berühmtes Sicherheitstool, LlavaGuard, übersah 100 % von ihnen (0,0 % Recall).
• Das „Ganze-Geschichte-Problem“: Selbst wenn die Forscher den Sicherheitstools die gesamte Sequenz der Bilder auf einmal gaben, waren die Ergebnisse nicht viel besser. Das stärkste Tool konnte nur 67,5 % der hasserfüllten Geschichten abfangen.

Das Paper argumentiert, dass dies geschieht, weil der Hass nicht in den Pixeln eines einzelnen Bildes liegt, sondern in der Beziehung zwischen den Bildern. Es ist, als versuche man, einen Film zu verstehen, indem man nur einen einzigen eingefrorenen Frame betrachtet; man könnte die Handlung völlig verpassen.

Die Lösung: Die Geschichte fangen, bevor sie fertig ist

Da die aktuellen Wächter das große Ganze übersehen, schlugen die Forscher zwei neue Wege vor, um diese Geschichten zu erfassen: Proaktives Monitoring und Post-Generation-Detektion.

1. Proaktives Monitoring (Der frühe Stopp): Stellen Sie sich einen Lehrer vor, der einem Schüler beim Schreiben einer Geschichte zusieht. Anstatt zu warten, bis die Geschichte fertig ist, um zu prüfen, ob sie schlecht ist, liest der Lehrer jeden Satz, während er geschrieben wird. Wenn der Lehrer sieht, dass die Geschichte hasserfüllt wird, stoppt er den Schüler sofort. Die Forscher bauten ein System, das dies für die KI tut. Es beobachtet das Gespräch, während es stattfindet.

   • Wenn der Nutzer nur Prompts tippt, fing dieses System 97,3 % der hasserfüllten Geschichten ab, bevor das letzte Bild gezeichnet wurde.
   • Wenn der Nutzer mit seinem eigenen Bild begann und dann Prompts hinzufügte, fing es immer noch 92,6 % der Geschichten ab.
   • Entscheidend war, dass dies mit fast keinen „Fehlalarmen“ geschah, was bedeutet, dass es harmlose Geschichten selten stoppte.

2. Post-Generation-Detection (Der Detektiv): Manchmal ist die Geschichte bereits fertig und online gestellt worden. Die Forscher testeten auch eine neue Methode, um den fertigen Comic zu analysieren. Sie probierten einen „Beschreiben-dann-Beurteilen“-Ansatz aus, bei dem die KI zuerst eine Zusammenfassung der gesamten Geschichte schreibt und dann entscheidet, ob sie hasserfüllt ist. Dies half der KI, den Kontext besser zu verstehen.

   • Diese Methode fing 80,2 % der hasserfüllten Geschichten bei konkatinierten Bildern (zusammengefügten Bildern) und 76,6 % bei separaten Bildersätzen ab, was eine enorme Verbesserung gegenüber den alten Methoden darstellt.

Das große Fazit

Das Paper kommt zu dem Schluss, dass unsere Sicherheitsregeln klüger werden müssen, wenn die KI besser darin wird, kohärente, mehrstufige Geschichten zu erzählen. Wir können nicht mehr nur einzelne Bilder prüfen; wir müssen die Geschichte verstehen, die die Bilder erzählen. Die Autoren fanden heraus, dass neuere, leistungsfähigere KI-Modelle tatsächlich wahrscheinlicher diese hasserfüllten Geschichten vollenden, weil sie Anweisungen besser befolgen – nicht, weil sie sicherer sind.

Die Forscher schlagen vor, dass die beste Verteidigung ein zweistufiger Ansatz ist: ein „Wachhund“, der das Gespräch überwacht, während es stattfindet, um die Geschichte zu stoppen, bevor sie fertig ist, und ein „Detektiv“, der die fertige Geschichte analysiert, falls sie durchgeschlüpft ist. Ohne diese neuen Methoden warnt das Paper, dass die nächste Generation von KI-Comics zu einem billigen und einfachen Weg werden könnte, um Hass an Millionen von Menschen, einschließlich Kindern, zu verbreiten, ohne dass es jemand merkt, bis es zu spät ist.