NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection

Das NAU-QMUL-Team schlägt einen mehrmodalen Multi-Task-Ansatz vor, der BERT und CLIP zur Erkennung von KI-generierten Bildern und zur Identifizierung der zugrunde liegenden Modelle nutzt, wobei durch Pseudo-Labeling-Datenaugmentierung verbesserte Ergebnisse in einem Wettbewerb erzielt wurden.

Das Wesentliche

Stellen Sie sich vor, wir leben in einer Welt, in der ein Zauberstab existiert, der aus bloßen Worten sofort fotorealistische Bilder erschafft. Das ist die Welt der KI-Bildgeneratoren wie Midjourney oder DALL-E. Das Problem? Wir können kaum noch unterscheiden, ob ein Bild von einem echten Menschen gemalt oder von einem Computer „geträumt" wurde.

Dieser Artikel beschreibt einen Versuch, genau dieses Problem zu lösen. Die Forscher von der Nanjing Audit University und der Queen Mary University of London haben einen digitalen Detektiv entwickelt, der nicht nur schreit: „Das ist gefälscht!", sondern auch sagt: „Und zwar von welchem Zauberstab!"

Hier ist die Geschichte ihres Systems, einfach erklärt:

1. Das Team: Ein Text-Experte und ein Bild-Experte

Stellen Sie sich das System wie ein Ermittlerteam aus zwei Spezialisten vor, die Hand in Hand arbeiten:

• Der Text-Experte (BERT): Dieser KI-Teil ist ein Meister im Verstehen von Sprache. Er liest die Bildunterschrift (den Text, der das Bild beschreibt) und versteht den Kontext.
• Der Bild-Experte (CLIP): Dieser Teil ist ein visueller Künstler. Er schaut sich das Bild genau an und analysiert jedes Detail, jede Textur und jeden Schatten.

Normalerweise arbeiten diese beiden getrennt. Aber unser Team hat sie zu einem einzigen Gehirn verschmolzen. Sie tauschen Informationen aus: Der Text-Experte sagt dem Bild-Experten: „Achte auf diese Details, weil der Text so etwas verspricht." Der Bild-Experte bestätigt oder widerspricht: „Nein, die Schatten hier sehen künstlich aus."

2. Die zwei Aufgaben des Detektivs

Das System muss zwei Dinge gleichzeitig tun, wie ein Polizist, der erst prüft, ob ein Verdächtiger überhaupt ein Verbrechen begangen hat, und dann herausfindet, welches Werkzeug er benutzt hat.

• Aufgabe A (Der erste Check): „Ist dieses Bild echt oder von einer KI?" (Ja/Nein).
• Aufgabe B (Die Feinarbeit): „Wenn es von einer KI ist: Welches Modell hat es gemacht?" (War es Stable Diffusion, DALL-E 3 oder Midjourney?).

Das Besondere: Das System ist so gebaut, dass es Aufgabe B nur dann ernst nimmt, wenn es bei Aufgabe A zu „Ja" gekommen ist. Das spart Energie und verwirrt es nicht mit echten Fotos.

3. Der Trick: Lernen durch „Vertrauenswürdiges Raten"

Eines der größten Probleme beim Trainieren solcher Systeme ist, dass nicht genug Daten vorhanden sind. Die Forscher haben einen cleveren Trick angewendet, den man Pseudo-Labeling nennt.

Stellen Sie sich vor, Sie trainieren einen Schüler für eine Prüfung. Sie haben nicht genug Übungsaufgaben. Also geben Sie dem Schüler eine neue, ungelöste Aufgabe. Wenn der Schüler sehr sicher ist (zu 80 % oder mehr), dass er die Antwort kennt, schreiben Sie diese Antwort einfach als „richtig" in das Lehrbuch dazu.

Das System hat also auf unbekannten Bildern „geraten". Wenn es sehr sicher war, hat es diese Bilder und die „vermuteten" Antworten zu seinem Trainingsmaterial hinzugefügt. So wurde der Datensatz riesig und das System wurde viel schlauer.

4. Das Ergebnis: Ein Platz unter den Besten

Das Team hat ihr System in einem großen Wettbewerb („CT2") getestet, bei dem viele andere ebenfalls versuchten, KI-Bilder zu entlarven.

• Bei der Aufgabe, echte von falschen Bildern zu unterscheiden, landeten sie auf Platz 5.
• Bei der Aufgabe, das spezifische KI-Modell zu identifizieren, landeten sie ebenfalls auf Platz 5.

Das ist eine enorme Leistung, denn die KI-Generatoren werden immer besser, und die Detektiven müssen mithalten.

5. Die Schattenseite: Wo es haken könnte

Die Forscher sind ehrlich und geben zu, dass ihr Trick mit dem „Vertrauensvollen Raten" nicht perfekt ist.

• Der Echo-Effekt: Wenn das System einmal einen Fehler macht und ihn als „Wahrheit" in sein Lehrbuch schreibt, wiederholt es diesen Fehler vielleicht immer wieder.
• Die Bequemlichkeit: Das System lernt vielleicht nur die „leichten" Fälle, bei denen es sich sicher fühlt, und ignoriert die schwierigen, kniffligen Fälle.
• Die Vermischung: Es besteht die Gefahr, dass das System beim Testen Dinge sieht, die es schon beim Lernen „gesehen" hat, was die Ergebnisse künstlich aufblähen könnte.

Fazit

Dieses Papier zeigt, dass die Kombination aus Text- und Bildanalyse ein mächtiges Werkzeug ist, um die Flut an KI-generierten Bildern zu sortieren. Es ist wie ein neuer, sehr scharfsinniger Detektiv, der zwar noch nicht perfekt ist, aber uns einen riesigen Schritt näher an die Wahrheit bringt. Die Zukunft wird zeigen, wie man die „Fehler im Lehrbuch" vermeidet und den Detektiv noch schlauer macht.

Technische Zusammenfassung

1. Problemstellung

Die rasante Entwicklung von Text-zu-Bild-Generierungssystemen (z. B. Stable Diffusion, DALL-E 3, MidJourney) hat die Unterscheidung zwischen von Menschen erstellten und KI-generierten Bildern erheblich erschwert. Dies stellt eine kritische Herausforderung für die Medienauthentizität, den Schutz geistigen Eigentums und die Bekämpfung von Desinformation dar.
Das Papier adressiert zwei spezifische Aufgaben im Rahmen des Wettbewerbs „CT2: AI-Generated Image Detection":

• Aufgabe A: Eine binäre Klassifizierung, um festzustellen, ob ein Bild von einer KI generiert wurde oder von einem Menschen stammt.
• Aufgabe B: Eine Mehrklassen-Klassifizierung, um das spezifische KI-Modell zu identifizieren, das für die Erstellung des Bildes verantwortlich ist (z. B. SD 3, SDXL, DALL-E 3, MidJourney 6).

2. Methodik

Die Autoren stellen ein multimodales Multi-Task-Modell vor, das Text- und Bilddaten integriert, um robuste Vorhersagen für beide Aufgaben zu treffen.

• Architektur und Feature-Extraktion:

  • Text-Encoder: Ein vortrainiertes BERT-Modell (bert-base-uncased) verarbeitet die Texteingaben (Bildunterschriften/Captions) nach der Tokenisierung, um kontextualisierte Textmerkmale zu extrahieren.
  • Bild-Encoder: Ein vortrainierter CLIP-Vision-Encoder (openai/clip-vit-base-patch32) verarbeitet die Bilddaten (Pixelwerte), um hochlevelige visuelle Merkmale zu extrahieren.
  • Fusion: Die extrahierten textuellen und visuellen Merkmale werden konkateniert und durch eine vollvernetzte Schicht in einen gemeinsamen Merkmalsraum projiziert, um eine effektive multimodale Fusion zu ermöglichen.

• Multi-Task-Klassifikation:
  Das Modell verfügt über zwei separate Klassifikationsköpfe:

  1. Label_A Classifier: Führt die binäre Klassifizierung (KI vs. Mensch) durch.
  2. Label_B Classifier: Führt die Mehrklassen-Klassifizierung (spezifisches KI-Modell) durch.

• Optimierung (Multi-Task Loss):
  Ein maßgeschneiderter Verlustfunktion-Ansatz wird verwendet:

  • Für Aufgabe A wird ein Binary Cross-Entropy Loss verwendet.
  • Für Aufgabe B wird ein Conditional Cross-Entropy Loss berechnet. Dieser wird nur für Proben angewendet, die von Aufgabe A als KI-generiert klassifiziert wurden (LABEL_A == 1). Dies verhindert unnötige Berechnungen für echte Bilder und reduziert Rauschen.
  • Der Gesamtverlust ist die Summe beider Komponenten.

• Daten-Augmentierung (Pseudo-Labeling):
  Um den Trainingsdatensatz zu erweitern, wurde eine Strategie basierend auf Pseudo-Labels eingesetzt. Das trainierte Modell wurde auf ungelabelten Testdaten angewendet. Proben, bei denen sowohl die Vorhersage für Aufgabe A als auch für Aufgabe B eine Konfidenz von über 0,8 erreichten, wurden als hochvertrauenswürdig eingestuft und mit Pseudo-Labels versehen. Diese wurden dem ursprünglichen Trainingsset hinzugefügt (im Verhältnis 8:2 aufgeteilt), um die Generalisierungsfähigkeit zu verbessern.

3. Wichtige Beiträge

• Integration von BERT und CLIP: Die erfolgreiche Kombination von Text- und Bild-Encodern zur Erfassung der einzigartigen Merkmale verschiedener Generierungsmodelle.
• Effizientes Multi-Task-Learning: Die Einführung einer bedingten Verlustfunktion für Aufgabe B, die die Abhängigkeit von Aufgabe A nutzt und die Recheneffizienz sowie die Klassifiziergenauigkeit erhöht.
• Robuste Daten-Augmentierung: Der Einsatz von Pseudo-Labeling mit einem hohen Konfidenzschwellenwert zur Erweiterung des Datensatzes, was in einem Szenario mit begrenzten gelabelten Daten vorteilhaft ist.
• Wettbewerbsleistung: Das Erreichen des 5. Platzes in beiden Aufgaben des CT2-Wettbewerbs.

4. Ergebnisse

• Validierungsset: Das Modell erreichte während des Trainings auf dem Validierungsset hervorragende Ergebnisse:
  • Aufgabe A: F1-Score von 99,58 %.
  • Aufgabe B: Weighted-F1-Score von 85,95 %.
• Offizieller Testset (Wettbewerb):
  • Aufgabe A: F1-Score von 83,16 % (Platz 5).
  • Aufgabe B: F1-Score von 48,88 % (Platz 5).
  • Die Ergebnisse unterstreichen die Robustheit des Ansatzes, insbesondere bei der Unterscheidung zwischen realen und KI-generierten Inhalten, während die Identifizierung spezifischer Modelle (Aufgabe B) aufgrund der Komplexität und Ähnlichkeit der Modelle weiterhin eine Herausforderung darstellt.

5. Bedeutung und Ausblick

Die Studie demonstriert, dass multimodale Ansätze, die auf großen vortrainierten Modellen wie BERT und CLIP basieren, effektiv zur Erkennung von KI-generierten Inhalten eingesetzt werden können. Die Architektur bietet einen vielversprechenden Weg für reale Anwendungsszenarien zur Bekämpfung von Desinformation.

Kritische Reflexion und Grenzen:
Die Autoren erkennen potenzielle Verzerrungen durch die Pseudo-Labeling-Strategie an, darunter:

• Fehlerfortpflanzung: Falsche Pseudo-Labels könnten bestehende Modellfehler verstärken.
• Selektionsverzerrung: Der hohe Schwellenwert (0,8) könnte schwierige, mehrdeutige Fälle unterrepräsentieren.
• Datenverteilung: Potenzielle Verschiebungen zwischen den Pseudo-Labels und den Originaldaten.
• Klassenungleichgewicht: Bestimmte KI-Stile könnten überrepräsentiert sein.

Zukünftige Forschung:
Geplant sind fortschrittlichere Fusionsmechanismen (z. B. Attention-Mechanismen, Cross-Modal-Transformer), die Modellierung von Beziehungen zwischen Bildern desselben Captions sowie Strategien zur Minderung von Verzerrungen durch unsicherheitsbewusstes Training und diverse Augmentierungstechniken.