Stellen Sie sich vor, Sie spazieren durch eine riesige, hochtechnologische Bibliothek, in der jedes Buch ein Bild ist. Jahrelang konnten die Bibliothekare die gefälschten Bücher leicht erkennen, da sie auf billigem Papier mit offensichtlichen Flecken gedruckt waren. Doch in letzter Zeit ist eine neue Art von Drucker angekommen, die gefälschte Bücher so perfekt aussehen lässt – mit Papier, das so glatt und Tinte, die so scharf ist –, dass selbst Experten sie nicht mehr von den echten unterscheiden können. Dies ist die Welt der KI-generierten Bilder. Wissenschaftler eilen, um „digitale Lügendetektoren“ zu bauen, die diese Fälschungen erkennen, bevor sie Fehlinformationen verbreiten oder Betrug verursachen. Der schwierige Teil ist, dass diese Detektoren früher darauf angewiesen waren, nach winzigen, spezifischen Flecken zu suchen, die die alten Drucker hinterlassen hatten. Aber als die neuen Drucker ihre Methoden änderten, gerieten die alten Detektoren durcheinander. Um dies zu lösen, versuchen Forscher nun zu verstehen, wie das „Gehirn“ eines Computers ein Bild sieht, Schicht für Schicht, vom allerersten Blick auf eine Textur bis hin zum endgültigen Verständnis dessen, was das Objekt tatsächlich ist.

Das Papier, das Sie gleich lesen werden, stellt einen neuen Detektiv namens PE-Mamba vor. Anstatt nur nach Flecken zu suchen, ist dieser Detektiv darauf ausgelegt, die Geschichte zu verstehen, wie ein Bild aufgebaut wird. Betrachten Sie einen Vision Transformer (das Computergehirn, das das Papier verwendet) als ein Team von Detektiven, die in einer Reihe arbeiten. Der erste Detektiv sieht nur die groben Kanten und Farben; der letzte Detektiv versteht die gesamte Szene. Frühere Methoden behandelten dieses Team wie eine Gruppe von Freunden, die gleichzeitig ihre Meinungen rufen und einen einfachen Durchschnitt bilden. Aber PE-Mamba erkennt, dass die Reihenfolge wichtig ist: Die groben Hinweise vom Anfang helfen, das große Ganze am Ende zu erklären, und das große Ganze hilft, die groben Hinweise sinnvoll einzuordnen.

PE-Mamba nutzt einen cleveren neuen Trick namens „bidirektionaler selektiver Scan“. Stellen Sie sich einen Detektiv vor, der die Reihe des Teams vom Anfang bis zum Ende durchläuft, während er unterwegs Hinweise sammelt (Vorwärtsscan). Dann dreht er sich um und läuft vom Ende zurück zum Anfang, wobei er diese frühen Hinweise mit der Weisheit des Endergebnisses erneut untersucht (Rückwärtsscan). Dieser zweifache Weg ermöglicht es dem Modell, die Punkte zwischen den winzigen Details und der großen Bedeutung zu verbinden, was mit einfachem Durchschnitt niemals möglich wäre. Das Papier legt nahe, dass PE-Mamba, indem es die Schichten des Computergehirns als eine geordnete Sequenz und nicht als einen ungeordneten Haufen behandelt, Fälschungen viel besser erkennen kann, selbst wenn die Fälschungen von brandneuen KI-Werkzeugen stammen, die es noch nie gesehen hat.

Die neue Strategie des Detektivs

Die Forscher hinter PE-Mamba bauten ihr System auf einem riesigen, vortrainierten Computergehirn namens PE-Core auf. Dieses Gehirn ist bereits unglaublich intelligent darin, Objekte, Gesichter und Szenen zu erkennen, aber es wurde ursprünglich nicht gebaut, um Fälschungen zu entlarven. Um es zu trainieren, ohne sein bestehendes Wissen zu zerstören, nutzte das Team eine leichtgewichtige Technik namens LoRA. Sie können sich LoRA wie ein kleines, abnehmbares Set an „Trainingsrädern“ für das Gehirn vorstellen. Anstatt den gesamten massiven Motor neu zu verdrahten (was teuer und langsam wäre), haben sie nur einen winzigen Bruchteil der Verbindungen angepasst – nur 1,3 % der gesamten Parameter, und nur 0,13 %, wenn man nur den LoRA-Teil zählt. Dies ermöglichte es dem Modell, die spezifischen „Fingerabdrücke“ gefälschter Bilder zu lernen, während sein allgemeines Wissen intakt blieb.

Die zentrale Innovation liegt darin, wie PE-Mamba die Hinweise aus den verschiedenen Schichten des Gehirns kombiniert. Das Papier argumentiert, dass frühere Methoden einen Fehler machten, indem sie die Schichten als eine ungeordnete Menge behandelten, wie einen Eimer voller durcheinandergewürfelter Puzzleteile. PE-Mamba hingegen respektiert den natürlichen Informationsfluss: von flachen Schichten (Textur und Kanten) zu tiefen Schichten (Semantik und Bedeutung).

Hierzu nutzt PE-Manga drei Hauptkomponenten:

1. Der Bidirectional Selective Aggregator (BSA): Dies ist der zweiweg laufende Detektiv. Er scannt die Hinweise vorwärts (von flach zu tief), um Beweise aufzubauen, und geht dann rückwärts (von tief zu flach), um diese frühen Hinweise mit dem Kontext des gesamten Bildes zu verfeinern. Es ist, als würde man einen Krimi von Anfang bis Ende lesen und ihn dann rückwärts lesen, um zu sehen, wie das Ende den Anfang erklärt.
2. Der Softmax-Weighted Aggregator (SWA): Dieser fungt als „globaler Zusammenfassungs“-Detektiv. Er betrachtet alle Hinweise auf einmal und wählt die wichtigsten basierend auf einem gelernten Score aus, was eine andere Perspektive als der zweiwege Lauf bietet.
3. Der Sigmoid-Gated Blend (SGA): Dies ist der Kapitän des Teams. Er entscheidet, wie sehr man dem zweiwege Lauf gegenüber der globalen Zusammenfassung vertrauen soll. Er nutzt ein „Gate“ (ein Tor), das lernt, die beiden auszubalancieren, um sicherzustellen, dass die endgültige Entscheidung das Beste aus beiden Welten nutzt.

Was die Zahlen sagen

Das Team testete PE-Mamba bei zwei großen Herausforderungen: dem UniversalFakeDetect Benchmark und dem AIGCDetect Benchmark. In diesen Tests wurde das Modell nur auf Bildern trainiert, die von einer spezifischen KI (ProGAN) erstellt wurden, und dann gefragt, Fälschungen von 19 anderen KI-Modellen zu erkennen, die es noch nie gesehen hatte, einschließlich moderner Diffusionsmodelle wie DALL-E und Midjourney.

Die Ergebnisse waren beeindruckend. Beim UniversalFakeDetect Benchmark erreichte PE-Mamba eine Genauigkeitsrate von 96,6 % (mACC) und eine Präzisionsrate von 99,5 % (mAP). Das bedeutet, dass es Fälschungen häufiger korrekt identifizierte als die 18 anderen Detektoren, mit denen es verglichen wurde. Noch erstaunlicher ist, dass PE-Mamba beim AIGCDetect Benchmark – der sehr moderne, hochwertige Generatoren umfasst – eine Genauigkeit von 95,3 % und eine Präzision von 98,1 % erreichte.

Das Papier legt nahe, dass dieser Erfolg aus der Fähigkeit des Modells resultiert, „übertragbare strukturelle Inkonsistenzen“ zu finden. Während andere Detektoren scheitern könnten, wenn sich der Generator des gefälschten Bildes ändert, scheint der zweiwege Scan von PE-Mamba tiefere Muster zu finden, die über verschiedene Arten von Fälschungen hinweg konsistent bleiben. Beispielsweise fielen einige ältere Detektoren bei bestimmten neuen Generatoren auf etwa 50–60 % Genauigkeit ab, während PE-Mamba stark blieb und oft über 95 % erreichte.

Robustheit und visueller Beweis

Die Forscher prüften auch, ob PE-Mamba mit der Unordnung der realen Welt umgehen kann. Sie testeten es auf Bildern, die komprimiert (wie JPEGs), unscharf gemacht oder mit Rauschen versehen worden waren. Selbst unter diesen schwierigen Bedingungen hielt sich das Modell gut durch und behielt eine Genauigkeit von 88,4 % bei, selbst als alle drei Störungen gleichzeitig angewendet wurden. Dies deutet darauf hin, dass das Modell nicht nur spezifische Pixelmuster auswendig lernt, sondern ein robusteres Verständnis dafür entwickelt, was ein Bild zu einer Fälschung macht.

Um zu sehen, wie das Modell dachte, nutzte das Team ein Visualisierungswerkzeug namens Grad-CAM. Als sie sich die „Heatmaps“ der Aufmerksamkeit des Modells ansah, entdeckten sie etwas Faszinierendes. Das ursprüngliche, untrainierte Gehirn betrachtete die Hauptsubjekte des Fotos (wie ein Gesicht oder ein Auto), unabhängig davon, ob es echt oder gefälscht war. Aber PE-Mamba lernte, die offensichtlichen Teile echter Fotos zu ignorieren und stat sich stattdessen intensiv auf die seltsamen, unnatürlichen Stellen in gefälschten Fotos zu konzentrieren – wie die Kanten eines GAN-generierten Objekts, die Hauttextur in einem Deepfake oder die globalen Muster in einem Diffusionsbild. Dies bestätigt, dass das Modell erfolgreich gelernt hat, die „Geister“ in der Maschine aufzuspüren.

Das Fazit

Das Papier kommt zu dem Schluss, dass die Behandlung der Schichten eines Vision Transformers als eine geordnete Sequenz, statt als ein zufälliger Sack voller Merkmale, ein leistungsstarker Weg zur Erkennung von KI-generierten Bildern ist. Durch die Verwendung eines bidirektionalen Scans, um die Verbindung zwischen den kleinen Details und dem großen Ganzen herzustellen, zeigt PE-Mamba einen neuen Weg für die forensische Detektion auf. Es erreicht eine Spitzenleistung bei gleichzeitig sehr geringem zusätzlichem Rechenaufwand, was es zu einem vielversprechenden Werkzeug für die Zukunft macht. Die Autoren merken jedoch an, dass einige Generatoren, wie Midjourney, weiterhin eine Herausforderung darstellen, und dass zukünftige Arbeiten noch breitere Trainingsmethoden erforschen müssen, um jede Art der digitalen Fälschung zu erfassen.