Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

In der modernen digitalen Welt sind Computer bemerkenswert gut darin geworden, Bilder anzusehen und zu verstehen, was sie sehen. Sie können eine Katze, ein Auto oder einen bestimmten Typ von Landschaft mit einer Genauigkeit identifizieren, die dem menschlichen Sehvermögen ebenbürtig ist. Diese Fähigkeit beruht auf komplexen Systemen, die neuronale Netze genannt werden und darauf ausgelegt sind, die Art und Weise nachzuahmen, wie das menschliche Gehirn Informationen verarbeitet. Diese Systeme speichern nicht einfach nur ein Bild; sie zerlegen es in Schichten interner Signale und aktivieren spezifische Pfade, um Muster zu erkennen und Bedeutung zuzuweisen. Jahrelang gingen Wissenschaftler davon aus, dass, wenn ein Bild für uns echt aussieht, der Computer es auf die gleiche Weise sieht, unabhängig davon, ob das Bild von einer Kamera aufgenommen oder von einer Maschine erstellt wurde.

Eine neue Welle von Werkzeugen der künstlichen Intelligenz kann nun jedoch Bilder erzeugen, die visuell nicht von echten Fotografien zu unterscheiden sind. Diese synthetischen Bilder werden von Modellen erstellt, die aus riesigen Bibliotheken bestehender Fotos lernen und dann neue Szenen von Grund auf neu konstruieren. Da diese gefälschten Bilder in den Nachrichten, sozialen Medien und sogar in wissenschaftlichen Daten immer häufiger vorkommen, stellt sich eine kritische Frage: Glaubt der Computer wirklich, dass das gefälschte Bild echt ist? Wenn die interne Mechanik des Computers ein gefälschtes Bild anders verarbeitet als ein echtes, selbst wenn beide dieselbe Szene zeigen, könnte dies einen verborgenen Fehler in der Art und Weise offenbaren, wie diese Maschinen die Welt wahrnehmen. Diese Unterscheidung ist entscheidend für die Aufrechterhaltung des Vertrauens in digitale Medien und um sicherzustellen, dass automatisierte Systeme nicht durch subtile Unvollkommenheiten getäuscht werden, die das menschliche Auge nicht sehen kann.

Ein Team von Forschern der Kansas State University machte sich daran, genau diese Frage zu untersuchen. Sie wollten wissen, ob sich die internen „Gedanken“ eines Computervisionssystems ändern, wenn es ein gefälschtes Bild im Vergleich zu einem echten Bild betrachtet, selbst wenn der Inhalt des Bildes identisch bleibt. Zu diesem Zweck konzentrierten sie sich auf einen spezifischen Typ von Computermodell, bekannt als faltendes neuronales Netzwerk (Convolutional Neural Network), das weit verbreitet zur Erkennung von Szenen und Objekten eingesetzt wird. Die Forscher baten den Computer nicht einfach darum, zu raten, ob ein Bild echt oder gefälscht sei. Stattdessen blickten sie in das „Gehirn“ der Maschine, um zu sehen, wie die Neuronen – die grundlegenden Verarbeitungseinheiten – feuerten, wenn sie mit verschiedenen Arten von Bildern konfrontiert wurden.

Das Team begann damit, ein Computermodell darauf zu trainieren, verschiedene reale Szenen zu erkennen, wie etwa ein Wohnzimmer, einen verschneiten Berg oder eine belebte Straße. Nachdem das Modell trainiert worden war, verwendeten sie ein leistungsfähiges Bilderzeugungswerkzeug, um gefälschte Versionen derselben Szenen zu erstellen. Sie nutzten zwei verschiedene Methoden, um diese Fälschungen zu erstellen. In der ersten Methode gaben sie dem Generator eine Textbeschreibung der Szene vor und baten ihn, ein realistisches Foto allein basierend auf Worten zu erstellen. In der zweiten Methode lieferten sie dem Generator das ursprüngliche echte Foto zusammen mit einer Textbeschreibung und baten ihn, die Szene unter Beibehaltung des ursprünglichen Layouts und der Struktur zu rekonstruieren. Dies stellte sicher, dass für jedes echte Bild ein entsprechendes gefälschtes Bild mit demselben semantischen Inhalt vorhanden war, was einen direkten Vergleich ermöglichte.

Mit diesen Paaren aus echten und gefälschten Bildern bereit, speisten die Forscher sie in das trainierte Computermodell ein. Während die Bilder durch das System liefen, zeichnete das Team die Aktivität der letzten Neuronen-Schicht auf, in der das Modell seine endgültige Entscheidung darüber trifft, was es sieht. Sie verglichen dann die Aktivierungsmuster der echten Bilder mit denen ihrer gefälschten Gegenstücke. Das Ziel war zu sehen, ob die Neuronen mit der gleichen Intensität und in den gleichen Kombinationen feuerten oder ob die gefälschten Bilder eine andere Reaktion im Inneren der Maschine hervorriefen.

Die Ergebnisse waren klar und konsistent. Die Forscher fanden heraus, dass gefälschte Bilder die Neuronen nicht auf die gleiche Weise stimulierten wie echte Bilder. Selbst wenn die gefälschten Bilder für das menschliche Auge perfekt aussah, waren die internen Signale des Computers schwächer und weniger organisiert. Insbesondere verursachten die gefälschten Bilder weniger feuernde Neuronen, und jene, die feuerten, zeigten oft ein niedrigeres Aktivitätsniveau. Dieser Effekt wurde bei verschiedenen Arten von Szenen beobachtet und war konsistent, unabhängig davon, ob die gefälschten Bilder allein aus Text oder aus einer Kombination von Text und einem Originalbild generiert wurden. Die Studie legt nahe, dass der Computer subtile strukturelle Inkonsistenzen oder fehlende Details in den gefälschten Bildern erkennt, die für uns nicht offensichtlich sind, was dazu führt, dass die interne Repräsentation der Szene weniger robust ist.

Um sicherzustellen, dass diese Unterschiede nicht einfach dadurch verursacht wurden, dass die gefälschten Bilder von geringerer Qualität oder unscharf waren, testeten die Forscher ihre Theorie weiter. Sie nahmen echte Bilder und verschlechterten diese absichtlich durch Anwendung von JPEG-Kompression und Unschärfe, um die Art von Schäden nachzuahmen, die bei der Übertragung oder Speicherung auftreten könnten. Während diese degradierten Bilder zwar einige Veränderungen in der Neuronenaktivität verursachten, entsprach das Muster der Veränderung nicht dem, was sie bei den gefälschten Bildern beobachtet hatten. Die gefälschten Bilder erzeugten eine deutliche Signatur reduzierter Aktivität, die nicht vollständig durch einfache Bilddegradation erklärt werden konnte. Dies deutet darauf an, dass es nicht nur darum geht, dass das Bild „schlecht aussieht“, sondern darum, wie der Computer die synthetischen Daten im Vergleich zu den realen Daten grundlegend verarbeitet.

Die Forscher testeten ihre Erkenntnisse auch unter Verwendung verschiedener Computermodelle und verschiedener Bildersätze, um zu sehen, ob das Ergebnis unter verschiedenen Bedingungen Bestand hat. Sie wiederholten das Experiment mit einem anderen Typ von neuronalem Netzwerk und einem anderen Bilderzeugungswerkzeug. In jedem Fall blieb das Muster gleich: Die gefälschten Bilder riefen eine andere und im Allgemeinen schwächere Reaktion in den verborgenen Schichten des Computers hervor. Diese Konsistenz über verschiedene Setups hinweg stärkt die Schlussfolgerung, dass das Phänomen eine echte Eigenschaft dessen ist, wie diese Systeme synthetische Daten verarbeiten.

Die Studie behauptet nicht, das Problem der Erkennung gefälschter Bilder gelöst zu haben, noch legt sie nahe, dass diese Methode allein bereit ist, als universeller Detektor eingesetzt zu werden. Stattdessen liefert sie eine grundlegende Einsicht in die Natur der künstlichen Intelligenz. Sie zeigt auf, dass selbst wenn ein Computer durch das visuelle Erscheinungsbild eines gefälschten Bildes getäuscht wird, seine interne Mechanik weiß, dass etwas anders ist. Die Neuronen leuchten nicht mit derselben Zuversicht oder Klarheit auf wie bei einer echten Fotografie. Diese Entdeckung öffnet eine neue Tür für die zukünftige Forschung. Indem Wissenschaftler genau verstehen, wie sich diese internen Signale unterscheiden, könnten sie bessere Werkzeuge entwickeln, um synthetische Medien zu identifizieren – nicht nur durch das Betrachten der Pixel an der Oberfläche, sondern durch das Lauschen auf die leisen, internen Signale der Maschine selbst. Die Arbeit legt nahe, dass der Weg zu einer zuverlässigeren KI-Sicherheit im Verständnis dieser verborgenen Verarbeitungsschichten liegt, wo die Wahrheit des Bildes nicht durch das offenbart wird, was wir sehen, sondern durch die Art und Weise, wie der Computer denkt.