💻 computer science

Intermediate Representations are Strong AI-Generated Image Detectors

Dieser Artikel schlägt eine neuartige suchbasierte Detektionsmethode vor, die die Empfindlichkeit von Daten-Embeddings in Zwischenschichten nutzt, um KI-generierte Bilder effektiv zu identifizieren und dabei im Vergleich zu sowohl trainingsfreien als auch trainingsbasierten State-of-the-Art-Techniken eine überlegene Generalisierung und Leistung zu erzielen.

Ursprüngliche Autoren: Zhenhan Huang, Pin-Yu Chen, Tejaswini Pedapati, Jianxi Gao

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhenhan Huang, Pin-Yu Chen, Tejaswini Pedapati, Jianxi Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein gefälschtes Gemälde in einer Galerie zu entlarven. Sie verfügen über zwei Arten von Werkzeugen:

Die „Schule der harten Schule" (Trainingsbasiert): Sie verbringen Jahre damit, Tausende von gefälschten Gemälden zu studieren, um deren spezifische Tricks zu erlernen. Doch wenn ein neuer Künstler einen völlig anderen Stil verwendet, den Sie noch nie gesehen haben, könnte Ihre Ausbildung versagen.
Der „Instinkt" (Trainingsfrei): Sie betrachten ein Gemälde und sagen: „Das fühlt sich falsch an", ohne zuvor etwas zu studieren. Es ist schnell, aber Sie übersehen oft die subtilen Fälschungen.

Dieser Artikel stellt ein neues Werkzeug vor, das genau in der Mitte liegt. Es ist wie ein Detektiv, der nicht jedes gefälschte Gemälde auswendig lernen muss, aber genau weiß, wo er hinschauen muss, um die Fälschung zu entlarven.

Die Kernidee: Das Geheimnis der „mittleren Schicht"

Die meisten KI-Detektoren betrachten die endgültige Antwort, die ein Computer gibt (den „Output"). Die Autoren erkannten, dass es tatsächlich viel besser ist, die mittleren Schritte des Denkprozesses des Computers zu betrachten.

Stellen Sie sich ein Deep-Learning-Modell (das KI-Gehirn) als eine mehrstöckige Fabrik vor:

Das Erdgeschoss (frühe Schichten): Die Maschine sieht grundlegende Formen und Farben. Es ist zu einfach, um ein Fälschung von einem echten Foto zu unterscheiden.
Das oberste Stockwerk (Ausgabeschicht): Die Maschine hat alles zu einer endgültigen Entscheidung zusammengefasst. Sie ist sehr effizient, wirft dabei aber die winzigen, chaotischen Details weg, die eine Fälschung oft verraten.
Die mittleren Stockwerke (intermediäre Schichten): Hier passiert die Magie. Die Maschine verarbeitet komplexe Details, hat aber noch nichts verworfen. Es ist wie der „Sweet Spot", in dem die Maschine noch die subtilen Texturen festhält, die echte Fotos besitzen und denen Fälschungen fehlen.

Wie die Methode funktioniert: Der „Unschärfe-Test"

Die Methode der Autoren funktioniert wie ein Belastungstest. Hier ist der schrittweise Ablauf:

Das Setup: Sie nehmen ein Bild und eine leicht „unscharfe" Version desselben Bildes (wie ein Foto durch ein nebliges Fenster).
Die Suche: Sie füttern beide Bilder in die KI-Fabrik. Sie überprüfen die „mittleren Stockwerke", um zu sehen, wie ähnlich die interne Sicht der KI auf das Original im Vergleich zum unscharfen Bild ist.
- Echte Fotos: Das Gehirn der KI ist sehr stabil. Selbst wenn Sie das Foto unscharf machen, erkennen die mittleren Schichten die Struktur klar. Der „Ähnlichkeitswert" bleibt hoch.
- Gefälschte Fotos: Das Gehirn der KI ist fragil. Wenn Sie die Fälschung unscharf machen, geraten die mittleren Schichten in Verwirrung und die interne Sicht ändert sich drastisch. Der „Ähnlichkeitswert" sinkt.
Die Entscheidung: Wenn der Ähnlichkeitswert zu stark absinkt, markiert das System es als KI-generiert.

Warum ist das besser?

Der Artikel behauptet, diese Methode sei eine „Goldilocks"-Lösung:

Sie benötigt kein aufwändiges Training: Im Gegensatz zu den Detektoren der „Schule der harten Schule" muss diese Methode das KI-Modell nicht neu trainieren. Sie verwendet einfach ein bestehendes, leistungsfähiges KI-Modell (wie CLIP oder DINOv2) und betrachtet dessen mittlere Schichten.
Sie ist genauer als „Instinkt": Im Gegensatz zu den „Instinkt"-Detektoren, die nur die endgültige Antwort betrachten, findet diese Methode das spezifische „mittlere Stockwerk", in dem der Unterschied zwischen echt und gefälscht am größten ist.

Die Ergebnisse

Die Autoren testeten dies an zwei riesigen Bildsammlungen (GenImage und Forensics Small).

Der Sieg: Ihre Methode schlug sowohl die stark trainierenden Detektoren als auch die nicht trainierenden Detektoren.
Die Statistik: Bei einem spezifischen Test verbesserten sie die Erkennungsgenauigkeit um fast 40 % im Vergleich zur besten „trainingsfreien" Methode und um 5 % im Vergleich zur besten „stark trainierenden" Methode.

Die Analogie der „intrinsischen Dimension"

Der Artikel spricht auch über etwas, das als „intrinsische Dimension" bezeichnet wird. Stellen Sie sich vor, die KI versucht, ein Foto zu beschreiben.

Im obersten Stockwerk komprimiert sie das Foto zu einer winzigen Zusammenfassung (niedrige Dimension). Es ist effizient, verliert aber Nuancen.
In den mittleren Stockwerken ist die Beschreibung „bucklig" – sie erweitert sich, um alle reichen, vielfältigen Details einzubeziehen, bevor sie sie wieder komprimiert.
Die Autoren fanden heraus, dass diese „erweiterte" mittlere Schicht die vielfältigsten Merkmale enthält, was sie zum perfekten Ort macht, um die subtilen Unterschiede zwischen einem echten menschlichen Foto und einer KI-Halluzination zu erkennen.

Zusammenfassung

Dieser Artikel schlägt einen intelligenten, suchbasierten Detektiv vor, der nicht neu trainiert werden muss. Stattdessen findet er die spezifische „mittlere Schicht" innerhalb eines Standard-KI-Gehirns, in der echte und gefälschte Bilder am unterschiedlichsten aussehen. Indem er testet, wie stabil diese Bilder sind, wenn sie leicht unscharf gemacht werden, kann er KI-Fälschungen mit einer deutlich höheren Genauigkeit als aktuelle Methoden aufspüren, und das alles, ohne den zugrunde liegenden Code der KI zu ändern.

Technischer Zusammenfassung: Intermediate Representations sind starke Detektoren für KI-generierte Bilder

Problemstellung
Der rasante Fortschritt generativer KI-Modelle (z. B. GANs, VAEs, Diffusionsmodelle) hat die Erstellung fotorealistischer synthetischer Bilder ermöglicht, was erhebliche Bedenken hinsichtlich Missbrauch, Deepfakes, Urheberrechtsverletzungen und der potenziellen Korruption zukünftiger Trainingsdatensätze aufwirft. Während eine effektive Detektion entscheidend ist, stehen aktuelle Lösungen vor einem Dilemma: trainingsbasierte Methoden sind rechenintensiv und haben Schwierigkeiten, sich auf nicht gesehene Datenbereiche zu verallgemeinern, während trainingfreie Methoden oft eine unterlegene Detektionsleistung aufweisen. Bestehende trainingfreie Ansätze stützen sich typischerweise auf die Embeddings der Ausgabe- (End-)Schicht vortrainierter Grundmodelle und übersehen möglicherweise diskriminativere Merkmale, die in früheren Stadien des Netzwerks verfügbar sind.

Methodik
Die Autoren schlagen ein suchbasiertes, trainingfreies Detektionsframework vor, das die Sensitivität von intermediären Repräsentationen innerhalb vortrainierter Bildgrundmodelle nutzt. Die Kernhypothese lautet, dass der Embedding-Raum realer Bilder robuster gegenüber Störungen ist als der von KI-generierten Bildern, und dass diese Robustheitslücke in intermediären Schichten ausgeprägter ist als in der finalen Ausgabeschicht.

Die Methode arbeitet in zwei Stufen:

Trainings-/Suchstufe: Ein Bildpaar – ein Originalbild ( $x$ ) und eine gestörte Version ( $\epsilon(x)$ ) – wird in einen eingefrorenen vortrainierten Merkmalsextraktor (z. B. CLIP oder DINOv2) eingespeist. Die verwendete Störung ist Defokus-Weichzeichnung, die globale semantische Strukturen erhält, während feinkörnige Details abgeschwächt werden. Das System berechnet die Kosinusähnlichkeit zwischen den Embeddings des Original- und des gestörten Bildes über alle Schichten hinweg ( $\ell = 1$ bis $L$ ). Unter Verwendung eines kleinen Teilsatzes gelabelter Trainingsdaten sucht der Algorithmus nach der optimalen intermediären Schicht ( $\ell_{opt}$ ), die den AUROC-Wert bei der Unterscheidung zwischen realen und gefälschten Bildpaaren maximiert.
Inferenzstufe: Sobald $\ell_{opt}$ identifiziert ist, verwendet der Detektor für alle zukünftigen Vorhersagen ausschließlich die Embeddings dieser spezifischen intermediären Schicht. Eine binäre Klassifizierung erfolgt basierend auf einem Ähnlichkeitsschwellenwert $\tau$ : Wenn die Kosinusähnlichkeit $S(x, \epsilon(x), \ell_{opt}) < \tau$ ist, wird das Bild als KI-generiert klassifiziert.

Entscheidend ist, dass die zugrunde liegenden Modellgewichte und die Architektur während des gesamten Prozesses eingefroren bleiben; es findet keine Feinabstimmung oder Gewichtsmodifikation statt. Das „Training" beschränkt sich strikt auf die Suche nach dem optimalen Schichtenindex.

Hauptbeiträge

Überlegenheit der intermediären Schichten: Die Arbeit zeigt, dass intermediäre Schichten reichhaltigere und ausdrucksstärkere Repräsentationen zur Detektion KI-generierter Inhalte enthalten als die finale Ausgabeschicht. Dies wird durch eine intrinsische Dimensionsanalyse (ID) gestützt, die eine „Buckel"-Form der ID über die Netzwerktiefe hinweg aufdeckt (Expansion in frühen Schichten, Kompression in späteren Schichten). Die Autoren argumentieren, dass die komprimierten Dimensionen in der finalen Schicht, obwohl nützlich für nachgelagerte Aufgaben wie die Klassifizierung, die subtilen Nuancen verwerfen könnten, die notwendig sind, um reale von synthetischen Bildern zu unterscheiden.
Suchbasiertes Framework: Die Autoren stellen eine einfache, aber effektive Pipeline vor, die die optimale Detektionsschicht identifiziert, ohne das Grundmodell zu modifizieren, und damit die Lücke zwischen der Verallgemeinerungsfähigkeit trainingfreier Methoden und der Leistungsfähigkeit trainingsbasierter Methoden schließt.
Empfindlichkeit gegenüber Störungen: Die Methode nutzt die unterschiedliche Robustheit von Embedding-Räumen gegenüber Defokus-Weichzeichnung aus und zeigt, dass Embeddings realer Bilder unter Störung eine höhere Ähnlichkeit aufrechterhalten als KI-generierte Embeddings bei bestimmten intermediären Tiefen.

Experimentelle Ergebnisse
Die Methode wurde an zwei umfassenden Benchmarks evaluiert: GenImage und Forensics Small.

GenImage-Benchmark: Die vorgeschlagene Methode erreichte einen durchschnittlichen AUROC-Wert von 0,9296 und übertraf damit die beste trainingfreie Baseline (RIGID, 0,8128) um 14,37 % sowie die beste trainingsbasierte Baseline (AIDE, 0,8992) um 3,38 %.
Forensics-Small-Benchmark: Die Methode zeigte signifikante Verbesserungen und erreichte einen durchschnittlichen AUROC-Wert von 0,8906. Dies entspricht einer Verbesserung von 39,61 % gegenüber der besten trainingfreien Methode (RIGID, 0,6379) und einer Verbesserung von 5,14 % gegenüber der besten trainingsbasierten Methode (NPR, 0,8471).
Ablationsstudien:
- Merkmalsextraktoren: Die Verwendung von CLIP erzielte im Vergleich zu DINOv2 überlegene Ergebnisse, was auf die höhere intrinsische Dimension von CLIP in den intermediären Schichten zurückgeführt wird.
- Störungstypen: Defokus-Weichzeichnung erwies sich als die effektivste Störung, wahrscheinlich weil sie die globale Struktur erhält, während feine Texturen entfernt werden, in denen Fälschungsartefakte häufig vorkommen.
- Suchdatengröße: Ein zufällig gesampelter Teilsatz der Trainingsdaten (30 % der Größe des Testsatzes) war ausreichend, um die optimale Schicht zu identifizieren, wobei die Leistung auch bei kleineren Teilsätzen stabil blieb.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die üblicherweise verwendeten Ausgabe-Embeddings von Grundmodellen für die Detektion KI-generierter Bilder suboptimal sind. Durch die Verlagerung des Fokus auf intermediäre Repräsentationen bieten die Autoren eine Methode, die sowohl rechen-effizient (keine Feinabstimmung des Modells) als auch hochwirksam (übertrifft state-of-the-art trainingsbasierte Methoden) ist.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu einer zuverlässigen Medienforensik, die mit zukünftigen Bildgrundmodellen skalierbar ist. Sie betonen, dass ihr Ansatz keine schädlichen Inhalte erzeugt, sondern vielmehr ein Werkzeug zur Minderung von Risiken bietet, die mit generativer KI verbunden sind, wie etwa Urheberrechtsverletzungen und die Verbreitung gefälschter Inhalte. Die Arbeit legt nahe, dass die „Vielseitigkeit" intermediärer Repräsentationen eine bisher untergenutzte Ressource für Sicherheitsanwendungen in der generativen KI darstellt.