💻 computer science

Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Dieses Paper führt ein Post-hoc-Framework für erklärbare KI unter Verwendung von Encoding-Decoding Direction Pairs (EDDP) ein, um das implizite semantische Vokabular und die Entscheidungsmechanismen von Black-Box-Deepfake-Detektoren aufzudecken und dadurch fundierte, räumlich bewusste Erklärungen bereitzustellen, welche die Einschränkungen bestehender binärer Vorhersage- und oberflächlicher Erklärungsverfahren überwinden.

Ursprüngliche Autoren: Vazgken Vanian, Alexandros Doumanoglou, Dimitris Zarpalas

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vazgken Vanian, Alexandros Doumanoglou, Dimitris Zarpalas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Magic 8-Ball“-Detektor

Stellen Sie sich vor, Sie haben einen Sicherheitswachmann (einen Deepfake-Detektor), dessen einziger Job es ist, ein Foto anzusehen und „Echt!“ oder „Fake!“ zu rufen.

Die aktuelle Situation: Die meisten dieser Wachmänner sind wie ein Magic 8-Ball. Sie geben Ihnen die Antwort, aber sie sagen Ihnen nicht warum. Wenn sie „Fake“ sagen, wissen Sie nicht, ob es daran liegt, dass die Augen seltsam aussehen, die Hauttextur nicht stimmt oder das Licht merkwürdig ist.
Warum das wichtig ist: Im echten Leben (wie etwa vor Gericht) reicht ein einfaches „Schuldig“ oder „Nicht schuldig“ nicht aus. Man muss wissen, welche Beweise zu dem Urteil geführt haben. Aktuelle Methoden, die versuchen, dies zu erklären, deuten oft nur vage auf das gesamte Gesicht hin oder erfinden eine Geschichte, die eigentlich nicht mit dem übereinstimmt, was der Computer gesehen hat.

Die Lösung: Der „Übersetzer“ (EDDP)

Die Autoren dieser Arbeit haben nicht versucht, den Sicherheitswachmann neu zu bauen. Stattdessen haben sie einen Übersetzer gebaut, der die internen Gedanken des Wachmanns lesen kann, nachdem der Wachmann bereits eine Entscheidung getroffen hat.

Sie verwendeten eine Technik namens Encoding-Decoding Direction Pairs (EDDP). Stellen Sie sich das Gehirn des Detektors wie eine riesige Bibliothek unsichtbarer „Konzepte“ vor.

Die Analogie: Stellen Sie sich das Gehirn des Detektors wie einen Koch vor, der tausende von falschen und echten Gesichtern probiert hat. Der Koch kennt den Unterschied, kann aber nicht sprechen. Die EDDP-Technik ist wie ein Übersetzer, der den Koch fragt: „Welche spezifischen Zutaten schmeckst du gerade?“
Das Ergebnis: Der Übersetzer enthüllt das „semantische Vokabular“ des Kochs. Anstatt nur „Fake“ zu sagen, denkt der Detektor tatsächlich über spezifische Dinge nach wie „komischer Mund“, „unnatürliche Haut“ oder „realistische Augen“.

Was sie herausgefunden haben: Das „Vokabular“ der Lügen

Durch die Verwendung dieses Übersetzers entdeckten die Forscher 16 spezifische „Konzepte“ (oder Vokabeln), die der Detektor nutzt, um seine Entscheidung zu treffen. Sie gaben diesen Konzepten Namen basierend auf dem, was sie tatsächlich darstellen:

„Fake-Mund“ & „Fake-Haut“: Der Detektor hat gelernt, dass bestimmte Arten von Fake-Videos oft spezifische Fehler im Bereich des Mundes oder der Hauttextur aufweisen.
„Real-Augen“ & „Real-Nase“: Umgekehrt sucht er nach spezifischen, natürlichen Merkmalen in den Augen und der Nase, um zu bestätigen, dass ein Foto echt ist.
Die „Geister-Konzepte“: Es gibt einige Konzepte, die der Detektor zwar sehen könnte, die er aber ignoriert, weil sie ihm nicht helfen zu entscheiden, ob etwas fake ist oder nicht.

Die große Enthüllung: Der Detektor rät nicht einfach nur; er schaut auf sehr spezifische, winzige Teile des Gesichts (wie die Ecke eines Auges oder die Textur einer Lippe), die Menschen vielleicht übersehen könnten.

Den Beweis erbringen, dass der Übersetzer genau arbeitet

Woher wissen wir, dass dieser Übersetzer nicht einfach etwas erfindet? Die Autoren führten zwei „Stresstests“ durch:

Der „Copy-Paste“-Test (Konzepttransfer):
- Sie nahmen die „Gedanken“ (die spezifischen Konzische Konzepte) aus einem Foto, das der Detektor korrekt als „Fake“ identifiziert hatte.
- Sie „kopierten“ diese Gedanken und „pasteten“ sie in ein Foto einer völlig anderen Person, von der der Detektor dachte, sie sei „Real“.
- Ergebnis: Der Detektor änderte sofort seine Meinung und bezeichnete das neue Foto als „Fake“. Dies beweist, dass der Detektor tatsächlich auf diese spezifischen Konzepte angewiesen ist, um seine Entscheidung zu treffen.
Der „Was-wäre-wenn“-Test (Kontrafaktika):
- Sie nahmen ein Foto, das der Detektor als „Fake“ bezeichnete, und sagten: „Okay, lassen wir mal so tun, als wäre das Konzept ‚Fake-Mund‘ nicht da.“
- Sie entfernten diese spezifische „Zutat“ aus dem Gehirn des Computers.
- Ergebnis: Das Vertrauen des Detektors in das Urteil „Fake“ sank, und er neigte sich in Richtung „Real“.
- Analogie: Es ist, als würde man die „verdächtigen Beweise“ aus der Ermittlungsakte eines Detektivs entfernen. Wenn man den einzigen Grund entfernt, warum der Detektiv glaubte, der Verdächtige sei schuldig, ändert der Detektiv auch sein Urteil.

Das Fazit

Diese Arbeit baut keinen neuen Detektor oder eine neue App. Stattdessen fungiert sie wie ein Röntgengerät für KI-Gehirne.

Sie zeigt uns, dass Deepfake-Detektoren keine mysteriösen Black Boxes sind. Sie suchen tatsächlich nach sehr spezifischen, verständlichen Hinweisen (wie „Fake-Haut“ oder „komische Augen“). Indem sie die interne Mathematik des Detektors in eine für Menschen lesbare Liste von „Vokabeln“ übersetzen, haben die Autoren diese Sicherheitswachmänner viel transparenter und vertrauenswürdiger gemacht.

Erwähnte Einschränkungen in der Arbeit:

Dieser Übersetzer muss für jeden spezifischen Detektor und Datensatz neu „trainiert“ werden. Es ist wie ein Übersetzer, der nur einen ganz bestimmten Dialekt spricht; man kann denselben Übersetzer nicht für eine völlig andere KI verwenden, ohne ihn zuerst neu zu trainieren.
Die Anzahl der „Wörter“ im Vokabular (16 in diesem Fall) wurde von den Forschern festgelegt, was ein wenig eine manuelle Schätzung ist.

Kurz gesagt: Die Arbeit lehrt uns, wie wir die KI fragen können: „Warum dachtest du, das sei fake?“ und eine ehrliche, spezifische Antwort erhalten, die auf den tatsächlichen visuellen Hinweisen basiert, die die KI gefunden hat.

Technische Zusammenfassung: Enthüllung des semantischen Vokabulars von Deepfake-Detektoren

Problemstellung
Die Deepfake-Technologie (DF) stellt eine kritische Bedrohung für die Integrität von Informationen dar, was robuste Detektionsmethoden erforderlich macht. Der vorherrschende Ansatz in der Deepfake-Detektion stützt sich jedoch auf die binäre Klassifizierung (echt vs. gefälscht), der es an der Transparenz und Rechtfertigung mangelt, die für Anwendungen mit hoher Tragweite, wie etwa in Gerichtsverfahren, erforderlich ist. Obwohl die erklärbare Deepfake-Detektion (Explainable Deepfake Detection, XDFD) entstanden ist, um dies zu adressieren, leiden bestehende Techniken unter erheblichen Einschränkungen: Methoden zur räumlich-zeitlichen Lokalisierung erzeugen oft grobe visuelle Belege (z. B. Hervorhebung des gesamten Gesichts statt spezifischer Artefakte), und textuelle Erklärungen lassen häufig eine genaue räumliche Verankerung vermissen oder spiegeln nicht die zugrunde liegenden Beweise des Detektors wider. Darüber hinaus erfordern viele aktuelle XDFD-Ansätze architektonische Modifikationen, zusätzliche Trainingsziele oder menschliche Annotationen, was zu Zielkonflikten zwischen Interpretierbarkeit und Vorhersageleistung führt.

Methodik
Diese Arbeit schlägt ein Post-hoc-Framework für erklärbare KI (XAI) vor, das den Zustand der Technik bei Black-Box-Deepfake-Detektoren analysiert, ohne deren Architektur zu modifizieren oder ein erneutes Training zu erfordern. Der zentrale technische Ansatz nutzt Encoding-Decoding Direction Pairs (EDDP), eine Technik, die auf der Hypothese der linearen Repräsentation basiert.

Konzeptextraktion: Die Methode geht davon aus, dass Konzepte (Merkmale, die auf echte oder gefälschte Bilder hindeuten) innerhalb des latenten Raums des Modells als lineare Kombinationen von Konzept-Embeddings kodiert sind. Durch die Anwendung von EDDP auf die Aktivierungen einer spezifischen Schicht (der 12. Residual-Block eines auf FaceForensics++ vortrainierten Xception-Netzwerks) lernen die Autoren gemeinsam:
- Decoding-Richtungen ( $W$ ): Vektoren, die als Konzept-Detektoren fungieren.
- Encoding-Richtungen ( $S$ ): Vektoren, die die spezifischen Richtungen im latenten Raum repräsentieren, in denen Konzepte kodiert sind.
- Schwellenwerte ( $b$ ): Entscheidungsgrenzen für die Konzeptaktivierung.
Visualisierung und Quantifizierung:
- Concept Presence Maps (CPMs): Binäre Karten, die durch Anwendung von Decoding-Richtungen auf räumliche Patches generiert werden und hochskaliert werden, um anzuzeigen, wo bestimmte Konzepte vorhanden sind.
- Concept Contribution Maps (CCMs): Räumlich bewusste Heatmaps, welche den Einfluss jedes Konzepts auf den finalen Vorhersage-Logit quantifizieren und dabei zwischen bloßer Präsenz und kausaler Beteiligung unterscheiden.
Validierung und Analyse:
- RCAV-Sensitivität: Relative Concept Activation Vector Scores werden verwendet, um zu bestimmen, ob ein Konzept das Modell zur Klassifizierung als „Echt“ oder „Gefälscht“ beeinflusst.
- Semantische Abbildung: Intersection-over-Union (IoU)-Scores bilden abstrakte Konzeptrichtungen auf Grundwahrheits-Gesichtsregionen ab (z. B. Nase, Augen, Mund).
- Faithfulness-Bewertung (Treueprüfung): Die Autoren verwenden Concept Cloning (das Transplantieren von Konzept-Koeffizienten von einer Zielprobe auf eine Quellbasis) und gezielte Interventionen (Hinzufügen oder Entfernen von Konzepten, um Vorhersagen zu kippen), um zu verifizieren, dass die identifizierten Konzepte die primären Treiber der Entscheidung des Modells sind.

Wesentliche Beiträge

Erste Post-hoc-konzeptbasierte XAI für Deepfakes: Dies ist die erste Anwendung von post-hoc, konzeptbasierter XAI speziell im Bereich der Deepfake-Detektion, wodurch die Notwendigkeit eines Modell-Retrainings oder einer Artefakt-basierten Überwachung vermieden wird.
Entdeckung eines semantischen Vokabulars: Die Arbeit deckt erfolgreich ein „semantisches Vokabular“ aus 16 internen Konzepten auf, die vom Detektor gelernt wurden, und bildet abstrakte latente Aktivierungen auf menschlich interpretierbare Merkmale ab (z. B. „fake-mund“, „real-augen“, „fake-hals“).
Globales und lokales Verständnis: Das Framework ermöglicht ein globales Verständnis des Modells, indem es identifiziert, welche Konzepte die Vorhersagen steuern, während CCMs räumlich bewusste, konzeptbasierte lokale Erklärungen liefern, die spezifische Manipulationsartefakte lokalisieren.
Kontrafaktische Analyse: Die Methode ermöglicht „Was-wäre-wenn“-Analysen und demonstriert kausale Beziehungen zwischen spezifischen Konzepten und Modell-Outputs durch systematische Interventionen.

Ergebnisse

Konzeptidentifikation: Die Analyse ergab distinkte Konzepte, die das Modell konsistent in Richtung „Gefälscht“ tendieren lassen (z. B. $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$ ) und andere in Richtung „Echt“ (z. B. $c_0, c_5, c_7, c_8, c_{11}$ ). Einige Konzepte erwiesen sich als nicht diskriminativ.
Semantische Verankerung: Die quantitative Abbildung mittels IoU bestätigte, dass die Konzepte mit spezifischen Gesichtsregionen übereinstimmen (z. B. korreliert $c_5$ mit der Nase, $c_{12}$ mit gefälschten Augen).
Faithfulness (Treue): Das Experiment zum Concept Cloning erreichte eine Genauigkeit von 87,34 % bei der Reproduktion von Zielvorhersagen, und gezielte Interventionen an fehlklassifizierten Proben erreichten eine Erfolgsquote von 99,8 % bei der Korrektur der Modellausgabe. Dies bestätigt, dass die gelernten Konzept-Koeffizienten die wesentlichen Merkmale erfassen, die für die Klassifizierung genutzt werden.
Manipulationsspezifität: Die Studie beobachtete, dass bestimmte Konzepte eine hohe Spezifität für bestimmte Deepfake-Generierungstechniken aufweisen (z. B. sind $c_3$ und $c_9$ in DeepFakes und Face2Face sehr präsent), was darauf hindeutet, dass der Detektor Artefakte lernt, die den spezifischen generativen Prozessen eigen sind.

Bedeutung und Ansprüche
Das Paper behauptet, dass dieser Ansatz ein tieferes Verständnis der Deepfake-Detektionsstrategien ermöglicht, indem er über binäre Vorhersagen hinausgeht und die intrinsischen Merkmale offenlegt, die während des Trainings gelernt wurden. Durch die Verankerung der Klassifizierungslogik in identifizierbaren Gesichtsregionen und die Bereitstellung eines Mechanismus zur Steuerung der Modellvorhersagen ermöglicht die Arbeit transparentere und vertrauenswürdigere Detektionssysteme. Die Autoren betonen, dass ihre Methode eine enge Übereinstimmung zwischen Erklärung und Entscheidungsfunktion bietet und so die Treue verbessert, ohne den operativen Aufwand eines Retrainings oder architektonischer Beschränkungen.

Einschränkungen
Die Autoren räumen bescheiden einige Einschränkungen ein:

Obwohl der Detektor selbst nicht neu trainiert wird, muss das EDDP-Modell dennoch auf dem spezifischen Repräsentationsraum des Zielmodells gelernt werden.
Die Anzahl der Konzepte ist ein manuell definierter Hyperparameter, was das Risiko von Redundanz oder unzureichender Signalstärke birgt, falls sie nicht korrekt gewählt werden.
Die identifizierten Konzepte sind auf die spezifische Modellarchitektur (Xception) und den Datensatz (FaceForensics++) optimiert; sie sind möglicherweise nicht ohne einen separaten Trainingsprozess direkt auf andere Modelle oder Datensätze übertragbar.

Das Problem: Der „Magic 8-Ball“-Detektor

Die Lösung: Der „Übersetzer“ (EDDP)

Was sie herausgefunden haben: Das „Vokabular“ der Lügen

Den Beweis erbringen, dass der Übersetzer genau arbeitet

Das Fazit

Mehr davon