Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes
Dieser Beitrag bewertet die crowdgestützte Erkennung audiovisueller Deepfakes und stellt fest, dass zwar die Aggregation mehrerer Arbeiterurteile die Überprüfung der Videoauthentizität zuverlässig ermöglicht, die Crowdsource-Methode jedoch Schwierigkeiten hat, spezifische Manipulationsarten und Zeitstempel konsistent zu identifizieren, insbesondere bei komplexen Audio-Video-Fällen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Redakteur einer riesigen Nachrichtenredaktion. Plötzlich trifft eine Flut von Videos ein, einige echt und einige „Deepfakes" – Videos, die echt aussehen und klingen, aber heimlich von KI verändert wurden. Ihre Aufgabe ist es, sie zu sortieren. Da Sie jedoch nicht jeden einzelnen allein ansehen können, stellen Sie ein Team von 240 normalen Menschen (eine „Crowd") ein, um Ihnen zu helfen, die Fälschungen zu erkennen.
Dieser Bericht ist das Zeugnis dafür, wie gut dieses Team abgeschnitten hat. Hier ist das Ergebnis, einfach erklärt:
Der Aufbau: Zwei verschiedene „Trainingslager"
Die Forscher haben die Crowd nicht nur einmal getestet; sie führten zwei separate Experimente mit zwei verschiedenen Videosets durch:
- Das „Schwere" Lager (AV-Deepfake1M): Diese Videos waren kurz, knifflig und sehr realistisch.
- Das „Einfachere" Lager (TMC): Diese Videos waren länger und etwas leichter zu entlarven.
In beiden Lagern musste die Crowd für jedes Video drei Dinge tun:
- Die Fälschung erkennen: Ist das echt oder manipuliert?
- Den Betrüger benennen: Wurde das Audio (Stimme), das Video (Gesicht) oder beides manipuliert?
- Den Zeitpunkt festlegen: Wann genau begann die Manipulation?
Die Ergebnisse: Was die Crowd richtig (und falsch) machte
1. Der „Sicherheitsnetz"-Effekt (Forschungsfrage 1)
Die Crowd war hervorragend darin, nicht den falschen Alarm zu schlagen. Wenn ein Video wirklich echt war, nannten die Arbeiter es fast nie eine Fälschung. Sie waren sehr vorsichtig, unschuldige Videos nicht zu beschuldigen.
- Das Problem: Sie waren schlecht darin, die tatsächlichen Fälschungen zu fangen. Es war wie ein Sicherheitsbeamter, der sehr gut darin ist, echte Personen hereinzulassen, aber fast alle Diebe verpasst, die sich einschleichen wollen.
- Der Unterschied: Die Crowd fing im „Einfacheren" Lager (TMC) etwa doppelt so viele Fälschungen wie im „Schweren" Lager. Dies beweist, dass die Art des Videos einen großen Unterschied macht.
2. Die „Herdenmentalität" (Forschungsfrage 2)
Als die Forscher fragten: „Haben alle zugestimmt?", lautete die Antwort: „Nicht wirklich."
- Bei jedem einzelnen Video waren sich die Arbeiter oft uneinig. Eine Person könnte denken, es sei echt, während eine andere es für eine Fälschung hält.
- Wenn man jedoch die Mehrheitsentscheidung trifft (was die meisten sagten), wurde das Signal viel klarer. Es ist wie wenn man einen Raum voller Menschen bittet, das Gewicht einer Kuh zu raten; eine Person könnte völlig danebenliegen, aber der Durchschnitt von 10 Personen ist normalerweise ziemlich nah dran.
- Der Haken: Selbst mit der Mehrheitsentscheidung verpasste die Crowd, wenn das Video eine wirklich knifflige Fälschung war, sie immer noch. Man kann eine Blindstelle nicht einfach beheben, indem man mehr Leute fragt.
3. Der „Blindfleck" bei Details (Forschungsfrage 3)
Dies war der schwierigste Teil. Selbst wenn die Crowd eine Fälschung entdeckte, war sie schrecklich darin zu erraten, wie sie gefälscht wurde.
- Das Durcheinander: Wenn ein Video sowohl eine gefälschte Stimme als auch ein gefälschtes Gesicht hatte, riet die Crowd meist nur auf „gefälschte Stimme" oder „gefälschtes Gesicht" und traf selten die richtige Antwort „beides".
- Der Lichtblick (Zeitstempel): Während sie sich nicht einig waren, was gefälscht wurde, waren sie überraschend gut darin, sich darauf zu einigen, wann es passierte. Wenn sie dachten, ein Video sei gefälscht, konnten sie normalerweise auf denselben 5-Sekunden-Abschnitt zeigen, wo das Seltsame begann.
Das Fazit: Eine Zwei-Schritte-Strategie
Der Bericht schlägt eine praktische Art vor, dieses „Crowd"-System zu nutzen, unter Verwendung einer einfachen Analogie:
Stellen Sie sich die Crowd als einen Metalldetektor am Flughafen vor.
- Schritt 1 (Screening): Der Metalldetektor (die Crowd) ist großartig darin, Tausende von Taschen schnell zu scannen. Er meldet selten eine Tasche, die nichts enthält (wenige Fehlalarme), verpasst aber möglicherweise einige kleine, versteckte Gegenstände (übersehene Fälschungen).
- Schritt 2 (Expertenprüfung): Wenn der Detektor piept, fragen Sie den Detektor nicht, was der Gegenstand ist oder wo genau er sich in der Tasche befindet. Sie senden diese Tasche zu einem menschlichen Experten (oder einer intelligenten KI), die sie öffnet und genau untersucht.
Kurz gesagt: Die Crowd ist ein hervorragender „erster Filter", um offensichtliche Fälschungen zu fangen und verdächtige Videos für Experten zur Prüfung zu markieren. Aber erwarten Sie nicht von ihnen, dass sie als endgültige Richter darüber entscheiden, wie das Video gefälscht wurde, denn das werden sie wahrscheinlich falsch machen.
Eine kleine Warnung
Die Forscher stellten fest, dass einige Arbeiter den Test möglicherweise mit heruntergedrehter Lautstärke begonnen hatten. Da sie das Audio nicht hören konnten, könnten sie „nur Audio"-Fälschungen verpasst haben. Dies ist eine Erinnerung daran, dass selbst bei einer einfachen Aufgabe kleine Details (wie die Lautstärke) die Ergebnisse verändern können.
Das Grundprinzip: Crowdsourcing ist ein nützliches Werkzeug, um zu erkennen, dass „etwas nicht stimmt" in Videos, aber es benötigt Hilfe, um genau herauszufinden, „was genau nicht stimmt".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.