MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection
Dieses Paper führt MADBench ein, den ersten Benchmark, der zwischen Sprache und Umgebungsgeräuschen unterscheidet, um die Deepfake-Erkennung zu bewerten, wobei aufgezeigt wird, dass bestehende Modelle bei beiden Komponenten versagen und die asymmetrische Manipulation von Hintergrundaudio die Erkennung von Sprache beeinträchtigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sehen ein Video eines berühmten Politikers bei einer Rede. Das Video sieht perfekt aus: Die Beleuchtung stimmt, die Kamera ist ruhig und das Gesicht des Politikers bewegt sich natürlich. Aber irgendetwas fühlt sich „falsch“ an. Die Stimme klingt leicht roboterhaft, und die Hintergrundgeräusche – das Rascheln der Blätter, der ferne Verkehr, das Summen der Klimaanlage – klingen so, als wären sie in einem anderen Raum aufgenommen worden. Dies ist die Welt der Deepfakes. Lange Zeit konzentrierten sich Wissenschaftler darauf, die „Face-Swap“-Tricks zu entlarven, bei denen das Gesicht einer Person digital auf den Körper einer anderen Person geklebt wird. Aber jetzt hat sich das Spiel geändert. Der neue Trick besteht nicht darin, das Gesicht zu verändern; es geht darum, den Ton zu verändern.
In dieser neuen Ära können böswillige Akteure ein echtes Video behalten, aber die Stimme und die Hintergrundgeräusche durch computergenerierte Audioaufnahmen ersetzen. Dies erschafft ein „Fake“, das zu 100 % echt aussieht, aber etwas völlig anderes sagt. Die große Frage für Wissenschaftler lautet: Wie entlarven wir diese Audio-Tricks? Die alte Methode, nach Fälschungen zu suchen, behandelte den Ton oft als einen einzigen großen Klumpen und ging davon aus, dass, wenn die Stimme gefälscht war, der gesamte Ton gefälscht war. Aber dieses Paper argumentiert, dass Ton tatsächlich aus zwei sehr unterschiedlichen Zutaten besteht: der Sprache (dem, was gesagt wird) und der Umgebung (den Hintergrundgeräuschen). Genau wie ein Kuchen sowohl Mehl als auch Eier braucht, benötigt ein Video sowohl Sprache als als auch Hintergrundgeräusche, um echt zu klingen. Wenn man eines davon manipuliert, hinterlässt es vielleicht eine andere Art von „Krümel“, als wenn man das andere manipuliert.
Hier kommt MADBench ins Spiel. Stellen Sie sich MADBench wie ein riesiges, superorganisiertes „Finde den Fehler“-Trainingsgym für Computer vor. Die Forscher erstellten einen massiven Datensatz von Videos, bei denen sie das ursprüngliche Videomaterial exakt gleich ließen, aber den Ton auf vier verschiedene Arten austauschten: Sie ließen alles echt, sie fälschten nur die Stimme, sie fälschten nur die Hintergrundgeräusche oder sie fälschten beides. Sie sorgten sogar dafür, dass einige der gefälschten Hintergrundgeräusche zur Szene passten (wie Vogelgezwitscher in einem Park) und einige nicht (wie Verkehrslärm in einer ruhigen Bibliothek), um zu sehen, ob dies die Computer verwirren würde.
Als sie die aktuellen „Champions“ der Fake-Erkennung gegen dieses neue Gym testen ließen, waren die Ergebnisse überraschend. Die Computer, die zuvor darauf trainiert worden waren, Fälschungen zu erkennen, versagten weitgehend; sie konnten keinen Unterschied zwischen echter und gefälschter Audio feststellen. Ein anderer Typ von Computermodell jedoch – eines, das gelernt hatte, Bilder und Töne gemeinsam aus einer riesigen Menge an Daten zu verstehen – schnitt viel besser ab. Aber hier ist die Wendung: Diese smarten Modelle waren viel besser darin, die gefälschten Hintergrundgeräusche zu entlarven als die gefälschte Stimme. Es stellt sich heraus, dass die „Krümel“, die eine gefälschte Stimme hinterlässt, viel schwerer zu finden sind als die Krümel, die ein gefälschter Hintergrund hinterlässt.
Das Paper entdeckte auch etwas Tückisches: Wenn man die Hintergrundgeräusche fälscht, macht es es dem Computer schwerer, die gefälschte Stimme zu entdecken. Es ist, als würde jemand eine laute, gefälschte Sirene in den Hintergrund setzen; es lenkt den Detektiv so sehr ab, dass er die gefälschte Stimme im Vordergrund übersieht. Die Forscher fanden heraus, dass diese smarten Modelle zwar den Unterschied zwischen einer echten Szene und einer gefälschten Szene erkennen konnten (wie zum Beispiel zu wissen, dass eine Sirene nicht in eine Bibliothek gehört), sie aber dennoch Schwierigkeiten hatten, genau zu bestimmen, welcher Teil des Audios die Lüge war.
Kurz gesagt deutet das Paper darauf hin, dass unsere derzeitigen Werkzeuge nicht bereit für diese neue Art der Audio-Trickserei sind. Wir können den Ton nicht mehr einfach als ein einziges großes Ganzes betrachten; wir müssen die Stimme und die Umgebung separat betrachten. Die Studie zeigt, dass wir zwar einige smarte Modelle haben, die erkennen können, wenn der Hintergrund nicht zum Video passt, wir aber noch einen weiten Weg vor uns haben, bevor wir eine gefälschte Stimme zuverlässig entlarven können, besonders wenn sie sich hinter einem gefälschten Hintergrund versteckt. Die Autoren kommen zu dem Schluss, dass wir, um bessere Detektoren für die Zukunft zu bauen, aufhören müssen, Audio als einen einzelnen Stream zu behandeln, und statfangen müssen, die Stimme und die Umgebung als zwei separate Verdächtige zu behandeln, die untersucht werden müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.