💻 computer science

Deepfake Audio Detection Using Self-supervised Fusion Representations

Dieser Beitrag stellt ein Dual-Branch-Framework zur Deepfake-Erkennung für die ESDD2026-Herausforderung vor, das die vortrainierten Modelle XLS-R und BEATs mit einem Matching-Head und einem Cross-Attention-Mechanismus kombiniert, um Sprache und Umgebungsgeräusche gemeinsam zu analysieren und auf dem CompSpoofV2-Datensatz eine überlegene Leistung zu erzielen.

Ursprüngliche Autoren: Khalid Zaman, Qixuan Huang, Muhammad Uzair, Masashi Unoki

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Khalid Zaman, Qixuan Huang, Muhammad Uzair, Masashi Unoki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden muss, ob eine Aufnahme einer sprechenden Person echt ist oder ein cleverer Fälschungsversuch. In der Vergangenheit hätten Detektive möglicherweise nur auf die Stimme gehört. Doch in der modernen Welt können Bösewichte nicht nur eine Stimme fälschen, sondern auch den Hintergrundgeräuschen (wie Verkehr oder Vogelgezwitscher) separat eine Fälschung unterjubeln. Wenn Sie nur auf die Stimme hören, könnten Sie übersehen, dass die Hintergrundgeräusche verdächtig gefälscht wirken.

Dieser Artikel beschreibt ein neues „Detektivteam", das entwickelt wurde, um diese ausgeklügelten Fälschungen zu entlarven, indem es sowohl die Stimme als auch den Hintergrund gleichzeitig untersucht.

So funktioniert ihr System, aufgeschlüsselt in einfache Konzepte:

1. Die zwei spezialisierten Detektive (Die Dual-Branch-Architektur)

Anstatt einen Generalisten-Detektiv zu engagieren, haben die Autoren zwei Experten eingestellt, die Millionen von Büchern gelesen haben, aber noch keine spezifischen Regeln beigebracht wurden (dies wird als „selbstüberwachtes Lernen" bezeichnet).

Detektiv XLS-R: Dieser Experte ist ein Meister im Verständnis von Sprache. Er weiß, wie menschliche Stimmen natürlich klingen.
Detektiv BEATs: Dieser Experte ist ein Meister im Verständnis von Umgebungsgeräuschen. Er weiß, wie echter Verkehr, Wind oder Raumhall klingen.

Beide hören sich dieselbe Audiodatei gleichzeitig an.

2. Die „Gegenüberstellung" (Cross-Attention)

Normalerweise würden diese beiden Experten in getrennten Räumen arbeiten. Doch dieses System bringt sie in denselben Raum, damit sie miteinander sprechen.

Sie nutzen einen „Cross-Attention"-Mechanismus, der wie ein Dolmetscher funktioniert, der ihnen hilft, ihre Beobachtungen auszutauschen.
Wenn der Stimme-Experte sagt: „Diese Person klingt echt", aber der Hintergrund-Experte sagt: „Aber dieses Windgeräusch klingt wie computererzeugt", markiert das System ein Problem.
Diese Interaktion hilft dem System, Unstimmigkeiten aufzudecken. Eine echte Aufnahme weist normalerweise eine natürliche Harmonie zwischen Stimme und Hintergrund auf. Eine Fälschung hat oft eine Diskrepanz, wie etwa eine in einem Studio aufgenommene Stimme, die über ein gefälschtes Straßenlärm gelegt wurde.

3. Der „Diskrepanz-Prüfer" (Der Matching Head)

Das System verfügt über ein spezielles Werkzeug namens Matching Head. Stellen Sie sich dies als eine Waage vor, die die Unterschiede zwischen den Notizen der beiden Experten gewichtet.

Es nimmt die „Stimm-Notizen" und die „Hintergrund-Notizen", bereinigt sie und vergleicht sie nebeneinander.
Es berechnet statistische Unterschiede (wie etwa, ob die „Vibe" der Stimme zur „Vibe" des Raumes passt).
Wenn die beiden nicht übereinstimmen, signalisiert es, dass das Audio möglicherweise ein „Spoof" (eine Fälschung) ist.

4. Das endgültige Urteil (Drei Ausgaben)

Anstatt nur „Fälschung" oder „Echt" zu sagen, liefert dieses System drei spezifische Berichte:

Ist die Stimme gefälscht?
Ist der Hintergrund gefälscht?
Ist das Ganze eine originale, echte Aufnahme?

Dies ist wichtig, da eine Aufnahme „Echte Stimme + Gefälschter Hintergrund" oder „Gefälschte Stimme + Echter Hintergrund" sein könnte. Das System fängt all diese Kombinationen ab.

Wie gut hat es funktioniert?

Das Team testete ihr System an einem massiven Datensatz namens CompSpoofV2, der über 250.000 Audioschnipsel enthält, die speziell entwickelt wurden, um Detektoren zu täuschen. Diese Schnipsel enthielten verschiedene Kombinationen aus echten und gefälschten Stimmen und Hintergründen.

Das Ergebnis: Ihr neues System war deutlich besser als das vorherige „Baseline"-System (Standard-System).
Die Punktzahl: Es verbesserte die Genauigkeit (F1-Score) um etwa 7–8 %.
Der Hintergrund-Spezialist: Es war besonders gut darin, Fälschungen im Hintergrundgeräusch zu erkennen und reduzierte die Fehlerrate für Umgebungsgeräusche im Vergleich zu älteren Methoden erheblich.

Das Geheimnis: Training mit „Mischen und Kombinieren"

Um die Detektiven scharf zu machen, fütterten die Autoren sie nicht nur mit echten und gefälschten Dateien. Sie schufen ein Trainingsspiel, bei dem sie Audioschnipsel mischten und kombinierten:

Sie nahmen eine echte Stimme und fügten gefälschte Hintergrundgeräusche hinzu.
Sie nahmen eine gefälschte Stimme und fügten echte Hintergrundgeräusche hinzu.
Sie fügten sogar zufälliges Rauschen hinzu (wie eine schlechte Telefonverbindung), um das Training schwieriger zu gestalten.

Dies zwang das System, zu lernen, wie man Fälschungen erkennt, selbst wenn das Audio unordentlich war oder auf seltsame Weise gemischt wurde, was es für den Einsatz in der realen Welt viel robuster machte.

Zusammenfassung

Kurz gesagt, stellt dieser Artikel einen intelligenteren Weg vor, Audio-Deepfakes zu entlarven. Anstatt nur auf die Stimme zu hören, nutzt es zwei KI-Experten, um Stimme und Hintergrund separat zu prüfen, und zwingt sie dann, ihre Notizen zu vergleichen. Wenn Stimme und Hintergrund nicht „miteinander auskommen", weiß das System, dass es sich um eine Fälschung handelt. Dieser Ansatz fing mehr Fälschungen auf und machte weniger Fehler als frühere Methoden, insbesondere wenn das Hintergrundgeräusch manipuliert wurde.

Technischer Zusammenfassung: Deepfake-Audioerkennung mittels selbstüberwachter Fusionsrepräsentationen

Problemstellung
Die jüngsten Fortschritte in der Sprachgenerierung haben die Qualität der Audiosynthese verbessert, aber auch die Erstellung von Deepfakes erleichtert, die zur Identitätsanmaßung und zur Verbreitung von Fehlinformationen genutzt werden können. Während bestehende Erkennungsmethoden Audio häufig als einheitliches Signal behandeln, berücksichtigen sie oft nicht die unterschiedlichen Eigenschaften der zugrundeliegenden Komponenten. In realistischen Szenarien können Sprache und Umgebungsgeräusche unabhängig voneinander manipuliert werden, was latente Inkonsistenzen erzeugt, die von Einzelmodell-Ansätzen schwer zu erfassen sind. Dieser Beitrag adressiert die Environment-Aware Speech and Sound Deepfake Detection Challenge (ESDD2) 2026 und konzentriert sich speziell auf die Erkennung auf Komponentenebene, bei der Sprache und Umgebungsgeräusche unabhängig voneinander echt oder gefälscht sein können.

Methodik
Die Autoren schlagen ein Dual-Branch-Deepfake-Erkennungsframework vor, das darauf ausgelegt ist, Sprach- und kontextuelle Umgebungsrepräsentationen gemeinsam zu modellieren. Die Architektur und die wichtigsten Komponenten sind wie folgt:

Dual Pretrained Encoders: Das System nutzt zwei verschiedene selbstüberwachte Lernmodelle (Self-Supervised Learning, SSL), um komplementäre Repräsentationen aus dem Eingabe-Audio zu extrahieren:
- XLS-R: Wird zur Extraktion sprachbezogener Repräsentationen verwendet.
- BEATs: Wird zur Erfassung von Repräsentationen für Umgebungsgeräusche verwendet.
Bidirektionale Cross-Attention: Um den Informationsaustausch zwischen den beiden Strömen zu ermöglichen, wird ein Multi-Head-Cross-Attention-Modul eingesetzt. Sprachrepräsentationen werden zunächst so projiziert, dass sie die Dimensionalität der Umgebungsrepräsentationen erreichen, bevor sie einer bidirektionalen Interaktion unterzogen werden, was zu verfeinerten Feature-Strömen ( $F^*_{speech}$ und $F^*_{env}$ ) führt.
Komponentenbasierte Klassifizierung: Die verfeinerten Repräsentationen werden durch zwei separate AASIST-Klassifikatoren geleitet, um unabhängig voneinander die Wahrscheinlichkeiten für Fälschungen für den Sprachzweig ( $P_{speech}$ ) und den Umweltzweig ( $P_{env}$ ) vorherzusagen.
Matching Head zur Schätzung der Originalklasse: Ein dediziertes Modul modelliert die Diskrepanzen zwischen den rohen Sprach- und Umgebungsrepräsentationen, um die Wahrscheinlichkeit der „Original"-Klasse zu schätzen. Dies umfasst:
1. Projektion der Repräsentationen in einen gemeinsamen latenten Raum.
2. Anwendung statistischer Pooling-Verfahren (Mittelwert, Maximum, Standardabweichung und $\ell_2$ -Norm) entlang der zeitlichen Dimension.
3. Kombination der Merkmale durch Verkettung, elementweise Multiplikation und Operationen der absoluten Differenz.
4. Verarbeitung des kombinierten Vektors durch ein Feed-Forward-Netzwerk (FFN).
Daten-Augmentierung und Training: Die Trainingsstrategie umfasst aufgabenbewusste Daten-Augmentierung (Mischung aus Original, Verkettung, gewichteter Summation, partiellen und zeitverschobenen Kombinationen) sowie stochastische Rauschinjektion. Um Klassenungleichgewichte zu adressieren, oversamplet ein klassenbewusstes Stichprobenverfahren Minderheitenklassen. Das Modell wird mit einem gewichteten Multi-Task-Loss trainiert (Sprach- und Umweltverluste mit 1,0 gewichtet, Originalklasse mit 0,2) sowie einem regularisierenden Term auf Rangbasis, um Konsistenz zu erzwingen.

Hauptbeiträge

Komponentenbasierte Modellierung: Im Gegensatz zu Methoden, die Audio als Ganzes verarbeiten, entkoppelt dieses Framework Sprach- und Umgebungskomponenten explizit und modelliert sie gemeinsam, um unabhängige Manipulationen zu erkennen.
Dual-SSL-Fusion: Die Integration von XLS-R und BEATs ermöglicht die Extraktion komplementärer kontextueller Repräsentationen und nutzt die Stärken sowohl von Sprach- als auch von allgemeinen Audio-SSL-Modellen.
Hybride Architektur: Die Kombination aus Cross-Attention für die Feature-Interaktion und einem Matching Head für die Diskrepanzmodellierung ermöglicht es dem System, sowohl komponentenbasierte Fälschungswahrscheinlichkeiten als auch die gesamte Originalklasse zu schätzen.
Robustheit gegenüber Inkonsistenzen: Das Design zielt spezifisch auf die Erkennung latenter Inkonsistenzen zwischen manipulierten und echten Komponenten ab und erhöht so die Robustheit gegenüber umgebungsorientierten gefälschten Audiodaten.

Ergebnisse
Das vorgeschlagene System wurde auf dem CompSpoofV2-Datensatz evaluiert, der über 250.000 Audiosamples mit fünf verschiedenen Klassen enthält, die alle Kombinationen aus echten und gefälschten Sprach- und Umgebungsdaten repräsentieren.

Leistung: Auf dem Testset erreichte die vorgeschlagene Methode einen F1-Score von 70,20 % und übertraf das Baselinesystem (63,27 %) um etwa 7–8 %.
Umgebungserkennung: Das System zeigte eine signifikante Reduktion der Environmental Equal Error Rate (EER) mit 16,54 % auf dem Evaluationsset und 18,83 % auf dem Testset, im Vergleich zu 43,36 % bzw. 42,79 % beim Baselinesystem.
Effizienz: Trotz der Komplexität der Dual-Encoder-Architektur wies die Methode eine günstige Recheneffizienz auf und benötigte pro Epoche etwa 1 Stunde im Vergleich zu 4 Stunden für das Baselinesystem, bei gleichzeitiger Beibehaltung überlegener Erkennungsfähigkeiten.
Ablationsstudien: Experimente bestätigten, dass das Entfernen einer beliebigen Komponente (z. B. des Matching Head, der Cross-Attention oder spezifischer Augmentierungsstrategien) zu einer Leistungsverschlechterung führte, was die Notwendigkeit des vollständigen Frameworks validiert.

Bedeutung
Der Beitrag behauptet, dass sein Ansatz eine erhebliche Verbesserung der Mehrklassen-Deepfake-Erkennungsfähigkeit bietet, insbesondere für Szenarien, die umgebungsorientiertes Spoofing beinhalten. Durch den Übergang von der einheitlichen Signalverarbeitung zur Analyse auf Komponentenebene erfasst das Framework die spezifischen Inkonsistenzen besser, die entstehen, wenn Sprache und Umgebungsgeräusche unabhängig voneinander manipuliert werden. Die Ergebnisse zeigen, dass die Integration dualer selbstüberwachter Encoder mit Cross-Attention und einem dedizierten Diskrepanz-Modellierungs-Head einen überlegenen Kompromiss zwischen Erkennungsleistung und Recheneffizienz im Vergleich zu bestehenden Baselinesystemen bietet. Die Autoren schließen, dass dieser Ansatz die Herausforderungen der ESDD2 2026 Challenge effektiv adressiert und eine Grundlage für zukünftige Arbeiten zu fortschrittlichen Fusionsstrategien und Robustheit unter realen Bedingungen legt.