Leave No Stone Unturned: Uncovering Holistic Audio-Visual Intrinsic Coherence for Deepfake Detection

Resumen Técnico: HAVIC y el Dataset HiFi-AVDF

1. El Problema

El rápido avance de la Inteligencia Artificial generativa ha permitido la creación de deepfakes (falsificaciones digitales) hiperrealistas que integran tanto audio como video. Esto plantea una amenaza crítica para la seguridad personal y la confianza social. Los detectores de deepfakes existentes presentan limitaciones significativas:

• Dependencia de artefactos específicos: Muchos métodos se basan en huellas dactilares de bajo nivel o distorsiones específicas de un generador concreto (ej. frecuencias periódicas, texturas visuales). Estos enfoques fallan al generalizar ante generadores nuevos o no vistos (cross-generator shift).
• Enfoque unimodal o inconsistencias superficiales: Algunos métodos solo analizan una modalidad (solo video o solo audio), mientras que otros se centran únicamente en inconsistencias obvias como la falta de sincronización labial (lip-sync). Sin embargo, las tecnologías de sincronización han madurado, haciendo que estas inconsistencias sean más difíciles de detectar.
• Falta de benchmarks modernos: Los conjuntos de datos actuales suelen basarse en técnicas antiguas (GANs tempranas, face-swapping) y no reflejan la calidad de los modelos comerciales de última generación (Text-to-Video, Image-to-Video).

2. Metodología: HAVIC

Los autores proponen HAVIC (Holistic Audio-Visual Intrinsic Coherence-based deepfake Detector), un marco de detección que no busca artefactos específicos, sino que se fundamenta en la coherencia intrínseca holística dentro y entre modalidades. El enfoque se basa en tres niveles de coherencia:

1. Coherencia estructural específica de la modalidad: Plausibilidad física dentro del audio o el video por separado.
2. Coherencia micro-intermodal: Alineación precisa a nivel de segmento (ej. fonema y forma de los labios).
3. Coherencia macro-intermodal: Consistencia semántica a nivel de instancia (ej. el audio describe una escena que coincide con el video).

El entrenamiento de HAVIC se divide en dos etapas:

A. Pre-entrenamiento de Priors de Coherencia Holística (HCP)
Se realiza en un gran volumen de videos auténticos sin etiquetas utilizando un enfoque de autoaprendizaje (self-supervised learning) basado en Masked Autoencoders (MAE). Se optimizan tres objetivos conjuntos:

• Pérdida de Reconstrucción Jerárquica Específica de la Modalidad ($L_{rec}$): Reconstruye tokens enmascarados utilizando características jerárquicas del codificador para aprender la coherencia estructural interna de cada modalidad.
• Pérdida Contrastiva Audio-Visual de Alta Granularidad ($L_{cl}$): Divide las características en segmentos temporales y utiliza un mecanismo de "pares negativos suaves" (soft negative pairs) para aprender la alineación temporal y la coherencia micro-intermodal.
• Pérdida de Reconstrucción Semántica Cross-modal ($L_{cross}$): Obliga a una modalidad a reconstruir la representación semántica global de la otra, asegurando la coherencia macro-intermodal.

B. Clasificación con Agregación Adaptativa Holística (HAA)
En esta etapa de ajuste fino (fine-tuning), se eliminan los decodificadores y se utiliza el modelo pre-entrenado para extraer características.

• Se introduce un Módulo de Agregación de Características Adaptativa (A). Este módulo aprende a ponderar dinámicamente las características unimodales jerárquicas y las características de interacción (interaction-aware).
• Esto permite al clasificador adaptar su atención: enfocarse en artefactos de bajo nivel, semántica de alto nivel o discrepancias cruzadas según sea necesario para cada muestra.
• Se utilizan clasificadores auxiliares unimodales para evitar que el modelo dependa excesivamente de una sola modalidad.

3. Contribuciones Clave

1. Marco HAVIC: Un nuevo detector de dos etapas que aprende priors de coherencia intrínseca holística y los utiliza para una agregación adaptativa de características, logrando una detección robusta y generalizable.
2. Dataset HiFi-AVDF: Introducción de un nuevo conjunto de datos de alta fidelidad diseñado específicamente para evaluar la generalización frente a los modelos generativos comerciales más avanzados.
   • Incluye falsificaciones generadas por modelos de Text-to-Video (T2V) e Image-to-Video (I2V) de última generación (Sora 2, Veo 3.1, Kling 2.5, Seedance 1.0, PixVerse V5, WAN 2.5).
   • Contiene 1,905 identidades únicas con audio y video manipulados, reflejando condiciones reales (in-the-wild).
3. Rendimiento Superior: Demostración experimental de que el enfoque basado en coherencia supera a los métodos actuales basados en artefactos, especialmente en escenarios de generalización cruzada.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks: FakeAVCeleb (desempeño intra-dataset), KoDF (generalización cruzada) y el nuevo HiFi-AVDF (generalización a modelos de vanguardia).

• Desempeño Intra-dataset (FakeAVCeleb): HAVIC alcanzó un 99.8% de Precisión (ACC) y 99.9% de AUC, superando a todos los métodos state-of-the-art (SOTA), incluyendo enfoques unimodales y multimodales previos.
• Generalización Cruzada (KoDF): Al entrenar en FakeAVCeleb y probar en KoDF, HAVIC logró un 99.2% de AP y 98.9% de AUC, superando significativamente a métodos como AVFF y RealForensics.
• Desempeño en HiFi-AVDF (El desafío mayor): En este escenario, donde los deepfakes son extremadamente realistas y generados por IA comercial:
  • HAVIC logró un 75.41% de AP y 75.77% de AUC en promedio.
  • Esto representa una mejora de +9.39% en AP y +9.37% en AUC sobre el mejor método existente.
  • Todos los métodos evaluados sufrieron una caída de rendimiento en HiFi-AVDF comparado con KoDF, lo que subraya la dificultad del nuevo dataset, pero HAVIC mantuvo la mayor robustez.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que la detección robusta no debe depender de "huellas" de generadores específicos que desaparecen con la evolución de la tecnología, sino de principios fundamentales de coherencia estructural, temporal y semántica que son inherentes a la realidad.
• Necesidad de Nuevos Benchmarks: La creación de HiFi-AVDF expone la obsolescencia de los conjuntos de datos actuales y establece un nuevo estándar para evaluar la capacidad de generalización de los detectores frente a la IA generativa moderna.
• Robustez: El enfoque de "no dejar piedra sin remover" (analizar coherencia a múltiples niveles) proporciona una defensa más sólida contra manipulaciones cada vez más sofisticadas, aunque el artículo reconoce que la detección de deepfakes de ultra-alta fidelidad sigue siendo un desafío abierto.

En conclusión, HAVIC representa un avance significativo al combinar el aprendizaje de priors de coherencia holística con una arquitectura de agregación adaptativa, ofreciendo la solución más efectiva hasta la fecha para la detección de deepfakes audio-visuales generados por IA de vanguardia.