Referee: Reference-aware Audiovisual Deepfake Detection

1. El Problema

Los avances en modelos generativos han permitido la creación de "deepfakes" (falsificaciones digitales) de alta fidelidad que imitan convincentemente el contenido multimodal (video y audio). A pesar de su potencial creativo, esto representa una amenaza significativa para la sociedad.

Las limitaciones de los enfoques actuales de detección incluyen:

• Falta de generalización: Los métodos existentes tienden a sobreajustarse a artefactos espaciotemporales transitorios (como distorsiones de bordes o patrones de frecuencia específicos de un generador), lo que les impide detectar nuevos métodos de manipulación no vistos durante el entrenamiento.
• Vulnerabilidad unimodal: Los métodos basados solo en video son sensibles a oclusiones (manos, micrófonos) y baja resolución, mientras que los basados solo en audio no capturan la desincronización visual.
• Dependencia de artefactos de bajo nivel: Los métodos basados en identidad anteriores a menudo dependen de comparaciones visuales puras o concatenaciones simples de características, lo que lleva a que los modelos aprendan artefactos de síntesis en lugar de características biotrópicas reales.
• Requisitos de datos imprácticos: Algunos enfoques requieren footage de referencia extremadamente largo (más de 5 minutos) o conjuntos de datos masivos externos para funcionar, lo que dificulta su despliegue en el mundo real.

2. Metodología: Referee

El authors proponen Referee, un marco novedoso que detecta deepfakes analizando la inconsistencia de la identidad del hablante y la desincronización audiovisual, utilizando un ejemplo de referencia de "un solo disparo" (one-shot).

La arquitectura se compone de los siguientes módulos clave:

• Extracción de Características Audiovisuales:

  • Utiliza codificadores preentrenados (basados en Synchformer) para extraer representaciones temporales de video y audio.
  • Las secuencias se concatenan con un token separador de modalidad para formar una representación conjunta.

• Módulo de Cuello de Botella de Identidad (IDB - Identity Bottleneck):

  • Diseñado para aislar las señales de identidad de factores transitorios (expresiones faciales, contenido del habla, poses).
  • Emplea un conjunto de consultas de identidad aprendibles (learnable identity queries) que interactúan con las características audiovisuales mediante mecanismos de atención cruzada.
  • Extrae tokens de identidad compactos tanto para el contenido objetivo (target) como para el de referencia (reference).

• Módulo de Emparejamiento de Identidad (ID Matching):

  • Realiza una alineación cruzada entre los tokens de identidad del objetivo y la referencia.
  • Utiliza bloques de atención cruzada donde los tokens del objetivo actúan como Query y los de referencia como Key y Value.
  • Genera tokens de identidad "conscientes de la referencia" que capturan tanto las características intrínsecas como las discrepancias sutiles con la referencia.
  • Incluye una tarea auxiliar de verificación de identidad (con pérdida de entropía cruzada binaria) para asegurar que el modelo aprenda características de identidad robustas y no artefactos superficiales.

• Clasificación de Deepfake:

  • Los tokens de identidad refinados se concatenan con las características audiovisuales originales y el token [CLS].
  • Esta secuencia se procesa a través de un AV-Transformer que integra factores temporales (artefactos, sincronización) con las señales de identidad.
  • El modelo final clasifica el contenido como real o falso basándose en la coherencia biotrópica y la sincronización.

3. Contribuciones Clave

1. Detección Consciente de Referencia: Propone un método que aprovecha la correspondencia audiovisual a nivel de identidad y temporal utilizando un ejemplo de referencia único, en lugar de depender de artefactos de bajo nivel.
2. Módulo IDB y Emparejamiento: Introduce un módulo de cuello de botella de identidad con consultas aprendibles y un mecanismo de emparejamiento cruzado que permite un razonamiento robusto sobre la integridad audiovisual.
3. Generalización Superior: Demuestra que correlacionar explícitamente los priores biotrópicos basados en referencia es una frontera clave para lograr una forense audiovisual generalizada y fiable, superando la dependencia de grandes conjuntos de datos externos.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos principales: FakeAVCeleb, FaceForensics++ (FF++) y KoDF (deepfakes de habla en coreano).

• Evaluación Cross-Dataset (Generalización):

  • En KoDF (evaluación cruzada de idiomas y técnicas no vistas), Referee logró un AUC del 99.4% y un AP del 99.4%, superando significativamente a los estados del arte (SoTA) anteriores.
  • En FaceForensics++, mostró una alta robustez frente a cambios de dominio y técnicas de manipulación no vistas.
  • A diferencia de otros métodos que requieren millones de muestras de entrenamiento (como VoxCeleb2), Referee se entrenó eficazmente con solo 14k clips auténticos.

• Evaluación Intra-Dataset:

  • En FakeAVCeleb, alcanzó un AUC del 99.7% y una precisión del 99.2%, superando a los mejores modelos unimodales y multimodales existentes.

• Robustez y Análisis:

  • Perturbaciones Espaciales: Mantiene un rendimiento estable incluso con recortes aleatorios del 70% y 90% de la imagen.
  • Longitud de Referencia: Funciona excepcionalmente bien con clips de referencia muy cortos (1 segundo), alcanzando un AUC del 99.71%, lo que lo hace viable para escenarios del mundo real.
  • Estudios de Ablación: Confirmaron que tanto el diseño estructural (IDB) como la supervisión de identidad son esenciales para el rendimiento óptimo.

5. Significado e Impacto

El trabajo de Referee representa un cambio de paradigma en la detección de deepfakes:

• De Artefactos a Identidad: Se aleja de la detección basada en artefactos efímeros (que los generadores pueden eliminar fácilmente) hacia la verificación de la coherencia biotrópica (la relación natural entre la voz y la apariencia facial de una persona).
• Eficiencia de Datos: Demuestra que no se necesitan conjuntos de datos masivos externos para aprender priores de identidad universales, haciendo el sistema más escalable y práctico.
• Resiliencia: Al anclar la detección en la consistencia cruzada de modalidades, el modelo es inherentemente más resistente a los rápidos avances de los modelos generativos y a escenarios de "zero-shot" (idiomas o técnicas no vistas).

En conclusión, Referee establece una defensa robusta y eficiente en datos contra manipulaciones digitales cada vez más sofisticadas, ofreciendo una solución generalizable para la forense audiovisual.