Attribution-Guided Multimodal Deepfake Detection via Cross-Modal Forensic Fingerprints

1. Declaración del Problema

El avance rápido de la generación de deepfakes audiovisuales (por ejemplo, FaceSwap, Wav2Lip, FSGAN) ha hecho que la detección perceptual sea poco fiable. Aunque la detección multimodal (combinando audio y video) ha mostrado promesa, los enfoques actuales tratan en gran medida el problema como una tarea de clasificación binaria (Real vs. Falso).

• El Problema Central: La optimización exclusivamente binaria alienta a los modelos a aprender "atajos" o artefactos específicos del conjunto de datos (por ejemplo, patrones de compresión, ruido de fondo) en lugar de las trazas generativas subyacentes (huellas dactilares forenses) que distinguen métodos de manipulación específicos.
• La Consecuencia: Los modelos entrenados de esta manera a menudo fallan al generalizar a generadores o conjuntos de datos no vistos porque no han aprendido las características causales de la falsificación.
• La Hipótesis: Si se obliga a un detector a responder la pregunta más difícil de "¿Qué generador produjo esto?" (atribución), aprenderá inherentemente una representación más robusta y forensemente significativa que también resuelve la pregunta más fácil de "¿Es esto falso?".

2. Metodología: El Marco AMDD

Los autores proponen el marco de Detección de Deepfakes Multimodales Guiada por Atribución (AMDD). La innovación central es tratar la atribución del generador no como una tarea final separada, sino como un regularizador estructurado dentro de un espacio de incrustación compartido.

A. Arquitectura

El marco utiliza un codificador de doble flujo con capacidad equilibrada para evitar que la señal de audio sea subutilizada (un defecto común en trabajos anteriores):

• Codificador Visual: Una base ResNet50 con un módulo de Atención Temporal (Atención Multi-Cabeza) para capturar artefactos a nivel de cuadro e inconsistencias temporales.
• Codificador de Audio: Un ResNet18 preentrenado adaptado para espectrogramas de mel. Los autores eligieron deliberadamente una arquitectura profunda (11.4M de parámetros) para igualar la capacidad del codificador visual (25.6M de parámetros), cerrando la "brecha de capacidad del codificador" encontrada en detectores multimodales anteriores.
• Atención Cruzada de Modalidades: Un módulo de atención bidireccional alinea las incrustaciones visuales y de audio, permitiendo que el modelo identifique artefactos correlacionados introducidos por un generador específico en ambas modalidades.
• Cabezas: La incrustación fusionada se pasa a dos cabezas:
  1. Cabeza de Detección: Clasificación binaria (Real/Falso).
  2. Cabeza de Atribución: Clasificación multiclase que identifica el generador específico (o Real).

B. Funciones de Pérdida

El modelo se optimiza conjuntamente utilizando cinco componentes de pérdida:

1. Pérdida de Detección ($L_{det}$): Pérdida focal para clasificación binaria para manejar el desequilibrio de clases.
2. Pérdida de Atribución ($L_{attr}$): Pérdida de entropía cruzada sobre las clases de generadores. Esto actúa como el regularizador principal, forzando al espacio de incrustación a separar muestras por su generador de origen.
3. Pérdida Contrastiva Cruzada de Modalidades ($L_{cont}$): Alinea las proyecciones visuales y de audio de la misma muestra de video.
4. Consistencia de Huella Dactilar Forense Cruzada de Modalidades ($L_{fp}$): Novedad Clave. Esta pérdida impone la alineación entre las representaciones visuales y de audio de muestras del mismo generador. Explota el acoplamiento físico entre la producción del habla y la articulación facial; las cadenas de producción sintéticas a menudo interrumpen esta coherencia, mientras que las grabaciones auténticas la mantienen.
5. Regularización de Centroides ($L_{cen}$): Atrae las incrustaciones hacia sus centroides específicos del generador (actualizados mediante Promedio Móvil Exponencial) para estabilizar la geometría del espacio de incrustación.

3. Contribuciones Clave

1. Aprendizaje Guiado por Atribución: El artículo demuestra que el uso de la supervisión de atribución como regularizador moldea la geometría de la representación hacia características forensemente significativas, incluso cuando la precisión de detección binaria ya es alta.
2. Consistencia de Huella Dactilar Forense Cruzada de Modalidades (CMFFC): Una función de pérdida novedosa que impone explícitamente la alineación entre artefactos de audio y visual para el mismo generador, aprovechando las restricciones físicas del habla y la articulación humana.
3. Diseño de Codificador Equilibrado: Los autores abordan el problema de la "subutilización de audio" en la detección multimodal emparejando un codificador visual ResNet50 profundo con un codificador de audio ResNet18 comparablemente profundo, en lugar de usar CNNs superficiales para el audio.
4. Análisis Exhaustivo: El estudio proporciona una descomposición rigurosa de dónde tiene éxito la generalización (detección de video real) y dónde falla (detección de falsos en generadores no vistos), ofreciendo una explicación mecánica basada en la teoría de adaptación de dominio.

4. Resultados Experimentales

El marco se evaluó principalmente en FakeAVCeleb (que contiene FaceSwap, Wav2Lip y FSGAN) y se probó entre conjuntos de datos en DeepfakeTIMIT, DFDM y LAV-DF.

• Rendimiento Intra-Dominio (FakeAVCeleb):

  • Precisión Equilibrada: 99.7%
  • AUC: 99.8%
  • Precisión de Atribución: 95.9%
  • Detección por Generador: Casi perfecta (100%) para Wav2Lip y FSGAN; 98.2% para FaceSwap.

• Estudios de Ablación:

  • Eliminar la pérdida de atribución hizo que la precisión de atribución colapsara al 11.0% (por debajo del azar aleatorio para 4 clases), mientras que la detección binaria se mantuvo alta (~98.3%).
  • Interpretación: Esto confirma que sin la guía de atribución, el modelo aprende atajos superficiales (artefactos del conjunto de datos) en lugar de huellas dactilares forenses genuinas. La tarea de atribución obliga al modelo a aprender las características "difíciles" necesarias para una detección robusta.

• Generalización entre Conjuntos de Datos:

  • Detección de Video Real: Se generaliza de manera robusta (>92% de precisión) a través de conjuntos de datos no vistos, lo que sugiere que el modelo aprende estadísticas temporales naturales y coherencia audiovisual.
  • Detección de Video Falso: El rendimiento disminuye significativamente en generadores no vistos (por ejemplo, cayendo a ~50% en DFDM). Esto confirma que los métodos basados en huellas dactilares luchan con el cambio de dominio cuando los generadores utilizan cadenas de mezcla fundamentalmente diferentes.

• Visualización:

  • t-SNE: Muestra que el modelo AMDD completo crea clústeres distintos y compactos para cada generador, mientras que los modelos solo binarios colapsan todos los falsos en una única región no estructurada.
  • GradCAM: El modelo se enfoca correctamente en los límites faciales (boca, ojos, barbilla) donde ocurren los artefactos de mezcla, en lugar del ruido de fondo.

5. Significado y Conclusión

• Cambio de Paradigma: El artículo argumenta que la atribución es una restricción geométrica más fuerte que la detección binaria. Al obligar al modelo a distinguir cómo fue falsificado un video, aprende naturalmente a distinguir si fue falsificado.
• Interpretabilidad Forense: Las incrustaciones resultantes no son simplemente "falsas" o "reales", sino que están organizadas por el método de manipulación específico, proporcionando inteligencia procesable para investigadores forenses.
• Limitaciones Honestas: Los autores reconocen transparentemente que, si bien la detección de video real se generaliza bien, detectar falsificaciones de generadores no vistos sigue siendo un desafío abierto. Atribuyen esto a la naturaleza fundamental de la forense basada en huellas dactilares en lugar de una falla de su arquitectura específica.
• Impacto Práctico: AMDD logra un rendimiento de vanguardia sin depender de modelos audiovisuales preentrenados masivos, lo que lo convierte en una solución ligera pero altamente efectiva para la detección y atribución de deepfakes.