Interpretable facial dynamics as behavioral and perceptual traces of deepfakes

Resumen Técnico: Dinámicas Faciales Interpretables para la Detección de Deepfakes

1. Planteamiento del Problema

La detección de deepfakes (medios sintéticos generados por IA) se ha centrado predominantemente en enfoques de aprendizaje profundo (Deep Learning - DL), como Redes Neuronales Convolucionales (CNN) y Recurrentes (RNN). Aunque estos métodos logran un alto rendimiento en benchmarks, presentan limitaciones críticas:

• Falta de interpretabilidad: Funcionan como "cajas negras", ofreciendo poca comprensión sobre qué características específicas diferencian un video real de uno manipulado.
• Desconexión humano-máquina: Existe poca investigación sobre la correspondencia entre las decisiones de los modelos y los juicios perceptuales humanos.
• Dependencia de artefactos espaciales: Muchos métodos se basan en inconsistencias espaciales o de flujo óptico que pueden ser vulnerables a nuevas técnicas de generación.

El estudio propone una alternativa basada en enfoques bio-conductuales, centrados en las desviaciones de las estadísticas naturales del comportamiento humano, específicamente en la dinámica facial temporal.

2. Metodología

A. Datos y Preprocesamiento:

• Dataset: Se utilizó una submuestra del conjunto de datos Google DeepFakeDetection (parte de FaceForensics++), que contiene videos de intercambio de caras (face-swapping) generados con el autoencoder DeepFakes.
• Extracción de Características: Se extrajeron intensidades de Unidades de Acción (AU) del sistema de codificación facial (FACS) utilizando OpenFace 2.0. Se procesaron 17 AUs continuos.
• Reducción de Dimensionalidad (NMF): Se aplicó Factorización de Matrices No Negativas (NMF) a las series temporales de las AU para identificar patrones fundamentales de movimiento facial coordinado. Se seleccionó un modelo de 3 componentes óptimos:
  1. Componente 1: Patrón de la parte inferior (elevación de mejillas y esquinas de los labios).
  2. Componente 2: Configuración inferior (elevación de mentón, depresión de esquinas de los labios).
  3. Componente 3: Patrón de la parte superior (elevación de cejas y retracción de párpados).

B. Ingeniería de Características:

• En lugar de usar las activaciones de los componentes NMF directamente (que pierden información fina), se seleccionó la AU con la mayor carga en cada componente como proxy representativo (AU01, AU12, AU17).
• De estas series temporales, se extrajeron 111 métricas temporales utilizando el paquete CMFTS (Complexity Measures and Features for Time Series). Estas métricas cuantifican la suavidad, el ritmo, la variabilidad y la predictibilidad de la velocidad y aceleración del movimiento muscular (orden superior), no solo la magnitud.
• Selección de Características: Se utilizó el algoritmo Boruta para identificar un subconjunto parsimonioso de características importantes. Se confirmaron 8 características estadísticamente relevantes.

C. Modelado y Evaluación:

• Se entrenaron cuatro clasificadores tradicionales (interpretables) en un conjunto de entrenamiento (n=370) y se evaluaron en un conjunto de prueba (n=94):
  • Regresión Logística (línea base lineal).
  • Árboles de Decisión Boosted (C5.0).
  • Random Forest (ensamble).
  • Máquinas de Soporte Vectorial (SVM).
• Análisis de Emoción: Los videos se dividieron en dos subconjuntos: con expresiones emocionales ("Emotion") y sin ellas ("No Emotion").
• Análisis de Valencia: Se entrenó un modelo exclusivamente con videos reales para predecir la valencia emocional (positiva, neutral, negativa) y se evaluó su capacidad de generalización a videos falsos.
• Experimento Humano: Se realizó un estudio perceptual con 89 participantes que evaluaron videos presentados como Puntos de Luz (Point Light Displays), aislando únicamente la dinámica temporal facial sin textura ni artefactos visuales.

3. Contribuciones Clave

1. Firma Conductual Interpretativa: Demostración de que los deepfakes de intercambio de caras dejan una "huella digital" medible en la dinámica temporal facial, específicamente en la irregularidad de orden superior (predictibilidad y suavidad de la aceleración/velocidad), en lugar de en la magnitud del movimiento.
2. Dependencia de la Emoción: Identificación de que la señal de detección es contexto-dependente. La detección es significativamente más precisa en videos con expresiones emocionales que en aquellos sin ellas.
3. Degradación Selectiva: Evidencia de que el proceso de face-swap degrada sistemáticamente la estructura de las dinámicas faciales emocionales, haciéndolas más detectables, mientras que las expresiones neutras son menos afectadas o incluso más "clasificables" por el modelo.
4. Convergencia y Divergencia Humano-Máquina: Análisis detallado que muestra que, aunque humanos y modelos coinciden en sus etiquetas finales para videos emocionales, utilizan estrategias de detección divergentes. Los humanos no son sensibles a las mismas características temporales que impulsan al modelo.

4. Resultados Principales

• Rendimiento del Modelo: El clasificador Random Forest logró un rendimiento moderado pero significativo por encima del azar en el conjunto de prueba general:

  • ROC-AUC: 0.694.
  • Precisión (Accuracy): 66.0%.
  • MCC (Coeficiente de Correlación de Matthews): 0.322.
  • Los modelos no lineales superaron consistentemente a la regresión logística, indicando que la señal es una combinación compleja de características temporales.

• Efecto de la Emoción:

  • Videos Emocionales: Precisión del 72.4% (significativamente por encima del azar).
  • Videos Sin Emoción: Precisión del 55.6% (no significativa, cerca del azar).
  • El modelo tiende a clasificar los videos sin emoción como falsos (alta tasa de falsos positivos) debido a la debilidad de la señal.

• Degradación de la Valencia:

  • Un modelo entrenado solo con reales para clasificar valencia obtuvo una precisión del 59.6% en reales, pero cayó al 51.1% en falsos.
  • La sensibilidad para emociones positivas y negativas disminuyó drásticamente en los videos falsos, mientras que la sensibilidad para expresiones neutras aumentó, confirmando que el face-swap altera la coordinación muscular fina necesaria para las emociones.

• Comparación Humano-Máquina:

  • Convergencia: En videos emocionales, hubo un acuerdo significativo entre humanos y modelo (81.2%).
  • Divergencia Estratégica: El análisis de características reveló que los humanos no utilizan las mismas métricas temporales (autocorrelación de velocidad/aceleración) que el modelo. Los humanos dependen más de medidas de entropía y dependencias temporales de largo alcance.
  • Predicción Humana: Los modelos entrenados para predecir juicios humanos tuvieron un rendimiento modesto (59.7% en validación cruzada LOPO), sugiriendo que las estrategias humanas son altamente específicas del estímulo o variables entre observadores.

5. Significado e Implicaciones

• Interpretabilidad Forense: Este enfoque ofrece una ruta de detección transparente donde las características utilizadas (movimiento de cejas, labios, mentón) son directamente observables y comprensibles por humanos, crucial para contextos legales y forenses.
• Complementariedad: Los resultados sugieren que la detección humana y la computacional no son redundantes, sino complementarias. Mientras los modelos detectan irregularidades cinemáticas sutiles, los humanos pueden ser sensibles a otros aspectos perceptuales. Esto apoya el desarrollo de sistemas de detección "human-in-the-loop".
• Límites de la Generación: El estudio revela una vulnerabilidad inherente en los autoencoders de intercambio de caras: su incapacidad para replicar fielmente la coordinación espaciotemporal compleja de las expresiones emocionales humanas.
• Futuro: Aunque el rendimiento absoluto (66%) es inferior a los métodos de DL de última generación (que a menudo superan el 90%), este estudio prioriza la explicabilidad sobre la precisión bruta. Los principios aprendidos podrían usarse para explicar o mejorar modelos de caja negra más potentes.

En conclusión, el paper establece que la dinámica facial temporal contiene una firma bio-conductual distintiva en los deepfakes, especialmente durante la expresión emocional, y que la integración de modelos interpretables con la percepción humana ofrece una vía prometedora para sistemas de detección más robustos y confiables.