Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection

1. Planteamiento del Problema

La proliferación de tecnologías de Inteligencia Artificial, especialmente las Redes Generativas Antagónicas (GANs), ha facilitado la creación de "deepfakes" (falsificaciones digitales) hiperrealistas que amenazan la autenticidad de contenidos multimedia en ámbitos como la vigilancia, la biometría y las redes sociales.

El problema central identificado por los autores es la falta de generalización en los métodos de detección existentes (State-of-the-Art o SoTA). La mayoría de estos enfoques se centran exclusivamente en el análisis de la región facial completa (nivel medio) para identificar artefactos. Sin embargo, las manipulaciones de deepfakes a menudo son localizadas (ej. solo los labios en la sincronización de voz, o solo los ojos en ciertos intercambios faciales). Cuando un método entrenado para detectar un tipo de manipulación se enfrenta a otro tipo o a un conjunto de datos no visto, su rendimiento decae drásticamente porque ignora las dependencias inter-regionales y los detalles finos específicos de cada zona facial.

2. Metodología Propuesta: Face2Parts

Los autores proponen un enfoque híbrido novedoso llamado Face2Parts, basado en una Representación de Características Jerárquica (HFR - Hierarchical Feature Representation). La metodología se estructura en tres fases principales:

A. Extracción de Características Jerárquicas (Coarse-to-Fine)

En lugar de analizar solo la cara, el sistema extrae características de múltiples niveles de granularidad:

• Nivel 1 (Coarse): El fotograma completo (Frame), capturando información global y de contexto.
• Nivel 2 (Medium): La región facial recortada (Face).
• Nivel 3 (Fine): Regiones faciales clave extraídas individualmente: labios, ojo izquierdo, ojo derecho y nariz.

Se utilizan codificadores preentrenados (basados en CLIP: ViT-B16, ViT-B32, ViT-L14) para extraer vectores de características de cada una de estas seis regiones.

B. Aprendizaje de Relaciones (Triplet Learning y Atención)

Para explotar las dependencias entre estas regiones, el método emplea:

• Aprendizaje de Tripletes (Triplet Learning): Se entrena una red para aprender a distinguir entre muestras reales y falsas utilizando un enfoque de tripletes (Ancla, Positivo, Negativo). Esto fuerza al modelo a entender las relaciones intrínsecas entre las diferentes partes de la cara.
• Mecanismo de Atención por Canal (CA-MLP): Se introduce un bloque de atención basado en canales dentro de una red neuronal multicapa (MLP). Este mecanismo pondera automáticamente la importancia de cada nivel de características (ej. si los labios son más críticos para detectar una manipulación específica, el modelo les asigna mayor peso), permitiendo al sistema adaptarse a diferentes tipos de falsificaciones.

C. Clasificación

Las representaciones de características discriminativas resultantes se pasan a un clasificador (el estudio encontró que una capa totalmente conectada o Fully Connected funcionó mejor que otros modelos tradicionales) para la predicción final binaria (Real vs. Falso).

3. Contribuciones Clave

• Enfoque Multi-Nivel: Rompe con la convención de analizar solo la cara completa, integrando información desde el contexto global (fotograma) hasta detalles finos (ojos, nariz, labios).
• Generalización Mejorada: Demuestra que capturar las dependencias inter-regionales mediante atención y aprendizaje de tripletes permite que el modelo se generalice mejor a conjuntos de datos y tipos de manipulación no vistos durante el entrenamiento.
• Análisis de Artefactos Localizados: Identifica que diferentes regiones faciales contienen artefactos distintos dependiendo del método de generación del deepfake, y que combinar estas señales es superior a usar una sola.

4. Resultados Experimentales

El método fue evaluado en ocho conjuntos de datos de referencia (FF++, Celeb-DF V1/V2, DFD, DFDC, DTIM, PDD, WLDR) en escenarios intra-dataset, inter-dataset e inter-manipulación.

• Rendimiento General: Face2Parts logró un AUC promedio de 98.42% en FF++, 79.80% en CDF1, 85.34% en CDF2, 89.41% en DFD, 84.07% en DFDC, 95.62% en DTIM, 80.76% en PDD y 100% en WLDR.
• Comparación con SoTA: Superó consistentemente a métodos avanzados recientes (como EfficientB4, Xception, F3Net, CORE, DSM) en escenarios de prueba cruzada (entrenar en un dataset, probar en otro).
• Mejora Específica: En el conjunto de datos PDD (sincronización labial), donde los métodos basados solo en la cara fallaron (64.69%), Face2Parts logró un 81.30%, demostrando su capacidad para detectar manipulaciones localizadas.
• Análisis de Fallos: El estudio visualizó casos de error, atribuyéndolos principalmente a baja calidad de imagen (borrosidad, mala iluminación) que introduce artefactos similares a los sintéticos, o a manipulaciones extremadamente realistas con condiciones de iluminación consistentes.

5. Significancia e Impacto

El trabajo de Face2Parts es significativo porque aborda la principal debilidad de la detección de deepfakes actual: la fragilidad ante la generalización. Al demostrar que la información jerárquica (de lo grueso a lo fino) y las relaciones entre regiones faciales son cruciales, ofrece un marco robusto para detectar falsificaciones generadas por algoritmos desconocidos o manipulaciones parciales.

Aunque el método introduce una sobrecarga computacional debido a la extracción de múltiples regiones, los autores argumentan que el beneficio en precisión y robustez justifica este costo, especialmente en aplicaciones críticas de seguridad y forense digital. El estudio sugiere que el futuro de la detección de deepfakes no reside en modelos más grandes, sino en arquitecturas que comprendan mejor la anatomía y las interacciones locales dentro de la imagen.