Resumen Técnico: Hacia una Detección de Deepfakes Calibrada, Justa y Precisa

Planteamiento del Problema

Los detectores de deepfakes exhiben actualmente disparidades de rendimiento significativas entre grupos demográficos. Aunque la precisión agregada puede parecer alta, subgrupos específicos (por ejemplo, mujeres, hombres africanos o tonos de piel más oscuros) sufren tasas de falsos positivos (FPR) sustancialmente más altas o tasas de verdaderos positivos (TPR) más bajas. Estas brechas plantean riesgos de despliegue severos: los sistemas de moderación de contenido pueden marcar erróneamente videos auténticos de grupos minoritarios como falsos, y los sistemas de verificación de identidad pueden fallar con mayor frecuencia para ciertos grupos demográficos. Además, los adversarios pueden explotar estos puntos ciegos para atacar a poblaciones vulnerables con deepfakes que evaden la detección.

Las estrategias de mitigación existentes enfrentan limitaciones críticas para el despliegue práctico:

• Pre-procesamiento: El balanceo de datos o la generación sintética a menudo descartan muestras valiosas, requieren un esfuerzo manual significativo y sufren de brechas de dominio cuando se utilizan datos sintéticos.
• In-processing (Procesamiento interno): Los métodos que modifican los objetivos de entrenamiento (por ejemplo, pérdidas de equidad o reponderación) suelen requerar el reentrenamiento completo del modelo y etiquetas demográficas explícitas, las cuales a menudo no están disponibles en entornos de producción.
• Post-procesamiento: Los métodos de ajuste de umbral existentes suelen requerir etiquetas de grupo durante la inferencia o sacrifican la precisión general para lograr la equidad. Además, los métodos ajustados para conjuntos de datos específicos suelen fallar al generalizarse a generadores no vistos.

Existe una falta de soluciones que sean libres de etiquetas demográficas, libres de reentrenamiento y capaces de mejorar tanto la equidad como la precisión general simultáneamente.

Metodología: El Marco de Trabajo Face-Fairness (FF)

Los autores proponen Face-Fairness (FF), un marco de trabajo plug-and-play compuesto por tres variantes diseñadas para mitigar el sesgo sin reentrenar el detector base ni requerir anotaciones demográficas.

1. Face-Feature Tuning (FFT)

FFT es la contribución principal y el primer método de equidad libre de etiquetas demográficas para la detección de deepfakes.

• Perspectiva central: Los embeddings faciales preentrenados (por ejemplo, de ArcFace) codifican implícitamente patrones visuales correlacionados con los fallos del detector. Estos embeddings sirven como sustitutos (proxies) de los atributos protegidos sin requerir etiquetas explícitas.
• Mecanismo: FFT emplea un MLP (Perceptrón Multicapa) ligero de dos capas que actúa como un calibrador condicional. Toma la concatenación de la salida del logit del detector base congelado ($Z(x)$) y el embedding facial congelado ($\phi(x)$) como entrada.
• Función: El MLP aprende un mapeo no lineal para remapear los logits ($\tilde{Z}(x)$), aprendiendo efectivamente una corrección residual $r_\psi(\phi(x), Z(x))$. Esto permite que el modelo ajuste los límites de decisión condicionalmente basados en el espacio de embeddings, corrigiendo sesgos sistemáticos en "vecindarios" específicos del espacio de características mientras preserva decisiones fiables en otros lugares.
• Entrenamiento: El detector base y el codificador facial permanecen congelados. Solo el MLP ligero se entrena utilizando un conjunto de validación mantenido aparte mediante entropía cruzada binaria.

2. FF-Max (Optimización de Umbral Condicional por Grupo)

Esta variante se utiliza cuando las etiquetas demográficas están disponibles durante la calibración y la inferencia.

• Mecanismo: Aprende umbrales de decisión específicos de grupo ($t_g$) para maximizar la precisión del peor grupo.
• Optimización: Resuelve un problema de optimización max-min: $\max_{t} \min_{g} \text{Acc}_g$. Los umbrales se enumeran en una cuadrícula y se fijan para el tiempo de prueba basándose en etiquetas de grupo conocidas.

3. FF-Discover (Umbralización Justa Basada en Clustering)

Esta variante opera sin ninguna etiqueta demográfica.

• Mecanismo: Descubre grupos latentes aplicando K-means al clustering de los embeddings faciales normalizados en L2.
• Optimización: Similar a FF-Max, aprende umbrales específicos de clúster para maximizar la precisión mínima a través de los clústeres descubiertos. El número de clústeres ($K$) se selecciona mediante el análisis de silueta.

Principales Contribuciones

1. FFT (Face-Feature Tuning): Un método de post-procesamiento novedoso, libre de etiquetas y libre de reentrenamiento que mejora tanto la precisión del peor grupo como la precisión general al aprender un calibrador condicional sobre embeddings faciales congelados.
2. FF-Max y FF-Discover: Dos variantes prácticas que optimizan la precisión del peor grupo utilizando ya sea etiquetas explícitas (FF-Max) o clústeres latentes derivados de embeddings (FF-Discover), sirviendo como bases sólidas para escenarios de despliegue donde el entrenamiento de redes neuronales es una barrera.
3. Agnosticismo del Detector: El marco es compatible con cualquier arquitectura de detector de deepfakes (demostrado en Xception y MobileNetV3-Small) y añade un gasto computacional de tiempo de ejecución insignificante.
4. Complementariedad: El marco puede apilarse con métodos de equidad de in-processing existentes para corregir sesgos residuales que sobreviven al entrenamiento orientado a la equidad.

Resultados Experimentales

Los autores evaluaron el marco en OpenForensics (en el dominio) y FaceForensics++ (FF++) (trans-dataset, dejando un tipo de manipulación fuera) utilizando las arquitecturas Xception y MobileNetV3-Small.

• Rendimiento en el Dominio (OpenForensics):

  • FFT redujo consistentemente las brechas de la Tasa de Falsos Positivos (FPR) y la Tasa de Verdaderos Positivos (TPR) a través de 14 grupos de género/etnia.
  • Mejoró la Precisión del Peor Grupo (WGA) mientras aumentaba simultáneamente la precisión general (Acc@0.5) y el AUC.
  • En MobileNetV3-Small, FFT logró el mejor AUC (0.9919) y WGA (0.9395) entre los métodos de post-procesamiento, sin presentar un "descenso de nivel" (es decir, ningún grupo sufrió degradación de precisión respecto al baseline).
  • FFT superó a otros baselines de post-procesamiento (Fair-FLIP, BPFA) e igualó o superó a los métodos de in-processing (DAG-FDD, DAW-FDD) en métricas de equidad sin requerir reentrenamiento.

• Rendimiento Trans-Dataset (FF++ Leave-One-Out):

  • En el desafiante escenario de dejar uno fuera (F2F), donde los detectores suelen colapsar hacia el azar, FFT aumentó significamente la precisión de casi el azar (0.4140) a 0.6392 en Xception.
  • Mientras que algunos métodos alternativos mostraron brechas de equidad reducidas, los autores argumentan que esto se debió a que las predicciones colapsaron hacia puntuaciones no discriminativas (regresión al azar). FFT fue el único método de post-procesamiento en lograr ganancias de precisión por encima del azar mientras mejoraba la utilidad.
  • FF-Discover logró el WGA más alto (0.4800) entre todos los métodos en este escenario, demostrando que los clústeres derivados de embeddings capturan la estructura crítica para la equidad incluso sin etiquetas.

• Calibración:

  • Las curvas de calibración mostraron que FFT redujo sustancialmente el Error de Calibración Esperado (ECE) en comparación con el baseline y otros métodos de post-procesamiento, que a menudo degradan la calibración.

Significación y Reivindicaciones

El artículo afirma que Face-Feature Tuning (FFT) ofrece una solución novedosa al desafío de despliegue de la detección de deepfakes al lograr la equidad sin etiquetas demográficas, sin reentrenamiento y sin sacrificar la precisión.

• Practicidad: El método es altamente práctico para organizaciones que utilizan modelos base comerciales, ya que no requiere acceso a los componentes internos del modelo, no requiere anotaciones demográficas y tiene un gasto computacional mínimo.
• Privacidad: Al evitar la necesidad de etiquetas demográficas explícitas, FFT es particularmente valioso en contextos sensibles a la privacidad donde la recolección de tales datos es legal o éticamente problemática.
• Mecanismo: La efectividad proviene de la capacidad de los embeddings faciales para proporcionar información demográfica continua y rica que captura variaciones sutiles más allá de las categorías discretas, permitiendo que el calibrador aprenda correcciones no lineales para interacciones complejas entre la apariencia y el comportamiento del detector.
• Limitaciones: Los autores señalan modestamente que el método asume que los embeddings faciales codifican suficientemente la información demográfica, lo cual podría no cumplirse en imágenes con mucha oclusión o de baja calidad, y requiere un conjunto de calibración representativo.

En conclusión, el trabajo demuestra que aprovechar la estructura de los embeddings faciales preentrenados permite corregir los sesgos sistemáticos en los detectores de deepfakes, permitiendo un despliegue más equitativo y preciso en escenarios del mundo real.