Towards Sustainable Universal Deepfake Detection with Frequency-Domain Masking

Resumen Técnico: Hacia la detección universal y sostenible de deepfakes mediante el enmascaramiento en el dominio de la frecuencia

Planteamiento del problema
La proliferación de imágenes sintéticas generadas por IA, que abarcan desde GAN hasta modelos de difusión, plantea un desafío significativo para la forense digital. Si bien la detección temprana de deepfakes se centraba en arquitecturas de generadores específicos, el campo ha virado hacia la detección "universal", lo que requiere una generalización robusta ante modelos no vistos. Sin embargo, los enfoques actuales de vanguardia (SOTA) dependen en gran medida de modelos preentrenados a gran escala y de una extracción de características compleja, lo que conlleva altos costos computacionales y de consumo energético. Esto entra en conflicto con los principios de la "IA Verde" (Green AI), que aboga por un aprendizaje automático sostenible y eficiente en recursos. Además, dominios especializados (por ejemplo, la acuicultura) dependen cada vez más de datos sintéticos para el entrenamiento, donde las muestras sintéticas de baja calidad o manipuladas pueden propagar errores en aplicaciones críticas. El desafío central es desarrollar una estrategia de detección que logre una fuerte generalización a través de diversos generadores no vistos, manteniendo al mismo tiempo la eficiencia computacional y la resiliencia a la compresión de modelos.

Metodología
Los autores proponen una estrategia de entrenamiento centrada en el Enmascaramiento en el Dominio de la Frecuencia como una forma de aumentación de datos supervisada. A diferencia del modelado de imágenes enmascaradas (MIM) tradicional utilizado para el preentrenamiento autosupervisado, este método aplica el enmascaramiento durante el entrenamiento de clasificación supervisada para forzar al detector a aprender características robustas y generalizables, en lugar de depender de artefactos superficiales específicos del generador.

La metodología involucra tres componentes principales:

1. Enmascaramiento en el dominio de la frecuencia: Las imágenes de entrada se transforman al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT). Se seleccionan y enmascaran (se ponen a cero) bandas de frecuencia específicas (Baja, Media, Alta o Todas) basadas en una tasa de enmascaramiento, mientras que la información de fase se preserva para mantener la consistencia espacial. La imagen se transforma posteriormente de nuevo al dominio espacial para el entrenamiento.
2. Aumentaciones comparativas: El estudio compara sistemáticamente el enmascaramiento de frecuencia contra:
   • Enmascaramiento Espacial: Oclusión a nivel de píxel y de parche en el dominio espacial.
   • Transformaciones Geométricas: Rotación y traslación aleatorias.
3. Análisis de Poda Estructurada: Para evaluar la sostenibilidad y la eficiencia, los autores aplican una poda estructurada por capas (eliminando canales de salida basados en la importancia de la norma L1) a los modelos entrenados. Evalúan si la robustez ganada mediante el enmascaramiento de frecuencia persiste bajo una reducción severa de parámetros (hasta un 80% de poda).

Contribuciones clave

1. Enmascaramiento de frecuencia supervisado: El artículo introduce una novedosa aumentación de entrenamiento que aplica un enmascaramiento aleatorio en el dominio de la frecuencia dentro de un marco supervisado. Este enfoque es distinto de los trabajos previos de MIM que se centran en objetivos de reconstrucción.
2. Comparación empírica de aumentaciones: Los autores proporcionan un análisis exhaustivo comparando el enmascaramiento espacial, las transformaciones geométricas y el enmascaramiento de frecuencia. Demuestran que el enmascaramiento de frecuencia produce capacidades de generalización superiores en comparación con los métodos espaciales o geométricos.
3. Alineación con la IA Verde: El estudio valida que el enmascaramiento de frecuencia mejora la robustez del modelo incluso bajo una compresión significativa de modelos (poda estructurada), ofreciendo una vía hacia detectores de deepfakes ligeros y sostenibles.
4. Validación transdominio: El método se evalúa no solo en benchmarks estándar de GAN y difusión, sino también en un conjunto de datos especializado "FakeFish" para la acuicultura, demostrando su aplicabilidad en dominios donde la calidad de los datos sintéticos es crítica.

Resultados

• Desempeño de Generalización: En los benchmarks estándar (Wang et al., Ojha et al.), el enmascaramiento de frecuencia alcanzó la mayor precisión media promedio (mAP) y el área bajo la curva ROC (AUROC). Específicamente, una tasa de enmascaramiento del 15% aplicada en todas las bandas de frecuencia arrojó resultados óptimos (88.10% mAP, 88.72% AUROC), superando al enmascaramiento espacial y a las transformaciones geométricas.
• Resiliencia a la Poda: Cuando los modelos fueron sometidos a poda estructurada (reducción de parámetros de hasta el 80%), aquellos entrenados con enmascaramiento de frecuencia retuvieron un desempeño significativamente mayor en comparación con las líneas base y aquellos entrenados solo con traslación o rotación. Por ejemplo, en MobileNetv2 con un 50% de poda, el enmascaramiento de frecuencia mantuvo un mAP de 73.15%, mientras que la línea base cayó a 53.95%.
• Mejora del Estado del Arte (SOTA): La integración del enmascaramiento de frecuencia con las arquitecturas (backbones) SOTA existentes (por ejemplo, Wang et al., Gragnaniello et al.) mejoró consistentemente su rendimiento en todos los conjuntos de datos probados, incluyendo modelos de difusión no vistos.
• Dominio Especializado: En el conjunto de datos de acuicultura "FakeFish", el método propuesto superó a trabajos previos por un margen amplio (por ejemplo, 79.84% mAP frente a 73.38% de Wang et al. en imágenes generadas por ControlNet), demostrando eficacia en la detección de datos sintéticos de baja calidad o manipulados en aplicaciones de nicho.
• Estudios de Ablación: El estudio encontró que enmascarar el canal Verde producía un desempeño ligeramente superior que enmascarar el Rojo o el Azul, pero enmascarar todos los canales (RGB) seguía siendo la opción más robusta. Aunque la Transformada de Coseno Discreta (DCT) mostró ganancias marginales sobre la FFT, se mantuvo la FFT por su eficacia establecida en la literatura forense.

Significancia y Reivindicaciones
El artículo sostiene que el enmascariento en el dominio de la frecuencia sirve como un paso práctico y sostenible hacia la detección universal de deepfakes. Al suprimir la dependencia de los artefactos espectrales específicos del generador durante el entrenamiento, el método fomenta el aprendizaje de características estructurales intrínsecas que se generalizan a través de diversas arquitecturas generativas. Los autores enfatizan que este enfoque se alinea con los principios de la IA Verde al permitir la detección de alto rendimiento en modelos comprimidos y con recursos limitados sin sacrificar la generalización. El trabajo sugiere que las representaciones basadas en la frecuencia son particularmente efectivas para identificar medios sintéticos porque capturan los artefactos sutiles y periódicos introducidos por los procesos de sobremuestreo (upsampling) y los pipelines de generación que suelen ser invisibles en el dominio espacial. Los autores concluyen que, si bien el método es prometedor, requiere un ajuste cuidadoso de las tasas de enmascaramiento y puede necesitar una mayor adaptación para video (señales temporales) y escenarios de compresión extrema.