LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

Resumen Técnico: LaP-Forensics

Planteamiento del Problema
Los modelos de IA generativa recientes (por ejemplo, Flux, Stable Diffusion 3.5) han reducido significativamente los artefactos visuales visibles, haciendo que las imágenes sintéticas sean cada vez más coherentes tanto a nivel semántico como local. Esta evolución debilita los detectores forenses y las explicaciones tradicionales que dependen únicamente de las pistas de apariencia superficial. Los enfoques existentes enfrentan una dicotomía: los detectores a nivel de imagen ofrecen una interpretación semántica limitada, mientras que los agentes basados en Modelos de Lenguaje Multimodales Grandes (MLLM) suelen generar explicaciones legibles para los humanos que carecen de fundamentación en evidencia forense explícita. En consecuencia, los modelos pueden producir razonamientos persuasivos pero no sustentados, atribuyendo las predicciones a anomalías aparentes que no están realmente presentes o que no están respaldadas por señales forenses subyacentes. Existe una necesidad crítica de modelos forenses que no solo predigan la autenticidad, sino que también fundamenten sus explicaciones en evidencia explícitamente localizada espacialmente.

Metodología
LaP-Forensics (Latent-Pixel Forensics) es un marco multimodal de doble flujo diseñado para integrar la semántica RGB de alto nivel con pistas de compatibilidad basadas en la reconstrucción. La arquitectura consta de dos componentes principales:

1. Representación Visual de Doble Flujo:

   • Flujo Semántico RGB: Utiliza un codificador CLIP-ViT-L/14 congelado para extraer características a nivel de parche que representan la comprensión de la escena y la semántica de los objetos.
   • Flujo de Consistencia de Píxel Latente: Utiliza un modelo Stable Diffusion v1.5 congelado para realizar una inversión DDIM determinista y una reconstrucción. Este proceso genera una referencia de reconstrucción fija ($\hat{x}$) a partir de la imagen de entrada ($x$). El sistema calcula un mapa de residuo de compatibilidad elemento a elemento ($R = |x - \hat{x}|$). Las regiones con mayores residuos indican una falta de coincidencia con la referencia de reconstrucción, lo que potencialmente expone estructuras sintéticas o editadas.
   • Fusión: Ambos flujos son codificados mediante proyectores independientes y se concatenan en una dimensión de tokens común para el backbone del MLLM (LLaMA-2-7B).

2. Razonamiento Estructurado y Localización:

   • El modelo emplea un paradigma de razonamiento Dónde–Qué–Por qué (Where–What–Why). Genera texto estructurado analizando anomalías observables, relacionándolas con el mapa de consistencia y produciendo un juicio de autenticidad.
   • Para activar la localización de artefactos a nivel de píxel, el modelo emite un token [SEG], que es decodificado por un modelo Segment Anything (SAM) congelado para producir una máscara de artefactos.

3. Entrenamiento en Dos Etapas:

   • Etapa I (Ajuste Fino Supervisado - SFT): El modelo se entrena con datos curados de Cadena de Pensamiento (CoT). La función de pérdida optimiza conjuntamente el modelado de lenguaje (entropía cruzada) y la segmentación de artefactos (Dice y Entropía Cruzada Binaria).
   • Etapa II (Alineación Impulsada por Resultados): Una etapa de Optimización de Política Relativa de Grupo (GRPO) alinea las salidas del modelo con la evidencia. La función de recompensa ($R_{total}$) combina:
     • Recompensa de Máscara ($R_{mask}$): Basada en la Intersección sobre Unión (IoU) con las máscaras de verdad de campo (ground-truth).
     • Recompensa de Formato y Referencia de Evidencia ($R_{format}$): Penaliza estructuras inválidas y recompensa las referencias explícitas al mapa de consistencia y a conclusiones válidas. Crucialmente, este término regulariza la estructura y la referencia del texto, pero no verifica la verdad semántica de las explicaciones de texto libre.

4. Detector Independiente: Un cabezal de clasificación separado a nivel de imagen concatena los tokens [CLS] de ambos flujos (RGB y residuo), optimizado mediante entropía cruzada para la detección binaria.

Contribuciones Clave

• Marco de Doble Flujo: Propone una arquitectura novedosa que integra la semántica RGB con residuos de reconstrucción derivados de DDIM para la detección, el razonamiento y la localización de artefactos conjuntos.
• Protocolo Forense: Introduce un protocolo de razonamiento "Dónde–Qué–Por qué" y un objetivo GRPO que optimiza conjuntamente la calidad de la localización, la estructura de salida y la referencia de evidencia.
• Validación Empírica: Valida la efectividad del flujo de residuo y las decisiones de diseño mediante experimentos extensos en detección de generadores cruzados y localización de artefactos.

Resultados Experimentales

• Localización de Artefactos: En el benchmark SynthScars (protocolo oficial), LaP-Forensics logra un rendimiento competitivo, superando a las líneas base como LEGION, HiFi-Net y TruFor en términos de mIoU y puntuaciones F1 en varias categorías (Humano, Objeto, Animal, Escena).
• Detección de Generador Cruzado: Evaluado en UniversalFakeDetect, el detector independiente logra una alta precisión a través de diversas familias de generadores, incluyendo GANs (97.23%), Difusión (92.18%), CRN (98.98%) e IMLE (98.62%). Demuestra una fuerte generalización, aunque las líneas base especializadas siguen siendo más fuertes para familias específicas como Deepfakes y SAN.
• Estudios de Ablación: Experimentos controlados en un subconjunto curado de SynthScars-CoT confirman que:
  • El flujo de residuo es el componente más crítico; eliminarlo provoca una caída significativa en mIoU (del 72.19% al 61.83%) y F1.
  • La inversión DDIM de múltiples pasos ($T=50$) proporciona un mejor equilibrio entre sensibilidad y fiabilidad que los residuos VAE de un solo paso o los horizontes más largos ($T=100$).
  • La recompensa completa de GRPO (máscara + formato + referencia de evidencia) es necesaria para un rendimiento óptimo; optimizar solo para la calidad de la máscara conduce a salidas inestables.
  • Las intervenciones contrafácticas (poner a cero o intercambiar el mapa de consistencia) degradan significamente el rendimiento, confirmando la dependencia del modelo en el flujo de residuo para las predicciones espaciales.

Significancia y Limitaciones
El artículo afirma que LaP-Forensics hace avanzar el campo al ir más allá de las pistas de apariencia superficial para utilizar señales de compatibilidad basadas en la reconstrucción para una forense explicable. Demuestra que integrar una referencia de reconstrucción fija permite a los modelos razonar sobre dónde ocurren los artefactos y por qué estos sustentan un juicio, fundamentados en un mapa de consistencia específico.

Sin embargo, los autores mantienen una postura modesta respecto a las limitaciones:

• Fidelidad Semántica: La recompensa del lado del texto fomenta la referencia al mapa de evidencia, pero no garantiza la verdad semántica o la fidelidad de las explicaciones de texto libre generadas.
• Robustez: El residuo DDIM está vinculado a una referencia específica de Stable Diffusion y puede verse afectado por el post-procesamiento, ediciones sutiles o texturas naturales de alta frecuencia (por ejemplo, cabello, follaje), lo que podría conducir a una localización espuria.
• Generalizabilidad: El horizonte de inversión óptimo ($T=50$) y las métricas de rendimiento son específicos de los backbones y protocolos evaluados y pueden no generalizarse universalmente a todos los conjuntos de datos o condiciones de post-procesamiento.

El código fuente y los modelos están destinados a su publicación para facilitar la investigación adicional en esta área.