Generating Attribution Reports for Manipulated Facial Images: A Dataset and Baseline

Resumen Técnico: Generación de Informes de Atribución para Imágenes Faciales Manipuladas

1. El Problema

La evolución rápida de los modelos generativos (como los modelos de difusión) ha aumentado significativamente el realismo de las imágenes sintetizadas, planteando graves riesgos de desinformación y violación de la privacidad. Aunque la investigación en detección de falsificaciones (deepfakes) ha avanzado desde la clasificación binaria hacia la localización de falsificaciones a nivel de píxel, existen limitaciones críticas:

• Falta de interpretabilidad: Los métodos actuales suelen generar solo máscaras binarias (píxeles falsos vs. reales) sin explicar por qué una región es manipulada.
• Insuficiencia para la revisión humana: Las máscaras binarias no diferencian entre alteraciones sutiles y significativas, ni proporcionan evidencia descriptiva para que los revisores humanos confíen en los resultados.
• Brecha semántica: No existe un marco que vincule la evidencia visual (dónde está la falsificación) con una explicación lingüística natural (por qué es una falsificación).

2. Metodología Propuesta

Para abordar estas limitaciones, los autores introducen un nuevo paradigma de tarea y un marco unificado.

A. Nueva Tarea: Generación de Informes de Atribución de Falsificación
Se define una tarea multimodal que requiere que el modelo responda simultáneamente a dos preguntas:

1. ¿Dónde? (Localización): Generar una máscara de falsificación a nivel de píxel.
2. ¿Por qué? (Explicación): Generar una descripción en lenguaje natural que explique las inconsistencias visuales (textura, iluminación, anatomía) en las regiones manipuladas.

B. Dataset: MMTT (Multi-Modal Tamper Tracing)
Se presenta el primer dataset a gran escala diseñado específicamente para esta tarea:

• Escala: 152,217 muestras.
• Origen: Construido a partir de 100,000 imágenes faciales de alta calidad (CelebAMask-HQ y FFHQ).
• Tipos de Manipulación: Cubre tres paradigmas principales:
  1. Intercambio de rostros (Face Swapping).
  2. Edición facial (Face Editing): Cambios semánticos (ej. color de ojos, cejas).
  3. Inpainting de imágenes: Relleno de regiones con modelos basados en transformadores y difusión.
• Anotaciones de Alta Calidad:
  • Máscaras: Derivadas programáticamente del proceso de generación, garantizando una alineación perfecta (Ground Truth).
  • Texto: Descripciones escritas por humanos (más de 4 millones de palabras en total) que se centran exclusivamente en las inconsistencias dentro de las regiones manipuladas, siguiendo un pipeline estricto de control de calidad.

C. Modelo: ForgeryTalker
Se propone un marco unificado end-to-end basado en la arquitectura de InstructBLIP, diseñado para el razonamiento cruzado multimodal.

• Arquitectura:
  • Codificador Compartido: Utiliza un Vision Transformer y un Q-Former para aprender representaciones multimodales sensibles a la falsificación.
  • Red de Prompts de Falsificación (FPN): Un módulo auxiliar que identifica regiones salientes y genera "prompts" (palabras clave de regiones) para guiar al modelo hacia las áreas sospechosas.
  • Decodificadores Dúales:
    1. Decodificador de Máscara: Genera la localización pixel a pixel.
    2. Modelo de Lenguaje Grande (LLM): Genera el informe de texto explicativo.
• Estrategia de Entrenamiento (Dos Etapas):
  1. Pre-entrenamiento Sensible a la Falsificación: Se optimizan conjuntamente cuatro objetivos: Modelado de Lenguaje Enmascarado (MLM), Modelado de Lenguaje (LM), Localización de Falsificación (Segmentación) y Alineación Cruzada (Contrastive Learning).
  2. Generación de Informes de Atribución: Se entrena el FPN para predecir regiones y luego se ajusta finamente el decodificador de máscara y el LLM utilizando los prompts generados por el FPN para mejorar la coherencia entre la explicación y la evidencia visual.

3. Contribuciones Clave

1. Nueva Tarea y Dataset (MMTT): El primer benchmark a gran escala que combina localización de falsificaciones con explicaciones textuales detalladas, superando la limitación de las máscaras binarias puras.
2. Marco Unificado (ForgeryTalker): Un modelo que integra la visión y el lenguaje para realizar razonamiento cruzado coherente, permitiendo que la explicación textual esté fundamentada en la evidencia visual local.
3. Validación Exhaustiva: Establecimiento de un nuevo estado del arte (SOTA) en la tarea de informes de atribución, demostrando que la localización y la explicación se benefician mutuamente.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset MMTT y se compararon con modelos de vanguardia (incluyendo InstructBLIP, LISA, SCA y modelos LVLMs generales).

• Generación de Informes (Report Generation):
  • ForgeryTalker obtuvo el puntaje CIDEr más alto (59.3), superando significativamente a InstructBLIP (51.7) y LISA-7B (44.1).
  • También lideró en todas las métricas BLEU y ROUGE-L, demostrando una capacidad superior para generar descripciones precisas y relevantes.
• Localización de Falsificaciones (Forgery Localization):
  • Logró el IoU más alto (73.67) y la Precisión más alta (91.43), superando a modelos especializados como SCA e InstructBLIP.
  • La alta precisión indica que el modelo evita la sobre-segmentación (marcar áreas no manipuladas como falsas), un problema común en otros modelos.
• Estudios de Ablación:
  • La eliminación del módulo FPN causó una caída drástica en el rendimiento (CIDEr bajó de 59.3 a 51.7), confirmando que la identificación de regiones clave es crucial.
  • La etapa de Pre-entrenamiento mejoró el IoU en un 7.8% y el CIDEr en un 4.9%, validando la importancia de aprender representaciones multimodales sensibles a la falsificación antes del ajuste fino.
• Generalización: El modelo mostró un rendimiento competitivo en datasets externos (DQ_F++ y SynthScars) en configuración zero-shot, demostrando su capacidad de generalización.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la forense digital:

• De la Veredicto a la Evidencia: En lugar de simplemente decir "esto es falso", el sistema proporciona la evidencia visual y textual necesaria para que un humano pueda verificar y confiar en el resultado.
• Interpretabilidad: Aborda la "caja negra" de la detección de deepfakes, ofreciendo explicaciones semánticas que son vitrales para aplicaciones legales, periodísticas y de moderación de contenido.
• Recurso para la Comunidad: La liberación del dataset MMTT y el código de ForgeryTalker establece una base sólida para futuras investigaciones en forense multimedia explicable y confiable.

En conclusión, el artículo demuestra que la integración de la localización de píxeles con la generación de lenguaje natural es no solo factible, sino esencial para la próxima generación de sistemas de detección de manipulaciones faciales.