ForgeryGPT: A Multimodal LLM for Interpretable Image Forgery Detection and Localization

1. El Problema

La proliferación de herramientas de edición de imágenes y modelos generativos (como los basados en difusión) ha aumentado drásticamente la manipulación de contenido visual, generando riesgos de desinformación y evidencia judicial falsa. Aunque existen métodos tradicionales para la Detección y Localización de Falsificaciones de Imágenes (IFDL), estos presentan limitaciones críticas:

• Enfoque de bajo nivel: La mayoría de los métodos actuales se centran en extraer pistas de bajo nivel (artefactos de ruido, inconsistencias de textura) y aprenden representaciones semánticamente agnósticas, ignorando el significado forense de alto nivel.
• Falta de interpretabilidad: Los sistemas existentes suelen emitir solo una puntuación de confianza o una máscara binaria sin proporcionar un proceso de razonamiento explicativo, lo que reduce la confianza del usuario y la responsabilidad.
• Dependencia de umbrales: La mayoría requiere umbrales manuales para distinguir entre imágenes reales y falsas, lo que limita su flexibilidad en diversos escenarios.
• Limitaciones de los MLLM actuales: Aunque los Modelos de Lenguaje Multimodal (MLLM) como GPT-4o tienen capacidades de razonamiento visual, carecen de experiencia forense específica y son insensibles a los artefactos sutiles de manipulación, fallando en la localización precisa.

2. Metodología: ForgeryGPT

ForgeryGPT es un marco novedoso que integra un Modelo de Lenguaje Grande (LLM) personalizado con componentes forenses especializados para realizar detección, localización y razonamiento explicativo sin umbrales manuales.

Arquitectura Principal

El sistema consta de tres componentes clave:

1. Codificador de Imágenes: Basado en CLIP (ViT), proyecta características visuales al espacio de incrustaciones del LLM.
2. Extractor de Falsificaciones Consciente de la Máscara (Mask-Aware Forgery Extractor): Este es el núcleo de la innovación, diseñado para extraer patrones de falsificación a nivel de píxel y generar tokens de máscara. Se compone de:
   • FL-Expert (Forgery Localization Expert): Un módulo basado en CLIP que incluye:
     • Prompt de Falsificación Agnóstico al Objeto (Object-agnostic Forgery Prompt): Utiliza prompts de texto aprendibles que no están atados a objetos específicos, permitiendo al modelo capturar conceptos abstractos de falsificación y generalizar a través de diferentes tipos de manipulación.
     • Codificador de Visión Enriquecido con Vocabulario (Vocabulary-enhanced Vision Encoder): Extiende el codificador de visión de CLIP con una red de vocabulario visual entrenable, enriqueciendo las representaciones con pistas visuales de grano fino para detectar alteraciones sutiles.
     • Fusión: Combina características multiescala y de atención cruzada para generar un mapa de localización preciso.
   • Codificador de Máscara (Mask Encoder): Transforma los mapas de falsificación generados por el FL-Expert en "tokens de máscara" que el LLM puede entender, alineando la información espacial con el espacio semántico del lenguaje.
3. Modelo de Lenguaje Grande (LLM): Procesa los tokens de imagen, texto e instrucción, junto con los tokens de máscara, para realizar el razonamiento, la localización y la generación de respuestas en diálogo.

Estrategia de Entrenamiento (Tres Etapas)

El modelo se entrena mediante un paradigma de tres etapas progresivas:

1. Alineación Imagen-Texto (Pre-entrenamiento): Alinea las representaciones visuales globales con el LLM utilizando el dataset CC3M, manteniendo fijos los pesos del LLM y el codificador de visión.
2. Alineación Máscara-Texto (Pre-entrenamiento específico): Se introduce el Extractor de Falsificaciones. Se utiliza un dataset de pre-entrenamiento masivo (76,013 pares imagen-captión) generado sintéticamente con técnicas de inpainting y repintado local, cubriendo tipos de manipulación como recorte, copia-movimiento y eliminación. El objetivo es alinear las características de las regiones de falsificación con las incrustaciones de texto.
3. Ajuste Fino de Instrucciones Específicas de la Tarea (Instruction Tuning): Se utiliza un dataset de 48,000 diálogos multi-turno (basado en CASIAv2 y Fantastic-Reality) para refinar la capacidad del modelo de seguir instrucciones, realizar localización a nivel de píxel y generar explicaciones coherentes.

3. Contribuciones Clave

1. Primera aplicación de MLLM a IFDL: Propone un marco que no solo detecta y localiza falsificaciones sin umbrales manuales, sino que soporta diálogos interactivos y razonamiento explicativo.
2. Extractor Consciente de la Máscara: Introduce una arquitectura que combina un FL-Expert (con prompts agnósticos y vocabulario visual) y un Codificador de Máscara para una comprensión precisa de los artefactos de manipulación a nivel de píxel.
3. Nuevos Conjuntos de Datos: Desarrolla dos datasets de alta calidad: uno para la alineación Máscara-Texto (con anotaciones generadas por IA) y otro para el ajuste fino de instrucciones, cubriendo múltiples granularidades y tipos de falsificación.
4. Rendimiento Superior y Generalización: Demuestra que el modelo supera a los métodos state-of-the-art (SOTA) y a otros MLLM en múltiples benchmarks, mostrando una fuerte capacidad de generalización incluso en dominios no vistos (como la detección de anomalías industriales).

4. Resultados Experimentales

Los experimentos se realizaron en una amplia gama de conjuntos de datos (CASIA1.0+, Columbia, NIST16, IMD2020, DSO-1, Korus, AutoSplice, OpenForensics).

• Localización de Falsificaciones: ForgeryGPT logró el mejor rendimiento promedio en todos los conjuntos de datos. Destaca en el conjunto IMD2020 (imágenes manipuladas del mundo real) con un AUC del 91.4%, superando significativamente a métodos como DiffForensics, HiFi-Net++ y FAKESHIELD.
• Detección de Imágenes: Obtuvo la mayor precisión (ACC) y puntuación F1 promedio, demostrando robustez frente a diversas técnicas de manipulación.
• Explicabilidad:
  • Métricas Automáticas: Superó a GPT-4o y LLaVA en métricas de coherencia semántica (ROUGE-L, BLEU-4, SPICE, CSS) al generar explicaciones.
  • Evaluación Humana: En una prueba con 100 imágenes, el 81% de los participantes que inicialmente clasificaron una imagen falsa como real, la identificaron correctamente después de leer la explicación de ForgeryGPT. Además, aumentó la confianza de los usuarios en sus propias detecciones.
• Robustez: El modelo mantuvo un alto rendimiento bajo degradaciones comunes (ruido, desenfoque, compresión JPEG), superando consistentemente a los modelos baselines.
• Generalización: Mostró capacidad de transferencia zero-shot en tareas de localización de anomalías industriales (MVTec-AD, VisA).

5. Significado e Impacto

ForgeryGPT representa un cambio de paradigma en la forense digital al integrar la detección técnica de manipulaciones con la capacidad de razonamiento y explicación de los LLMs.

• Transparencia: Resuelve el problema de la "caja negra" en la detección de falsificaciones, proporcionando a los usuarios no solo un "sí/no", sino una justificación detallada y una localización precisa.
• Interactividad: Habilita la creación de sistemas forenses interactivos donde los usuarios pueden hacer preguntas específicas sobre una imagen (ej. "¿Qué objetos han sido manipulados?", "¿Dónde está la falsificación?").
• Confianza: Al mejorar la interpretabilidad y la precisión, el sistema fortalece la confianza en la autenticidad de la información visual, un aspecto crucial en la era de la desinformación generada por IA.

En resumen, ForgeryGPT establece un nuevo estándar para la detección de falsificaciones de imágenes, combinando la precisión pixelada de los métodos forenses tradicionales con la capacidad de razonamiento y diálogo de los modelos de lenguaje modernos.