SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation

Aquí presento un resumen técnico detallado del artículo "SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation", estructurado según los puntos solicitados.

1. El Problema

El avance reciente en modelos de generación de imágenes de código abierto (como DALL-E 3, Stable Diffusion, Flux) ha permitido la creación de ediciones fotorealistas y controladas. Si bien esto democratiza la creatividad, plantea una amenaza crítica para la integridad de la evidencia visual, especialmente en sistemas de reporte en línea y forense.

El desafío principal identificado es la brecha de dominio entre los conjuntos de datos existentes y las imágenes de vigilancia:

• Limitaciones de los datasets actuales: La mayoría de los benchmarks existentes (como FaceForensics++, CASIA, GenImage) se centran en imágenes centradas en objetos o rostros, con manipulaciones a gran escala o síntesis completa.
• Características de la vigilancia: Las imágenes de vigilancia presentan vistas amplias, sujetos pequeños u ocluidos, calidad visual más baja y manipulaciones que son sutiles, localizadas y específicas del contexto.
• Fallo de los modelos actuales: Los detectores de falsificación entrenados en datos centrados en objetos no logran generalizar a escenarios de vigilancia, degradando significativamente su rendimiento ante manipulaciones localizadas y sutiles.

2. Metodología: SurFITR

Para abordar esta brecha, los autores presentan SurFITR (Surveillance Forgery Image Test Range), un dataset especializado diseñado para la detección y localización de falsificaciones en imágenes de vigilancia.

Estructura del Dataset

• Escala: Contiene más de 137,000 imágenes manipuladas (y sus máscaras de píxeles correspondientes), derivadas de 6 corpora de vigilancia populares (UCF-Crime, NTU-Fight, ShanghaiTech, etc.).
• Tipos de Manipulación: Cubre cuatro operaciones de edición principales:
  1. Eliminación (Removal): Borrar una entidad existente.
  2. Reemplazo Dirigido (Targeted Replacement): Sustituir una entidad por una específica y coherente con el contexto.
  3. Reemplazo Abierto (Open-ended Replacement): Sustituir por un objeto semánticamente relacionado pero no idéntico.
  4. Adición (Addition): Insertar una nueva entidad en la escena.
• Entidades: Manipulaciones aplicadas tanto a humanos como a objetos.
• Generación: Utiliza múltiples modelos de edición de imagen de última generación (SOTA), incluyendo Flux, SD3.5, Qwen-Image, entre otros, para evaluar la generalización cruzada.

Pipeline de Generación Automatizado

El dataset se genera mediante un pipeline impulsado por Modelos de Lenguaje Multimodal (MLLMs) y modelos de "grounding" (anclaje) en tres etapas:

1. Selección de Frames: Un detector de vocabulario abierto (YOLO-World) y un modelo de segmentación (SAM 2.1) localizan objetos. Un MLLM (Qwen2.5-VL) analiza la escena y asigna una puntuación de "valor forense" para seleccionar los frames más adecuados.
2. Generación de Instrucciones: El MLLM genera instrucciones de edición semánticamente fundamentadas. Para reemplazos dirigidos, se utiliza un razonamiento en dos etapas (resumen de escena + sugerencia de sustitución) para asegurar coherencia contextual. Para adiciones, se verifica la plausibilidad física (superficies de soporte, perspectiva) y se ajustan las escalas usando mapas de profundidad.
3. Manipulación Localizada y Composición: La edición se aplica estrictamente dentro de máscaras de píxeles y sus bordes, utilizando modelos de generación de imágenes para rellenar la región y luego compositar la imagen con técnicas de mezcla para mantener la realismo visual.

Control de Calidad

Se implementa un proceso de verificación riguroso:

• Verificación Automatizada: Detectores y MLLMs verifican que la manipulación se haya realizado correctamente (ej. que el objeto eliminado no aparezca).
• Selección de Calidad: Se evalúa el realismo y la detectabilidad en una escala de 10 puntos. Se descartan muestras con bajo realismo o con artefactos demasiado visibles.
• Subconjunto Verificado: Se crea un subconjunto manual (aprox. 5%) para validar la consistencia de la verificación automatizada.

3. Contribuciones Clave

1. Nuevo Dataset Especializado: Introducción de SurFITR, el primer dataset a gran escala diseñado específicamente para la detección y localización de falsificaciones en imágenes de vigilancia, con manipulaciones finas y localizadas.
2. Pipeline Automatizado Semántico: Desarrollo de un pipeline basado en MLLMs que permite la edición semánticamente fundamentada y consciente de la escena a gran escala, superando las limitaciones de las ediciones globales o no contextuales.
3. Evaluación Exhaustiva: Demostración de que los métodos forenses actuales y los MLLMs preentrenados fallan en entornos de vigilancia, y que el entrenamiento en SurFITR mejora drásticamente tanto el rendimiento in-domain como cross-domain.
4. Análisis de Desafíos: Identificación de que la variación de la escena es la principal causa de inestabilidad en la detección, y que el tamaño de la manipulación afecta severamente la localización.

4. Resultados Experimentales

Los autores evaluaron 13 modelos base (detectores forenses CNN/Transformer y MLLMs comerciales) en SurFITR:

• Rendimiento Zero-Shot (Sin entrenamiento en SurFITR):
  • Los modelos existentes mostraron un rendimiento muy pobre. Aunque algunos alcanzaron un AUROC moderado (>0.5), sus puntuaciones F1 fueron extremadamente bajas, indicando una mala calibración y dificultad para detectar falsificaciones sutiles.
  • La localización (P-IoU y P-F1) fue casi nula para la mayoría de los modelos, con puntuaciones cercanas a cero en muchos subconjuntos.
• Entrenamiento en SurFITR:
  • Mejoras Significativas: El ajuste fino (fine-tuning) en SurFITR resultó en mejoras sustanciales. Modelos como PSCC-Net y HiFi-Net alcanzaron AUROC > 0.95 y F1 > 0.90 en el conjunto de prueba in-domain.
  • Generalización: Los modelos entrenados en SurFITR mantuvieron un buen rendimiento en el conjunto Transfer (generado con modelos diferentes), demostrando que aprenden características forenses generalizables y no solo artefactos de un modelo generador específico.
  • MLLMs: Los MLLMs ajustados (Qwen3-VL-8B) lograron un rendimiento comparable a los detectores forenses especializados, sugiriendo que SurFITR es un recurso efectivo para mejorar las capacidades forenses de los modelos de lenguaje multimodal.
• Limitaciones Persistentes: A pesar de las mejoras, persisten brechas en la generalización cruzada entre diferentes escenas y en la localización de manipulaciones muy pequeñas.

5. Significado e Impacto

• Benchmak de Referencia: SurFITR establece un nuevo estándar para evaluar la robustez de los detectores de falsificación en escenarios del mundo real (vigilancia), donde las manipulaciones son sutiles y el contexto es complejo.
• Herramienta de Investigación: Proporciona una base sólida para desarrollar modelos forenses especializados que puedan aprender características invariantes a la escena y realizar localización a nivel de píxel precisa.
• Seguridad y Ética: El dataset está diseñado para defensa y detección, no para facilitar la falsificación. Se distribuye bajo una licencia de investigación exclusiva y se omiten detalles críticos del pipeline de generación para mitigar riesgos de mal uso.
• Futuro: Los resultados subrayan la necesidad urgente de desarrollar modelos que sean robustos ante la variación de escenas y capaces de detectar alteraciones microscópicas en entornos de vigilancia, un área crítica para la seguridad pública y la integridad de la evidencia digital.

En resumen, SurFITR cierra una brecha crítica en la investigación forense digital, proporcionando los datos y el marco necesarios para avanzar desde la detección de falsificaciones obvias hacia la identificación de manipulaciones sofisticadas en sistemas de vigilancia.