Can Image Splicing and Copy-Move Forgery Be Detected by the Same Model? Forensim: An Attention-Based State-Space Approach

Resumen Técnico: Forensim: Un Enfoque de Espacio de Estados Basado en Atención

1. El Problema: La Fragmentación en la Detección de Falsificaciones

Tradicionalmente, la detección y localización de manipulación de imágenes (IMDL) se ha abordado de forma fragmentada. La mayoría de los modelos se especializan en la falsificación por empalme (splicing), donde se insertan elementos de una imagen externa, utilizando máscaras binarias (falsificado vs. prístino) que se centran en detectar artefactos de edición.

Sin embargo, esto presenta dos limitaciones críticas:

1. Falta de contexto de origen: En la falsificación por copia y movimiento (copy-move forgery - CMFD), los elementos se duplican dentro de la misma imagen. Los modelos tradicionales solo detectan el "objetivo" (la zona duplicada), pero ignoran la "fuente" (la zona original), lo que impide una investigación forense completa.
2. Incapacidad de generalización: Los modelos entrenados solo para splicing no suelen funcionar bien para copy-move, y viceversa, debido a que las señales de los artefactos son distintas a las señales de similitud interna.

2. Metodología: El Marco Forensim

Los autores proponen Forensim, un marco unificado que reformula la detección de falsificaciones como un problema de segmentación de tres clases: prístino, fuente y objetivo.

La arquitectura se basa en un Modelo de Espacio de Estados (SSM), específicamente una evolución de la arquitectura Mamba, diseñada para capturar dependencias de largo alcance con una complejidad computacional lineal. Los componentes clave son:

• Similarity State Space Attention (Sim Attn): Este módulo construye una matriz de afinidad explícita para identificar patrones de duplicación dentro de la imagen. Utiliza una normalización de "BiSoftmax" (bidireccional) para asegurar que las regiones similares se resalten mutuamente, permitiendo localizar la "fuente" en casos de copy-move.
• Multi-Level Manipulation State Space Attention (MSSA): Este módulo se enfoca en detectar los artefactos de manipulación (el "objetivo"). Utiliza una atención de múltiples escalas para capturar tanto el contexto global como los detalles locales finos, ayudando a distinguir entre patrones naturales repetitivos y falsificaciones deliberadas.
• Módulo de Fusión (NLR - Non-Local Refinement): Integra las señales de similitud (Sim Map) y las de manipulación (MSSA Map) mediante una agregación ponderada no local, lo que permite que el modelo refine la máscara final basándose en la coherencia semántica de la imagen.

3. Contribuciones Clave

1. Unificación de Tareas: Es el primer marco generalista que utiliza supervisión de tres clases para detectar tanto splicing como copy-move en una sola arquitectura.
2. Arquitectura Basada en SSM: Introduce mecanismos de atención especializados (Sim Attn y MSSA) dentro de un modelo de espacio de estados, logrando un equilibrio óptimo entre precisión y eficiencia (menor uso de memoria que los Transformers tradicionales).
3. Nuevo Dataset (CMFD Anything): Ante la escasez de datos realistas, los autores presentan un nuevo benchmark de alta resolución derivado de Segment Anything, que contiene falsificaciones mucho más complejas y difíciles de detectar que los datasets existentes (como MS-COCO).

4. Resultados y Evaluación

Forensim demostró un rendimiento superior al estado del arte (SOTA) en múltiples frentes:

• En CMFD (Copy-Move): Superó significativamente a modelos como BusterNet y TruFor en métricas de localización (F1-score) y detección (AUC) en los datasets USC-ISI, CoMoFoD y CASIA.
• Generalización: Al ser entrenado con la lógica de tres clases, el modelo generaliza excepcionalmente bien a tareas de splicing y detección de manipulación en datasets de la vida real (NIST16, Columbia, etc.).
• Robustez: El modelo mantiene un alto rendimiento frente a ataques comunes como compresión JPEG, ruido, desenfoque (blur) y perturbaciones de redes sociales.
• Eficiencia: Con 36.7M de parámetros, es más eficiente y ligero que modelos de gran escala como TruFor o SparseViT, manteniendo una mayor precisión.

5. Significado y Conclusión

La importancia de este trabajo radica en su capacidad para proporcionar una herramienta forense completa. Al no limitarse a decir "esta zona es falsa", sino que identifica "esta zona es la fuente y esta es la copia", Forensim ofrece una trazabilidad esencial para combatir la desinformación y las noticias falsas. El uso de modelos de espacio de estados marca un avance hacia una detección de manipulación que es, al mismo tiempo, altamente precisa y computacionalmente escalable.