Resumen Técnico: Localización Eficiente de la Manipulación de Documentos con Características de Discrepancia Multinivel y Codificación Unificada de DCT–Cuantización

Declaración del Problema

La localización de la manipulación de documentos es una tarea crítica para prevenir el fraude en los flujos de trabajo financieros y administrativos, aunque sigue siendo altamente desafiante. Las manipulaciones suelen estar diseñadas para ser visualmente consistentes, dejando solo rastros sutiles invisibles al ojo humano. Los métodos actuales de vanguardia enfrentan dos limitaciones principales:

1. Mala Generalización entre Dominios: Los modelos entrenados en benchmarks sintéticos suelen fallar al generalizar a falsificaciones hechas por humanos o escenarios de dominio cruzado donde los documentos de origen y los procesos de manipulación difieren significamente. Esto se atribuye en gran medida al "aprendizaje de atajos" (shortcut learning), donde los modelos dependen de artefactos específicos del proceso (por ejemplo, renderizado de fuentes específicas o patrones de textura) en lugar de las inconsistencias fundamentales introducidas por la manipulación.
2. Diseño Ineficiente de la Columna Vertebral (Backbone) de DCT: Si bien el análisis en el dominio de la frecuencia (específicamente la Transformada de Coseno Discreta o DCT) se ha convertido en un estándar, las arquitecturas recientes (por ejemplo, aquellas que utilizan el Cabezal de Percepción de Frecuencia) se han centrado en estrategias de fusión descendente, dejando la columna vertebral del codificador prácticamente sin cambios. Estas columnas vertebrales existentes suelen introducir una carga computacional significativa debido a las expansiones de alta dimensión tempranas y los bloques auxiliares.

Metodología: DiffNet

Los autores proponen DiffNet, una arquitectura de fusión temprana RGB–DCT relativamente simple pero efectiva, diseñada para mejorar el rendimiento entre dominios y la eficiencia computacional. La arquitectura consta de dos innovaciones primarias:

1. Transformación de Discrepancia Multinivel

Para evitar que el decodificador opere sobre activaciones cargadas de contenido bruto y para forzar al modelo a centrarse en las señales de inconsistencia, los autores introducen una transformación ligera aplicada a la salida de cada etapa de la columna vertebral (antes de la fusión multinivel).

• Mecanismo: Esta transformación convierte los mapas de características en respuestas de magnitud únicamente de filtros de suma cero aprendidos.
• Diseño de Filtros: El sistema aprende dos tipos complementarios de filtros:
  • Filtros de suma cero libres: Imponen una restricción de suma cero ($\sum k = 0$) para suprimir el sesgo y enfatizar la discrepancia.
  • Filtros de suma cero anclados al centro: Constriñen el filtro para que actúe como un predictor de vecindad basado en el centro, donde el peso central es la suma negativa de los pesos de los vecinos no negativos.
• Invarianza de Signo: Al tomar el valor absoluto de las respuestas del filtro ($|u_{c,m}(p)|$), la representación captura la fuerza del desajuste independientemente de su signo, creando una representación de discrepancia invariante al signo a través de la pirámide de características.
• Implementación: Para garantizar la eficiencia, los autores implementan un kernel de CUDA personalizado que evita la materialización de kernels restringidos densos durante el entrenamiento, utilizando en su lugar una representación compacta vinculada al centro.

2. Codificación Unificada de DCT–Cuantización

Los autores rediseñan la columna vertebral en el dominio DCT para reemplazar el pesado Cabezal de Percepción de Frecuencia (FPH) por un enfoque más eficiente.

• Codificación Conjunta: Dado que tanto los coeficientes de DCT cuantizados como las entradas de la tabla de cuantización son enteros discretos, el método aprovecha las capas de codificación para mapear cada par coeficiente–cuantización $(\hat{C}_{p,k}, Q_k)$ a una codificación conjunta compacta.
• Componentes: La codificación incluye:
  • Una codificación de coeficiente cuantizado local ($v_{p,k}$).
  • Parámetros de modulación por frecuencia ($\gamma_k, \beta_k$) derivados de la entrada de la tabla de cuantización ($Q_k$), aplicados de manera similar a FiLM.
  • Una codificación de índice de frecuencia aprendida ($f_k$) para identificar la posición de la DCT.
  • Un sesgo de tabla global ($t$) computado a partir de la tabla de cuantización completa para capturar patrones más amplios.
• Eficiencia: Este diseño inyecta la información del índice de frecuencia de forma explícita sin expansiones de alta dimensión tempranas o bloques auxiliares, lo que resulta en una rama de frecuencia ligera.

Resumen de la Arquitectura

DiffNet sigue un diseño de fusión temprana de dos ramas:

1. Rama RGB: Procesa la imagen de entrada utilizando una columna vertebral ConvNeXt-V2 de cuatro etapas.
2. Rama DCT: Codifica los coeficientes de DCT cuantizados y la tabla de cuantización utilizando la propuesta codificación conjunta y una pila compacta de ConvNeXt-V2.
3. Fusión: Las características de la DCT se inyectan en el flujo RGB después de la Etapa 1.
4. Aplicación de Discrepancia: La transformación de discrepancia multinivel se aplica a la salida de cada etapa de la columna vertebral.
5. Predicción: Un módulo de fusión multiescala (estilo FPN) agrega las características transformadas, seguido de bloques de refinamiento y un cabezal de segmentación ligero para predecir la máscara de manipulación.

Contribuciones Clave

1. Transformación de Discrepancia Multinivel: Un mecanismo novedoso aplicado en cada etapa de la columna vertebral que convierte las características en representaciones de discrepancia invariantes al signo mediante filtros de suma cero aprendidos, desplazando el enfoque del decodificador del contenido hacia la inconsistencia.
2. Columna Vertebral de DCT Eficiente: Una codificación conjunta ligera, consciente del índice de frecuencia, para los coeficientes de DCT cuantizados y las tablas de cuantización, proporcionando una fuerte rama de frecuencia sin la sobrecarga de los diseños previos basados en FPH.
3. Estudios de Ablación Extensos: Validación exhaustiva que confirma la contribución de cada componente, incluyendo la necesidad de la restricción de suma cero, el diseño específico de la codificación de DCT y la superioridad de los filtros propuestos sobre las modalidades residuales fijas (por ejemplo, SRM, convoluciones de Bayar).
4. Rendimiento de Vanguardia (State-of-the-Art): La integración de estos componentes produce un nuevo estado del arte para la detección y localización de la manipulación de documentos realizada por humanos.

Resultados Experimentales

Los autores evaluaron DiffNet bajo dos protocolos distintos: el Protocolo Doc (evaluación de dominio cruzado con conjuntos de entrenamiento sintéticos y diversos conjuntos de prueba) y el protocolo Syn2Real-TDoc (entrenamiento en datos sintéticos a gran escala y prueba en conjuntos de datos hechos por humanos).

• Rendimiento de Dominio Cruzado (Protocolo Doc): DiffNet logró un F1 score promedio de 0.515 en los conjuntos de prueba de dominio cruzado (T-SROIE, OSTF, TPIC-13, RTM), superando al mejor anterior (ADCD-Net) por aproximadamente un 30% (0.450 vs. 0.515).
• Rendimiento de Falsificación Hecha por Humanos (Syn2Real-TDoc): En conjuntos de datos hechos por humanos (RTM, FindIt, FindItAgain), DiffNet logró un F1 de nivel de imagen de 0.640 y un F1 de nivel de píxel de 0.304, mejorando sobre el mejor baseline anterior en +0.017 (imagen) y +0.034 (píxel).
• Eficiencia: La arquitectura propuesta es significativamente más rápida que los métodos anteriores. Logra un rendimiento de inferencia de 40.1 it/s y un rendimiento de entrenamiento de 41.9 it/s (a una resolución de 768×768), lo que representa una aceleración de hasta 7× respecto a ADCD-Net y supera a otros baselines de alto rendimiento como FFDN.

Significado y Reivindicaciones

El artículo afirma que DiffNet aborda la brecha crítica en el rendimiento de dominio cruzado al restringir la pirámide de características para que dependa de las señales de inconsistencia en lugar de artefactos específicos del proceso. Al revisar el diseño de la columna vertebral de DCT e introducir una transformación de características impulsada por la discrepancia, los autores demuestran que la simplicidad arquitectónica y las elecciones de diseño dirigidas pueden superar a los modelos complejos y pesados.

Los autores reconocen que, si bien su método proporciona un impulso constante, el rendimiento de la localización en la manipulación hecha por humanos sigue siendo un desafío debido a la escasez de pistas en ediciones fuertemente ocultas y la alta proporción de regiones prístinas en los conjuntos de datos de prueba. Posicionan su trabajo como un paso hacia una generalización más robusta, señalando que las mejoras futuras pueden requerir una generación de datos sintéticos que imite mejor las estrategias de ocultación avanzadas sin introducir nuevos atajos. El código y los pesos preentrenados se ponen a disposición para apoyar la investigación adicional en forense de documentos.