Leveraging Prior Knowledge of Diffusion Model for Person Search

Resumen Técnico: DiffPS (Conocimiento Previo de Difusión para la Búsqueda de Personas)

Planteamiento del Problema
La búsqueda de personas involucra las tareas conjuntas de detectar peatones en imágenes de escenas no recortadas y re-identificarlos (re-ID) frente a una consulta. Los métodos actuales de vanguardia dependen predominantemente de backbones pre-entrenados en ImageNet (por ejemplo, ResNet50, ConvNeXt) y comparten un único flujo de características de backbone tanto para la detección como para la re-ID. Este enfoque presenta dos limitaciones críticas:

1. Representación de Características Subóptima: Los backbones de ImageNet están entrenados para el reconocimiento a nivel de categoría en imágenes con objetos dominantes únicos y fondos simples. En consecuencia, tienen dificultades para capturar las pistas de localización precisas y las características discriminativas a nivel de instancia requeridas para la búsqueda de personas en escenas complejas y desordenadas con individuos superpuestos.
2. Conflicto de Optimización: Compartir un backbone para dos objetivos fundamentalmente diferentes —detección (distinguir humanos del fondo) y re-ID (distinguir identidades específicas)— crea actualizaciones de gradiente conflictivas. Esto obliga a los parámetros compartidos a aprender representaciones contradictorias, dificultando la convergencia y degradando el rendimiento para ambas subtareas.

Metodología
Los autores proponen DiffPS, un marco que aprovecha el conocimiento previo de un modelo de difusión pre-entrenado (específicamente Stable Diffusion v2-1) para resolver estos problemas. En lugar de realizar el ajuste fino (fine-tuning) del backbone, DiffPS congela el modelo de difusión pre-entrenado y extrae características específicas de la tarea, eliminando así el conflicto de optimización. El marco se construye sobre un análisis de cuatro propiedades clave de los conocimientos previos de difusión: condicionamiento de texto, sensibilidad al paso de tiempo (timestep), estructura jerárquica y sesgo de forma.

Basándose en este análisis, DiffPS integra tres módulos especializados:

1. Red de Propuesta de Regiones Guiada por Difusión (DGRPN):

   • Objetivo: Mejorar la localización de personas.
   • Mecanismo: Aprovecha la fuerte alineación entre las características de difusión y los embeddings de texto. Extrae mapas de atención cruzada asociados con el token "person" de la etapa ascendente (up-stage) del UNet. Estos mapas se umbralizan para identificar regiones de alta confianza, se convierten en distribuciones Gaussianas y se utilizan para modular el mapa de características específico de la detección. Esto guía a la Red de Propuesta de Regiones (RPN) para que se concentre en las regiones relevantes de las personas mientras suprime el ruido del fondo.

2. Red de Refinamiento de Frecuencia Multiescala (MSFRN):

   • Objetivo: Mitigar el "sesgo de forma" inherente a los modelos de difusión, donde los componentes de baja frecuencia (estructura global) suelen dominar sobre las texturas de grano fino.
   • Mecanismo: Extrae mapas de características multiescala de la etapa ascendente del UNet. Emplea una estrategia de descomposición de frecuencia jerárquica utilizando la Transformada Wavelet Discreta (DWT) para separar las características en subbandas de baja y alta frecuencia. Un Bloque de Refinamiento de Subbandas (SRB) mejora específicamente los componentes de alta frecuencia (cruciales para la discriminación de identidad) antes de reconstruir las características mediante la DWT Inversa. Esto asegura la retención de los detalles de grano fino necesarios para la re-ID.

3. Red de Agregación de Características Semánticamente Adaptativa (SFAN):

   • Objetivo: Aprovechar la alineación semántica entre las características de difusión y el texto para crear representaciones de personas robustas.
   • Mecanismo: Computa la similitud de coseno entre el mapa de características refinado y los embeddings de texto predefinidos (por ejemplo, "cabeza", "camisas", "pantalones", "zapatos") derivados del codificador de texto CLIP. Estas similitudes generan mapas semánticos espaciales que resaltan las partes relevantes del cuerpo. La red agrega estas características basadas en partes utilizando pesos aprendibles, enfatizando eficazmente las regiones corporales informativas mientras suprime el ruido del fondo y las oclusiones.

Contribuciones Clave

• Marco Novedoso: El artículo introduce DiffPS, el primer trabajo que aprovecha el conocimiento previo de modelos de difusión pre-entrenados específicamente para la tarea de búsqueda de personas.
• Resolución del Conflicto de Optimización: Al congelar el backbone de difusión y utilizar ramas específicas de la tarea, DiffPS desacopla completamente la optimización de la detección y la re-ID, evitando la interferencia de gradientes que afecta a los métodos existentes de backbone compartido.
• Módulos Especializados: La propuesta de DGRPN, MSFRN y SFAN adapta eficazmente los conocimientos previos de difusión a las demandas específicas de localización y reconocimiento de identidad de grano fino.
• Rendimiento de Vanguardia: El marco alcanza nuevos resultados de vanguardia en benchmarks estándar sin requerir que el backbone sea ajustado finamente para la tarea específica.

Resultados Experimentales
Los autores evaluaron DiffPS en los conjuntos de datos CUHK-SYSU y PRW.

• CUHK-SYSU: DiffPS logró un 97.8% de mAP y un 98.4% de precisión Top-1, superando significativamente a métodos anteriores (por ejemplo, SeqNeXt+GFN, SEAS).
• PRW: El modelo logró un 62.0% de mAP y un 91.0% de precisión Top-1, superando al segundo mejor método por un 1.5% de mAP.
• Estudios de Ablación:
  • Resolución de Conflictos: A diferencia de los métodos desacoplados como DMRNet que aún sufren caídas de rendimiento cuando las tareas se optimizan conjuntamente, DiffPS mantuvo un rendimiento idéntico ya fuera que las tareas se optimizaran de forma conjunta o separada, confirmando la eliminación del conflicto de gradiente.
  • Eficacia de los Módulos: Eliminar MSFRN o SFAN resultó en caídas mensurables en mAP y Top-1, validando la necesidad del refinamiento de frecuencia y la agregación semántica.
  • Análisis de Timestep: El estudio confirmó que las características extraídas en los pasos de tiempo tempranos (o t=0) preservan los detalles de grano fino y la estructura semántica más beneficiosos para la búsqueda de personas, a diferencia de los pasos de tiempo posteriores donde el ruido predomina.

Significancia
El artículo afirma que DiffPS demuestra el potencial de los modelos de difusión pre-entrenados como backbones poderosos y de propósito general para tareas de visión más allá de la generación de imágenes. Al explotar plenamente el rico contexto espacial y los detalles de grano fino embebidos en los conocimientos previos de difusión, el marco aborda las limitaciones de los backbones tradicionales de ImageNet. Además, establece un nuevo paradigma para el aprendizaje multitarea donde las características específicas de la tarea pueden extraerse de un modelo pre-entrenado y congelado, resolviendo completamente los conflictos de optimización inherentes encontrados en las arquitecturas de backbone compartido. Este enfoque establece un nuevo estándar para el rendimiento de la búsqueda de personas al tiempo que ofrece una estrategia de entrenamiento más eficiente que no requiere un extenso ajuste fino del backbone.