Leveraging Prior Knowledge of Diffusion Model for Person Search

Resumo Técnico: DiffPS (Diffusion Prior Knowledge for Person Search)

Problema
A busca de pessoas envolve as tarefas conjuntas de detectar pedestres em imagens de cenas não recortadas e reidentificá-los (re-ID) contra uma consulta. Os métodos atuais de estado da arte dependem predominantemente de backbones pré-treinados no ImageNet (ex: ResNet50, ConvNeXt) e compartilham um único fluxo de características de backbone tanto para detecção quanto para re-ID. Esta abordagem apresenta duas limitações críticas:

1. Representação de Características Subotimizada: Backbones do ImageNet são treinados para reconhecimento de nível de categoria em imagens com objetos dominantes únicos e fundos simples. Consequentemente, eles têm dificuldade em capturar as pistas de localização precisas e as características discriminativas de nível de instância necessárias para a busca de pessoas em cenas complexas e congestionadas com indivíduos sobrepostos.
2. Conflito de Otimização: Compartilhar um backbone para dois objetivos fundamentalmente diferentes — detecção (distinguir humanos do fundo) e re-ID (distinguir identidades específicas) — cria atualizações de gradiente conflitantes. Isso força os parâmetros compartilhados a aprender representações contraditórias, dificultando a convergência e degradando o desempenho para ambas as sub-tarefas.

Metodologia
Os autores propõem o DiffPS, um framework que aproveita o conhecimento prévio de um modelo de difusão pré-treinado (especificamente o Stable Diffusion v2-1) para resolver esses problemas. Em vez de realizar o ajuste fino (fine-tuning) do backbone, o DiffPS congela o modelo de difusão pré-treinado e extrai características específicas para a tarefa, eliminando assim o conflito de otimização. O framework é construído com base em uma análise de quatro propriedades principais dos priors de difusão: condicionamento de texto, sensibilidade ao passo de tempo (timestep), estrutura hierárquica e viés de forma (shape bias).

Com base nesta análise, o DiffPS integra três módulos especializados:

1. Rede de Proposta de Região Guiada por Difusão (DGRPN):

   • Objetivo: Melhorar a localização de pessoas.
   • Mecanismo: Aproveita o forte alinhamento entre as características de difusão e os embeddings de texto. Ele extrai mapas de atenção cruzada associados ao token "person" da etapa de ascensão (up-stage) do UNet. Esses mapas são submetidos a um limiar para identificar regiões de alta confiança, convertidos em distribuições Gaussianas e usados para modular o mapa de características específico de detecção. Isso guia a Rede de Proposta de Região (RPN) para focar em regiões relevantes de pessoas enquanto suprime o ruído de fundo.

2. Rede de Refinamento de Frequência Multiescala (MSFRN):

   • Objetivo: Mitigar o "viés de forma" inerente aos modelos de difusão, onde componentes de baixa frequência (estrutura global) frequentemente dominam sobre texturas de grão fino.
   • Mecanismo: Extrai mapas de características multiescala da etapa de ascensão do UNet. Ele emprega uma estratégia de decomposição de frequência hierárquica usando a Transformada de Wavelet Discreta (DWT) para separar as características em sub-bandas de baixa e alta frequência. Um Bloco de Refinamento de Sub-banda (SRB) melhora especificamente os componentes de alta frequência (cruciais para a discriminação de identidade) antes de reconstruir as características via DWT Inversa. Isso garante a retenção de detalhes finos necessários para a re-ID.

3. Rede de Agregação de Características Adaptativa Semântica (SFAN):

   • Objetivo: Aproveitar o alinhamento semântico entre as características de difusão e o texto para criar representações de pessoas robustas.
   • Mecanismo: Calcula a similaridade de cosseno entre o mapa de características refinado e os embeddings de texto predefinidos (ex: "cabeça", "camisas", "calças", "sapatos") derivados do codificador de texto CLIP. Essas similaridades geram mapas semânticos espaciais que destacam partes relevantes do corpo. A rede agrega essas características baseadas em partes usando pesos aprendíveis, enfatizando efetivamente regiões corporais informativas enquanto suprime o ruído de fundo e oclusões.

Principais Contribuições

• Framework Inovador: O artigo introduz o DiffPS, o primeiro trabalho que utiliza o conhecimento prévio de modelos de difusão pré-treinados especificamente para a tarefa de busca de pessoas.
• Resolução do Conflito de Otimização: Ao congelar o backbone de difusão e utilizar ramos específicos para a tarefa, o DiffPS desacopla completamente a otimização de detecção e re-ID, prevenindo a interferência de gradiente que afeta os métodos existentes de backbone compartilhado.
• Módulos Especializados: A proposta do DGRPN, MSFRN e SFAN adapta efetivamente os priors de difusão às demandas específicas de localização e reconhecimento de identidade de grão fino.
• Desempenho de Estado da Arte: O framework alcança novos resultados de estado da arte em benchmarks padrão sem exigir que o backbone seja ajustado finamente para a tarefa específica.

Resultados Experimentais
Os autores avaliaram o DiffPS nos datasets CUHK-SYSU e PRW.

• CUHK-SYSU: O DiffPS alcançou 97,8% de mAP e 98,4% de precisão Top-1, superando significativamente métodos anteriores (ex: SeqNeXt+GFN, SEAS).
• PRW: O modelo alcançou 62,0% de mAP e 91,0% de precisão Top-1, superando o segundo melhor método em 1,5% de mAP.
• Estudos de Ablação:
  • Resolução de Conflito: Diferente de métodos desacoplados como o DMRNet, que ainda sofrem quedas de desempenho quando as tarefas são otimizadas conjuntamente, o DiffPS manteve o desempenho idêntico quer as tarefas fossem otimizadas conjuntamente ou separadamente, confirmando a eliminação do conflito de gradiente.
  • Eficácia dos Módulos: A remoção do MSFRN ou SFAN resultou em quedas mensuráveis em mAP e Top-1, validando a necessidade do refinamento de frequência e da agregação semântica.
  • Análise de Timestep: O estudo confirmou que as características extraídas em passos de tempo iniciais (ou t=0) preservam os detalhes de grão fino e a estrutura semântica mais benéficos para a busca de pessoas, ao contrário dos passos de tempo posteriores, onde o ruído predomina.

Significância
O artigo afirma que o DiffPS demonstra o potencial dos modelos de difusão pré-treinados como backbones poderosos e de uso geral para tarefas de visão além da geração de imagens. Ao explorar totalmente o rico contexto espacial e os detalhes de grão fino incorporados nos priors de difusão, o framework aborda as limitações dos backbones tradicionais do ImageNet. Além disso, estabelece um novo paradigma para o aprendizado multitarefa, onde características específicas da tarefa podem ser extraídas de um modelo pré-treinado congelado, resolvendo completamente os conflitos de otimização inerentes encontrados em arquiteturas de backbone compartilhado. Esta abordagem estabelece um novo patamar para o desempenho da busca de pessoas, oferecendo simultaneamente uma estratégia de treinamento mais eficiente que não exige o ajuste fino extensivo do backbone.