Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

No zumbido silencioso de uma rede de vigilância urbana, câmeras observam constantemente, capturando o fluxo de pessoas dia e noite. Por décadas, os sistemas de segurança confiaram em câmeras de luz visível, o mesmo tipo que captura fotografias coloridas, para identificar indivíduos por suas roupas e características. Mas quando o sol se põe e a luz desaparece, essas câmeras lutam; as cores desbotam e as texturas tornam-se sombras indistinguíveis. Para resolver isso, as equipes de segurança estão cada vez mais combinando câmeras visíveis com sensores infravermelhos, que veem o calor irradiado pelo corpo de uma pessoa em vez da luz refletida em suas roupas. Isso cria um novo desafio: como um computador reconhece que uma pessoa vista em um vídeo infravermelho granulado, baseado em calor, é a mesma pessoa vista em um vídeo colorido nítido de uma câmera diferente? Essa tarefa, conhecida como reidentificação de pessoas visível-infravermelho, exige que um sistema aprenda a ignorar as diferenças massivas na forma como as duas câmeras veem o mundo e foque, em vez disso, na identidade única da pessoa caminhando pelo quadro.

A dificuldade aumenta quando o sujeito está em movimento. Uma pessoa raramente é uma imagem estática; ela é uma sequência de movimentos, um passo de caminhada que muda a cada passo. Os sistemas de computador existentes frequentemente tentam resolver isso olhando para a pessoa inteira de uma vez ou cortando a imagem em tiras rígidas e fixas, como fatiar um pão de forma. No entanto, as pessoas não caminham em linhas retas; elas giram, viram e inclinam-se. Uma fatia rígida pode capturar a cabeça de uma pessoa em um quadro e o ombro no próximo, quebrando a continuidade da identidade. Além disso, a maneira como uma pessoa parece no escuro é fundamentalmente diferente de como ela parece na luz, tornando difícil para um computador corresponder a uma mesma parte do corpo através dessas duas visões diferentes. Pesquisadores da Universidade de Changzhou propuseram uma nova abordagem para este problema, uma que abandona o fatiamento rígido em favor de um método mais fluido e adaptável que aprende a rastrear partes específicas do corpo conforme elas se movem e mudam.

Os pesquisadores desenvolveram um sistema que chamam de VM-SPMamba, que opera primeiro compreendendo toda a cena e depois focando em partes específicas e flexíveis da pessoa. Em vez de forçar o computador a olhar para tiras horizontais fixas da imagem, o sistema aprende a identificar "partes suaves". Imagine um computador que pode decidir, por conta própria, onde a cabeça, o tronco e as pernas de uma pessoa estão localizadas em cada quadro, mesmo que a pessoa esteja inclinada ou se o ângulo da câmera mudar. O sistema faz isso usando uma visão global da pessoa para guiar sua atenção, permitindo que agrupe pixels em regiões significativas que se adaptam à pose da pessoa. Isso significa que, se uma pessoa levanta o braço, o sistema ajusta os limites da região do "braço" para seguir o movimento, em vez de ficar preso a uma caixa pré-definida que poderia cortar o braço ao meio.

Uma vez que essas regiões flexíveis são identificadas, o sistema trata cada uma como sua própria história independente. Ele rastreia a região da "cabeça" através de todos os quadros do vídeo, depois rastreia a região do "tronco" através dos mesmos quadros, e assim por diante. Ao separar o vídeo nesses fluxos distintos de movimento, o sistema pode aprender como cada parte específica do corpo evolui ao longo do tempo. Isso é crucial porque a maneira como uma cabeça se move é diferente da maneira como uma perna se move, e essas diferenças são fundamentais para identificar uma pessoa. Os pesquisadores descobriram que, ao modelar essas partes separadamente e depois combinar suas histórias, o sistema torna-se muito melhor em ignorar as diferenças confusas entre as câmeras infravermelhas e visíveis. Ele aprende que um padrão específico de movimento na visão infravermelha corresponde ao mesmo padrão na visão visível, mesmo que as cores e texturas sejam completamente diferentes.

Para ensinar essa habilidade ao sistema, os pesquisadores utilizaram um poderoso método de treinamento que envolve um componente de "linguagem". Eles alimentaram o sistema não apenas com imagens, mas também com descrições textuais de identidades, permitindo que o computador ligasse os padrões visuais do movimento de uma pessoa ao conceito semântico de quem essa pessoa é. Isso atua como uma ponte, ajudando o sistema a entender que a assinatura de calor de uma pessoa caminhando é a mesma identidade que sua imagem colorida, embora pareçam nada com nada. O sistema foi testado em dois grandes conjuntos de dados contendo centenas de milhares de imagens de cenários de vigilância do mundo real. No teste de infravermelho para visível, onde o sistema tenta encontrar uma pessoa em um vídeo colorido após vê-la em um vídeo baseado em calor, o novo método alcançou uma taxa de sucesso de 72,3 por cento. Na direção inversa, atingiu 72,4 por cento. Esses números representam um salto significativo, superando os melhores resultados anteriores em mais de dez pontos percentuais em algumas medidas.

Os pesquisadores também testaram seu sistema em um conjunto de dados muito maior e mais complexo, com mais de três mil pessoas diferentes e sequências de vídeo mais longas. Embora o sistema não tenha alcançado a pontuação absoluta mais alta em cada métrica individual neste teste mais difícil, ele permaneceu altamente competitivo, identificando corretamente a pessoa certa como a correspondência principal em quase 70 por cento dos casos de infravermelho para visível e 70 por cento dos casos de visível para infravermelho. Isso sugere que o método é robusto o suficiente para lidar com a natureza desordenada e imprevisível da vigilância do mundo real, onde as pessoas caminham em multidões, mudam de direção e aparecem em condições de iluminação variáveis. O estudo mostrou explicitamente que os métodos antigos, que dependem de fatias fixas e imutáveis da imagem, apresentam um desempenho inferior quando as pessoas se movem ou quando os ângulos das câmeras mudam. Ao provar que partes flexíveis e adaptáveis são superiores às rígidas, a pesquisa oferece um caminho mais claro para construir sistemas de vigilância que funcionem de forma confiável dia e noite.

O sucesso desta abordagem reside em sua capacidade de imitar a maneira como os humanos podem rastrear intuitivamente uma pessoa: focando no fluxo de suas partes do corpo em vez de um instantâneo estático. O sistema não precisa que lhe digam onde a cabeça ou as pernas estão; ele aprende a encontrá-las observando como os pixels se movem juntos. Essa adaptabilidade permite que ele lide com as distorções causadas pelo caminhar, pelo virar e pelas diferentes maneiras como as câmeras capturam o mundo. Embora o sistema atual ainda dependa de dados rotulados para aprender esses padrões e utilize um número fixo de partes do corpo, os resultados demonstram que afastar-se de estruturas rígidas em favor de representações fluidas e conscientes do conteúdo é uma estratégia poderosa. À medida que as redes de vigilância continuam a se expandir e a depender da tecnologia infravermelha para a segurança noturna, métodos como este fornecem as ferramentas necessárias para garantir que a pessoa certa seja identificada, independentemente da hora do dia ou da câmera que captura a cena.