CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

Imagine que você está tentando encontrar um amigo específico em uma cidade lotada, mas tem dois mapas muito diferentes. Um mapa é uma foto colorida vibrante e de alta definição tirada durante o dia, mostrando a jaqueta vermelha brilhante e os tênis azuis do seu amigo. O outro mapa é uma imagem térmica em preto e branco, granulada, tirada à noite, onde seu amigo parece um borrão branco brilhante contra um fundo escuro. Este é o desafio diário para câmeras de segurança e sistemas de visão computacional: combinar uma pessoa vista à luz do dia (luz visível) com a mesma pessoa vista no escuro (infravermelho). Enquanto os humanos conseguem facilmente conectar os pontos entre um rosto colorido e uma assinatura de calor, os computadores lutam para fazer isso porque o "abismo" entre esses dois tipos de imagens é enorme. Elas não se parecem em nada, tornando difícil para uma IA padrão perceber que estão olhando para a mesma pessoa. Para resolver isso, pesquisadores costam usar um truque inteligente envolvendo um "tradutor universal" chamado CLIP. Pense no CLIP como um bibliotecário superinteligente que leu milhões de livros e viu milhões de fotos; ele sabe que a palavra "tênis" conecta a imagem de sapatos, mesmo que a imagem esteja borrada ou tirada no escuro. Ao usar palavras como uma ponte, o computador pode tentar combinar a foto do dia com a foto da noite através de sua descrição compartilhada.

No entanto, há um porém. O "bibliotecário" (CLIP) foi treinado principalmente em fotos coloridas e ensolaradas. Se você pedir para ele descrever um borrão de calor brilhante de uma câmera noturna, ele frequentemente fica confuso, produzindo descrições vagas ou ruidosas como "uma pessoa vaga" em vez de "uma pessoa com uma mochila". Essa confusão atrapalha o processo de correspondência, em vez de facilitá-lo. Neste artigo, os autores propõem um novo método chamado CLIP4VI-ReID para corrigir esse problema. Em vez de pedir ao bibliotecário confuso para descrever a foto noturna diretamente, eles primeiro pedem que ele descreva a foto clara do dia. Então, eles usam essa descrição precisa como um guia para "ensinar" o computador a ver a foto noturna corretamente. Eles fazem isso em três etapas: primeiro, geram descrições de texto perfeitas a partir das fotos do dia; segundo, usam essas palavras para corrigir a compreensão do computador sobre as fotos noturnas; e, finalmente, ajustam todo o sistema para que as fotos do dia, as fotos noturnas e as descrições de texto se alinhem perfeitamente. Os resultados mostram que essa abordagem passo a passo é muito melhor em encontrar a pessoa certa do que os métodos anteriores, provando que usar o tipo certo de "palavras" como uma ponte pode ajudar os computadores a enxergar claramente, mesmo no escuro.

O Problema: O Grande Abismo de Modalidade

Imagine que você está tentando combinar o cartão de identidade de um suspeito (uma foto colorida e clara) com a filmagem de uma câmera de segurança de um beco escuro (uma imagem térmica, em preto e branco). No mundo da visão computacional, isso é chamado de Reidentificação de Pessoa Visível-Infravermelho (VI-ReID). O objetivo é simples: encontrar a mesma pessoa através desses dois tipos de imagens muito diferentes. Mas é incrivelmente difícil porque as duas imagens não se parecem em nada. A foto colorida é cheia de detalhes como camisas vermelhas e jeans azuis, enquanto a imagem térmica é apenas uma forma brilhante baseada no calor corporal.

Por muito tempo, os computadores tentaram resolver isso ou tentando transformar a imagem térmica em uma colorida (o que muitas vezes parece falso e ruidoso) ou tentando encontrar características comuns diretamente entre as duas. Mas os autores deste artigo notaram uma falha na forma como os modelos de IA mais novos e inteligentes (baseados em algo chamado CLIP) estavam lidando com isso. Esses modelos tentavam gerar uma descrição de texto para ambas as fotos, a colorida e a térmica. O problema? A IA foi treinada em milhões de fotos ensolaradas e coloridas. Quando olhava para uma imagem térmica, ela não sabia o que dizer. Ela gerava descrições fracas e imprecisas como "uma pessoa difícil de ver" em vez de detalhes úteis como "usando um chapéu". Essa descrição ruim tornava mais difícil para o computador identificar a pessoa, em vez de facilitar.

A Solução: Uma Ponte de Três Estágios

Para corrigir isso, os autores construíram um novo sistema chamado CLIP4VI-ReID. Em vez de forçar a IA a adivinhar como a imagem térmica parece em palavras, eles projetaram um processo inteligente de três estágios que atua como uma equipe de construção construindo uma ponte entre os dois mundos.

Estágio 1: Geração Semântica de Texto (TSG)
Primeiro, a equipe decidiu parar de pedir para a IA descrever a imagem térmica. Em vez disso, eles só pediram para ela descrever as fotos coloridas e claras. Eles usaram uma técnica chamada "aprendizado de prompt", que é como dar à IA uma frase de preencher lacunas: "Uma foto de uma pessoa [_____]". A IA aprende a preencher as lacunas com detalhes específicos (como "usando tênis" ou "carregando uma mochila") baseando-se apenas nas fotos coloridas. Como as fotos coloridas são claras, a IA gera descrições de texto detalhadas e perfeitas. Essas descrições tornam-se o "padrão ouro" ou a ponte.

Estágio 2: Incorporação de Características de Infravermelho (IFE)
Agora que possuem as descrições de texto perfeitas das fotos coloridas, eles as utilizam para ensinar a IA como olhar para as imagens térmicas. Eles não pedem para a IA gerar novas palavras para a imagem térmica. Em vez disso, dizem à IA: "Olhe para esta imagem térmica e tente fazer com que suas características correspondam ao texto que já escrevemos para a foto colorida". Isso é como mostrar a um aluno um mapa claro e depois pedir que ele navegue por um caminho nebuloso usando esse mesmo mapa como guia. A IA aprende a ajustar sua compreensão da imagem térmica para que ela se alinhe à descrição de texto precisa. Este passo "retifica" ou corrige as características da imagem térmica, injetando a informação de identidade correta nelas.

Estágio 3: Alinhamento Semântico de Alto Nível (HSA)
Finalmente, a equipe faz o ajuste fino de todo o sistema. Eles garantem que as descrições de texto não incluam acidentalmente detalhes que estão apenas na foto colorida (como cores específicas) e que não são compartilhados com a foto térmica. Eles querem que o texto descreva apenas as coisas que são verdadeiras para ambas as imagens (como "uma pessoa com uma mochila"). Eles também ajustam as partes da IA que analisam as imagens coloridas e térmicas separadamente para garantir que estejam captando os melhores detalhes. Este estágio final garante que a foto colorida, a foto térmica e a descrição de texto apontem para a mesma pessoa com alta precisão.

O Que Eles Descobriram

Os autores testaram seu novo sistema em dois conjuntos de dados famosos de pessoas em imagens coloridas e térmicas: SYSU-MM01 e RegDB. Eles compararam seu método com as melhores técnicas existentes.

• No conjunto de dados SYSU-MM01: Seu método, CLIP4VI-ReID, alcançou uma acurácia de Rank-1 de 75,54% na configuração "All-Search" (onde o sistema tem que encontrar a pessoa entre muitas possibilidades). Isso foi superior ao melhor método anterior, que obteve 75,2%. Na configuração "Indoor-Search", alcançaram uma acurácia de Rank-1 ainda maior de 83,98%, superando o próximo melhor método por uma margem significativa.
• No conjunto de dados RegDB: Os resultados foram ainda mais impressionantes. No teste "Infrared-to-Visible" (encontrar uma foto colorida a partir de uma consulta térmica), alcançaram uma acurácia de Rank-1 de 92,28%, a mais alta entre todos os métodos testados. No teste "Visible-to-Infrared", atingiram 94,51% de acurácia de Rank-1.

O artigo também incluiu provas visuais. Eles mostraram que, antes do método deles, o "mapa mental" do computador para imagens coloridas e térmicas estava em lugares completamente diferentes. Após o processo de três estágios, as imagens da mesma pessoa (seja colorida ou térmica) agruparam-se de forma compacta, enquanto as imagens de pessoas diferentes permaneceram distantes.

Por Que Isso Importa

A principal lição é que tentar forçar um computador a descrever uma imagem térmica diretamente costuma levar à confusão e a erros. Ao usar a foto colorida clara para gerar a descrição primeiro, e depois usar essa descrição para guiar a imagem térmica, o sistema evita o "ruído" e obtém resultados muito melhores. Os autores sugerem que essa abordagem "do grosseiro ao refinado" — começando com um alinhamento bruto e depois refinando-o — é uma maneira poderosa de ajudar os computadores a enxergar através de diferentes tipos de luz. Embora o método exija um pouco mais de tempo de treinamento do que modelos mais simples, a melhoria na precisão sugere que é uma troca que vale a pena para sistemas de segurança que precisam funcionar 24 horas por dia, 7 dias por semana, dia ou noite.