CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

Immagina di cercare di trovare un amico specifico in una città affollata, ma hai due mappe molto diverse. Una mappa è una foto a colori vibrante e ad alta definizione scattata di giorno, che mostra il tuo amico con una giacca rossa brillante e scarpe blu. L'altra mappa è un'immagine termica in bianco e nero, granulosa, scattata di notte, dove il tuo amico appare come una macchia bianca luminosa su uno sfondo scuro. Questa è la sfida quotidiana per le telecamere di sicurezza e i sistemi di visione artificiale: far corrispondere la stessa persona vista alla luce del giorno (luce visibile) con la stessa persona vista di notte (infrarosso). Mentre gli esseri umani possono facilmente collegare i puntini tra un volto colorato e una firma termica, i computer faticano perché il "gap" tra questi due tipi di immagini è enorme. Sembrano non avere nulla in comune, rendendo difficile per l'IA standard rendersi conto che sta guardando la stessa persona. Per risolvere questo problema, i ricercatori spesso usano un trucco astuto che consiste in un "traduttore universale" chiamato CLIP. Pensa a CLIP come a un bibliotecario super intelligente che ha letto milioni di libri e visto milioni di foto; sa che la parola "sneakers" collega l'immagine di una scarpa, anche se l'immagine è sfocata o scattata al buio. Usando le parole come ponte, il computer può cercare di far corrispondere la foto diurna alla foto notturna attraverso la loro descrizione condivisa.

Tuttove, c'è un problema. Il "bibliotecario" (CLIP) è stato addestrato principalmente su foto colorate e soleggiate. Se gli chiedi di descrivere una macchia di calore luminosa da una telecamera notturna, spesso si confonde, producendo descrizioni vaghe o rumorose come "una persona vaga" invece di "una persona con uno zaino". Questa confusione compromette il processo di corrispondenza, rendendo più difficile l'identificazione anziché facilitarla. In questo articolo, gli autori propongono un nuovo metodo chiamato CLIP4VI-ReID per risolvere questo problema. Invece di chiedere al bibliotecario confuso di descrivere direttamente la foto notturna, chiedono prima di descrivere la chiara foto diurna. Poi, usano quella descrizione accurata come guida per "insegnare" al computer come vedere correttamente la foto notturna. Lo fanno in tre fasi: prima, generano descrizioni testuali perfette dalle foto diurne; seconda, usano quelle parole per correggere la comprensione del computer delle foto notturne; infine, perfezionano l'intero sistema in modo che le foto diurne, le foto notturne e le descrizioni testuali siano perfettamente allineate. I risultati mostrano che questo approccio passo dopo passo è molto più efficace nel trovare la persona giusta rispetto ai metodi precedenti, dimostrando che l'uso del tipo di "parole" corretto come ponte può aiutare i computer a vedere chiaramente, anche al buio.

Il Problema: Il Grande Gap di Modalità

Immagina di dover far corrispondere la tessera d'identità di un sospetto (una foto a colori nitida) con il filmato di una telecamera di sicurezza in un vicolo buio (un'immagine termica in bianco e nero). Nel mondo della visione artificiale, questo è chiamato Visible-Infrared Person Re-identification (VI-ReID). L'obiettivo è semplice: trovare la stessa persona attraverso questi due tipi di immagini molto diversi. Ma è incredibilmente difficile perché le due immagini non si somigliano affatto. La foto a colori è ricca di dettagli come maglie rosse e jeans blu, mentre l'immagine termica è solo una forma luminosa basata sul calore corporeo.

Per molto tempo, i computer hanno cercato di risolvere questo problema cercando di trasformare l'immagine termica in una a colori (il che spesso produce risultati falsi e rumorosi) o cercando di trovare caratteristiche comuni direttamente tra le due. Ma gli autori di questo articolo hanno notato un difetto nel modo in cui i nuovi e più intelligenti modelli di IA (basati su qualcosa chiamato CLIP) gestiscono questa situazione. Questi modelli cercavano di generare una descrizione testuale sia per la foto a colori che per la foto termica. Il problema? L'IA è stata addestrata su milioni di foto colorate e soleggiate. Quando guardava un'immagine termica, non sapeva cosa dire. Generava descrizioni deboli e imprecise come "una persona difficile da vedere" invece di dettagli utili come "indossa un cappello". Questa cattiva descrizione rendeva più difficile per il computer abbinare la persona, anziché facilitarlo.

La Solzione: Un Ponte in Tre Fasi

Per risolvere questo problema, gli autori hanno costruito un nuovo sistema chiamato CLIP4VI-ReID. Invece di costringere l'IA a indovinare come appare l'immagine termica a parole, hanno progettato un processo intelligente in tre fasi che agisce come una squadra di costruzione che edifica un ponte tra i due mondi.

Fase 1: Generazione Semantica del Testo (TSG)
Per prima cosa, il team ha deciso di smettere di chiedere all'IA di descrivere l'immagine termica. Inveve, hanno chiesto solo di descrivere le foto chiare e a colori. Hanno utilizzato una tecnica di "apprendimento dei prompt" (prompt learning), che è come dare all'IA una frase con uno spazio vuoto: "Una foto di una persona [_____]". L'IA impara a riempire gli spazi con dettagli specifici (come "con scarpe da ginnastica" o "con uno zaino in spalla") basandosi solo sulle foto a colori. Poiché le foto a colori sono chiare, l'IA genera descrizioni testuali perfette e dettagliate. Queste descrizioni diventano lo "standard di riferimento" o il ponte.

Fase 2: Embedding delle Caratteristiche Infrarosse (IFE)
Ora che hanno le descrizioni testuali perfette dalle foto a colori, usano queste per insegnare all'IA come guardare le immagini termiche. Non chiedono all'IA di generare nuove parole per l'immagine termica. Inve invece, dicono all'IA: "Guarda questa immagine termica e cerca di far corrispondere le sue caratteristiche al testo che abbiamo già scritto per la foto a colori". È come mostrare a uno studente una mappa chiara e poi chiedergli di navigare in un sentiero nebbioso usando quella stessa mappa come guida. L'IA impara ad aggiustare la sua comprensione dell'immagine termica in modo che si allinei con la descrizione testuale accurata. Questo passaggio "rettifica" o corregge le caratteristiche dell'immagine termica, iniettando l'informazione corretta sull'identità.

Fase 3: Allineamento Semantico di Alto Livello (HSA)
Infine, il team perfeziona l'intero sistema. Si assicurano che le descrizioni testuali non includano accidentalmente dettagli che sono presenti solo nella foto a colori (come i colori specifici) e che non sono condivisi con la foto termica. Vogliono che il testo descriva solo le cose che sono vere per entrambe le immagini (come "una persona con uno zaino"). Inoltre, apportano modifiche alle parti dell'IA che analizzano separatamente le immagini a colori e quelle termiche per assicurarsi che stiano catturando i dettagli migliori. Questa fase finale assicura che la foto a colori, la foto termica e la descrizione testuale puntino tutti alla stessa persona con alta precisione.

Cosa Hanno Scoperto

Gli autori hanno testato il loro nuovo sistema su due dataset famosi di persone in immagini a colori e termiche: SYSU-MM01 e RegDB. Hanno confrontato il loro metodo con le migliori tecniche esistenti.

• Sul dataset SYSU-MM01: Il loro metodo, CLIP4VI-ReID, ha raggiunto un'accuratezza Rank-1 del 75,54% nell'impostazione "All-Search" (dove il sistema deve trovare la persona tra molte possibilità). È stato superiore al precedente miglior metodo, che otteneva il 75,2%. Nell'impostazione "Indoor-Search", hanno raggiunto un'accuratezza Rank-1 ancora più alta dell'83,98%, superando il secondo miglior metodo con un margine significativo.
• Sul dataset RegDB: I risultati sono stati ancora più impressionanti. Nel test "Infrared-to-Visible" (trovare una foto a colori partendo da una query termica), hanno raggiunto un'accuratezza Rank-1 del 92,28%, la più alta tra tutti i metodi testati. Nel test "Visible-to-Infrared", hanno toccato il 94,51% di accuratezza Rank-1.

Il documento include anche una prova visiva. Hanno dimostrato che, prima del loro metodo, la "mappa mentale" del computer per le immagini a colori e termiche si trovava in punti completamente diversi. Dopo il loro processo in tre fasi, le immagini della stessa persona (sia a colori che termiche) si raggruppano strettamente, mentre le immagini di persone diverse rimangono lontane.

Perché è Importante

Il punto chiave è che cercare di costringere un computer a descrivere direttamente un'immagine termica porta spesso a confusione ed errori. Usando l'immagine a colori chiara per generare la descrizione per prima, e poi usando quella descrizione per guidare l'immagine termica, il sistema evita il "rumore" e ottiene risultati molto migliori. Gli autori suggeriscono che questo approccio "da grossolano a fine" (coarse-to-fine) — partendo da un allineamento approssimativo per poi raffinarlo — è un modo potente per aiutare i computer a vedere attraverso diversi tipi di luce. Sebbene il metodo richieda un po' più di tempo per l'addestramento rispetto ai modelli più semplici, il miglioramento dell'accuratezza suggerisce che sia un compromesso che vale la pena fare per i sistemi di sicurezza che devono operare 24 ore su 24, 7 giorni su 7, sia di giorno che di notte.