Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

Nel ronzio silenzioso di una rete di sorveglianza cittadina, le telecamere osservano costantemente, catturando il flusso di persone giorno e notte. Per decenni, i sistemi di sicurezza si sono affidati a telecamere a luce visibile, quelle stesse che scattano fotografie a colori, per identificare gli individui attraverso i loro abiti e i loro tratti somatici. Ma quando il sole tramonta e la luce svanisce, queste telecamere faticano; i colori sbiadiscono e le texture si confondono in ombre indistinguibili. Per risolvere questo problema, i team di sicurezza accoppiano sempre più spesso le telecamere visibili con sensori a infrarossi, che vedono il calore irradiato dal corpo di una persona piuttosto che la luce riflessa dai loro vestiti. Ciò crea una nuova sfida: come può un computer riconoscere che una persona vista in un video a infrarossi granuloso è la stessa persona vista in un video a colori nitido da una telecamera diversa? Questo compito, noto come ri-identificazione di persone tra visibile e infrarosso, richiede a un sistema di ignorare le enormi differenze nel modo in cui le due telecamere vedono il mondo e concentrarsi invece sull'identità unica della persona che cammina nell'inquadratura.

La difficoltà aumenta quando il soggetto è in movimento. Una persona raramente è un'immagine statica; è una sequenza di movimenti, un'andatura che cambia a ogni passo. I sistemi informatici esistenti spesso cercano di risolvere questo problema guardando l'intera persona in una volta o tagliando l'immagine in strisce rigide e fisse, come affettare una pagnotta. Tuttavia, le persone non camminano in linea retta; si torcono, ruotano e si inclinano. Una fetta rigida potrebbe catturare la testa di una persona in un fotogramma e la sua spalla nel successivo, interrompendo la continuità dell'identità. Inoltre, il modo in cui una persona appare al buio è fondamentalmente diverso da come appare alla luce, rendendo difficile per un computer far corrispondere lo stesso membro del corpo attraverso queste due diverse visualizzazioni. I ricercatori della Changzhou University hanno proposto un nuovo approccio a questo problema, uno che abbandona la fetta rigida a favore di un metodo più fluido e adattivo che impara a tracciare specifiche regioni del corpo mentre si muovono e cambiano.

I ricercatori hanno sviluppato un sistema che chiamano VM-SPMamba, il quale opera comprendendo prima l'intera scena e poi concentrandosi su parti specifiche e flessibili della persona. Invece di costringere il computer a guardare strisce orizzontali fisse dell'immagine, il sistema impara a identificare "parti morbide". Immaginate un computer che possa decidere, da solo, dove si trovano la testa, il torso e le gambe di una persona in ogni fotogramma, anche se la persona è inclinata o l'angolo della telecamera cambia. Il sistema fa questo utilizzando una visione globale della persona per guidare la sua attenzione, permettendogli di raggruppare i pixel in regioni significative che si adattano alla posa della persona. Ciò significa che se una persona solleva un braccio, il sistema regola i confini della regione "braccio" per seguirne il movimento, invece di aderire a una casella preimpostata che potrebbe tagliare il braccio a metà.

Una volta identificate queste regioni flessibili, il sistema tratta ciascuna di esse come una storia indipendente. Traccia la regione della "testa" attraverso tutti i fotogrammi del video, poi traccia la regione del "torso" attraverso gli stessi fotogrammi, e così via. Separando il video in questi distinti flussi di movimento, il sistema può apprendere come ogni specifica parte del corpo si evolva nel tempo. Questo è fondamentale perché il modo in cui si muove la testa è diverso da quello con cui si muove una gamba, e queste differenze sono la chiave per identificare una persona. I ricercatori hanno scoperto che modellando queste parti separatamente e poi combinando le loro storie, il sistema diventa molto più bravo a ignorare le confusionarie differenze tra la telecamera a infrarossi e quella a luce visibile. Impara che un particolare schema di movimento nella vista a infrarossi corrisponde allo stesso schema nella vista visibile, anche se i colori e le texture sono completamente diversi.

Per insegnare questa abilità al sistema, i ricercatori hanno utilizzato un potente metodo di addestramento che coinvolge una componente "linguistica". Hanno fornito al sistema non solo immagini, ma anche descrizioni testuali delle identità, permettendo al computer di collegare i modelli visivi del movimento di una persona a un concetto semantico di chi sia quella persona. Questo funge da ponte, aiutando il sistema a capire che la firma termica di una persona che cammina è la stessa identità della sua immagine a colori, anche se appaiono del tutto diverse. Il sistema è stato testato su due grandi dataset contenenti centinaia di migliaia di immagini da scenari di sorveglianza reali. Nel test da infrarossi a visibile, in cui il sistema cerca di trovare una persona in un video a colori dopo averla vista in un video basato sul calore, il nuovo metodo ha raggiunto un tasso di successo del 72,3 percento. Nella direzione opposta, ha raggiunto il 72,4 percento. Questi numeri rappresentano un salto significativo in avanti, superando i precedenti migliori risultati di oltre dieci punti percentuali in alcune misure.

I ricercatori hanno inoltre testato il loro sistema su un dataset molto più grande e complesso con oltre tremila persone diverse e sequenze video più lunghe. Sebbene il sistema non abbia ottenuto il punteggio assoluto più alto in ogni singolo parametro in questo test più difficile, è rimasto altamente competitivo, identificando correttamente la persona giusta come la corrispondenza principale in quasi il 70 percento dei casi da infrarossi a visibile e nel 70 percento dei casi da visibile a infrarossi. Ciò suggerisce che il metodo è abbastanza robusto da gestire la natura disordinata e imprevedibile della sorveglianza del mondo reale, dove le persone camminano tra la folla, cambiano direzione e appaiono in diverse condizioni di illuminazione. Lo studio ha dimostrato esplicitamente che i metodi più vecchi, che si affidano a fette fisse e immutabili dell'immagine, performano peggio quando le persone si muovono o quando gli angoli delle telecamere cambiano. Dimostrando che le parti flessibili e adattive sono superiori a quelle rigide, la ricerca offre una strada più chiara per costruire sistemi di sorveglianza che funzionino in modo affidabile giorno e notte.

Il successo di questo approccio risiede nella sua capacità di mimare il modo in cui gli esseri umani potrebbero intuitivamente tracciare una persona: concentrandosi sul flusso delle parti del corpo piuttosto che su uno scatto statico. Il sistema non ha bisogno di sapere dove siano la testa o le gambe; impara a trovarle osservando come i pixel si muovono insieme. Questa adattabilità gli permette di gestire le distorsioni causate dal camminare, dal girarsi e dai diversi modi in cui le telecamere catturano il mondo. Sebbene l'attuale sistema si basi ancora su dati etichettati per apprendere questi modelli e utilizzi un numero fisso di parti del corpo, i risultati dimostrano che allontanarsi dalle strutture rigide a favore di rappresentazioni fluide e consapevoli del contenuto è una strategia potente. Mentre le reti di sorveglianza continuano a espandersi e a fare affidamento sulla tecnologia a infrarossi per la sicurezza notturna, metodi come questo forniscono gli strumenti necessari per garantire che la persona giusta venga identificata, indipendentemente dall'ora del giorno o dalla telecamera che cattura la scena.