Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

In de stille brom van een stedelijk surveillance-netwerk houden camera's constant toezicht, waarbij ze de stroom mensen overdag en tijdens de nacht vastleggen. Decennialang hebben beveiligingssystemen vertrouwd op zichtbare lichtcamera's, hetzelfde type dat kleurenfoto's maakt, om individuen te identificeren aan de hand van hun kleding en uiterlijke kenmerken. Maar wanneer de zon ondergaat en het licht vervaagt, worstelen deze camera's; de kleuren spoelen weg en texturen vervagen tot ononderscheidbare schaduwen. Om dit op te lossen, koppelen beveiligingsteams steeds vaker zichtbare camera's aan infraroodsensoren, die de warmte zien die van het lichaam van een persoon uitstraalt in plaats van het licht dat weerkaatst op hun kleding. Dit creëert een nieuwe uitdaging: hoe herkent een computer dat een persoon die te zien is in een korrelige, op warmte gebaseerde infraroodvideo, dezelfde persoon is als die te zien is in een heldere, kleurenvideo van een andere camera? Deze taak, bekend als visueel-infrarood persoon-re-identificatie, vereist een systeem dat leert de enorme verschillen in hoe de twee camera's de wereld zien te negeren en zich in plaats daarvan te concentreren op de unieke identiteit van de persoon die door het beeld loopt.

De moeilijkheid verdiept zich wanneer het onderwerp beweegt. Een persoon is zelden een statisch beeld; het is een sequentie van bewegingen, een loopje dat met elke stap verandert. Bestaande computersystemen proberen dit vaak op te lossen door naar de hele persoon tegelijk te kijken of door de afbeelding in rigide, vaste stroken te snijden, zoals het snijden van een brood. Echter, mensen lopen niet in rechte lijnen; ze draaien, buigen en leunen. Een rigide snee kan in het ene frame de kop van een persoon vastleggen en in het volgende frame de schouder, waardoor de continuïteit van de identiteit wordt doorbroken. Bovendien is de manier waarop een persoon er in het donker uitziet fundamenteel anders dan hoe diegene er in het licht uitziet, wat het voor een computer moeilijk maakt om hetzelfde lichaamsdeel over deze twee verschillende weergaven te matchen. Onderzoekers aan de Changzhou University hebben een nieuwe aanpak voorgesteld voor dit probleem, een aanpak die rigide snijden verruilt voor een meer vloeiende, adaptieve methode die leert specifieke lichaamsregio's te volgen terwijl ze bewegen en veranderen.

De onderzoekers ontwikkelden een systeem dat ze VM-SPMamba noemen, dat werkt door eerst de hele scène te begrijpen en zich vervolgens te concentreren op specifieke, flexibele onderdelen van de persoon. In plaats van de computer te dwingen om naar vaste horizontale stroken van de afbeelding te kijken, leert het systeem "zachte onderdelen" te identificeren. Stel je een computer voor die op eigen initiatief kan beslissen waar het hoofd, de romp en de benen van een persoon zich in elk frame bevinden, zelfs als de persoon leunt of als de camerahoek verandert. Het systeem doet dit door een globaal beeld van de persoon te gebruiken om de aandacht te sturen, waardoor het pixels kan groeperen in betekenisvolle regio's die zich aanpassen aan de houding van de persoon. Dit betekent dat als een persoon zijn arm heft, het systeem de grenzen van de "arm"-regio aanpast om de beweging te volgen, in plaats van vast te houden aan een vooraf ingestelde box die de arm doormidden zou snijden.

Zodra deze flexibele regio's zijn geïdentificeerd, behandelt het systeem elk deel als zijn eigen onafhankelijke verhaal. Het volgt de "hoofd"-regio over alle frames van de video, vervolgens volgt het de "romp"-regio over dezelfde frames, enzovoort. Door de video te scheiden in deze afzonderlijke stromen van beweging, kan het systeem leren hoe elk specifiek lichaamsdeel zich in de loop van de tijd ontwikkelt. Dit is cruciaal omdat de manier waarop een hoofd beweegt anders is dan de manier waarop een been beweegt, en deze verschillen zijn essentieel voor het identificeren van een persoon. De onderzoekers ontdekten dat door deze onderdelen apart te modelleren en hun verhalen vervolgens te combineren, het systeem veel beter wordt in het negeren van de verwarrende verschillen tussen de infrarode en de zichtbare camera's. Het leert dat een specifiek bewegingspatroon in het infraroodbeeld overeenkomt met hetzelfde bewegingspatroon in de zichtbare weergave, zelfs als de kleuren en texturen totaal verschillend zijn.

Om het systeem deze vaardigheid aan te leren, gebruikten de onderzoekers een krachtige trainingsmethode die een "taal"-component bevat. Ze voerden het systeem niet alleen afbeeldingen, maar ook tekstuele beschrijvingen van identiteiten, waardoor de computer de visuele patronen van iemands beweging kan koppelen aan een semantisch concept van wie die persoon is. Dit fungeert als een brug, die het systeem helpt te begrijpen dat de warmtesignatuur van een wandelend persoon dezelfde identiteit is als hun kleurenbeeld, ook al zien ze er totaal niet hetzelfde uit. Het systeem werd getest op twee grote datasets met honderdduizenden afbeeldingen uit real-world surveillance scenario's. In de infrarood-naar-zichtbaar test, waarbij het systeem probeert een persoon in een kleurenvideo te vinden nadat deze in een warmtegebaseerde video is gezien, behaalde de nieuwe methode een succespercentage van 72,3 procent. In de omgekeerde richting bereikte het 72,4 procent. Deze cijfers vertegenwoordigen een aanzienlijke sprong voorwaarts en overtreffen de vorige beste resultaten met meer dan tien procentpunten in sommige maten.

De onderzoekers testten hun systeem ook op een veel grotere en complexere dataset met meer dan drieduizend verschillende mensen en langere videosequenties. Hoewel het systeem niet de absoluut hoogste score behaalde op elke enkele metriek in deze moeilijkere test, bleef het zeer competitief, waarbij het de juiste persoon correct identificeerde als de beste match in bijna 70 procent van de infrarood-naar-zichtbaar gevallen en 70 procent van de zichtbaar-naar-infrarood gevallen. Dit suggereert dat de methode robuust genoeg is om de rommelige, onvoorspelbare aard van real-world surveillance aan te kunnen, waarbij mensen door menigten lopen, van richting veranderen en verschijnen onder variërende lichtomstandigheden. De studie toonde expliciet aan dat oudere methoden, die vertrouwen op vaste, onveranderlijke sneden van de afbeelding, slechter presteren wanneer mensen bewegen of wanneer de camerahoeken verschuiven. Door te bewijzen dat flexibele, adaptieve onderdelen superieur zijn aan rigide onderdelen, biedt het onderzoek een duidelijk pad voor het bouwen van surveillance-systemen die betrouwbaar werken, zowel dag als nacht.

Het succes van deze aanpak ligt in het vermogen om de manier na te bootsen waarop mensen intuïtief een persoon volgen: door te focussen op de stroom van hun lichaamsdelen in plaats van op een statische momentopname. Het systeem hoeft niet te worden verteld waar het hoofd of de benen zijn; het leert ze te vinden door te observeren hoe de pixels samen bewegen. Deze aanpasbaarheid stelt het systeem in staat om de verstoringen aan te pakken die worden veroorzaakt door het lopen, draaien en de verschillende manieren waarop camera's de wereld vastleggen. Hoewel het huidige systeem nog steeds vertrouwt op gelabelde data om deze patronen te leren en een vast aantal lichaamsdelen gebruikt, laten de resultaten zien dat het afstappen van rigide structuren ten gunste van vloeiende, inhoudsbewuste representaties een krachtige strategie is. Terwijl surveillance-netwerken blijven uitbreiden en steeds meer vertrouwen op infraroodtechnologie voor nachtelijke beveiliging, bieden methoden zoals deze de noodzakelijke instrumenten om ervoor te zorgen dat de juiste persoon wordt geïdentificeerd, ongeacht de tijd van de dag of de camera die de scène vastlegt.