CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

Stel je voor dat je een specifieke vriend probeert te vinden in een drukke stad, maar je hebt twee heel verschillende kaarten. De ene kaart is een levendige, hoogresolutie kleurenfoto genomen overdag, waarop de felrode jas en blauwe sneakers van je vriend te zien zijn. De andere kaart is een korrelig, zwart-wit thermisch beeld gemaakt in de nacht, waar je vriend eruitziet als een gloeiende witte vlek tegen een donkere achtergrond. Dit is de dagelijkse uitdaging voor beveiligingscamera's en computervisiestelsels: het matchen van een persoon die gezien is in het daglicht (zichtbaar licht) met dezelfde persoon in het donker (infrarood). Hoewel mensen gemakkelijk de verbanden kunnen leggen tussen een kleurrijk gezicht en een warmtesignatuur, worstelen computers hiermee omdat de "kloof" tussen deze twee soorten afbeeldingen enorm is. Ze zien er totaal niet hetzelfde uit, wat het voor standaard AI moeilijk maakt om te beseffen dat ze naar dezelfde persoon kijken. Om dit op te lossen, gebruiken onderzoekers vaak een slimme truc met een "universele vertaler" genaamd CLIP. Denk aan CLIP als een superintelligente bibliothecaris die miljoenen boeken heeft gelezen en miljoenen foto's heeft gezien; de bibliothecaris weet dat het woord "sneakers" verbonden is aan de afbeelding van schoenen, zelfs als de afbeelding wazig of genomen is in het donker. Door woorden als brug te gebruiken, kan de computer proberen de dagfoto te matchen met de nachtfoto via hun gedeelde beschrijving.

Maar er is een addertje onder het gras. De "bibliothecaris" (CLIP) is voornamelijk getraind op kleurrijke, zonnige foto's. Als je hem vraagt om een gloeiende warmtevlek van een nachtcamera te beschrijven, raakt hij vaak in de war en produceert hij vage of ruizige beschrijvingen zoals "een vage persoon" in plaats van "een persoon met een rugzak". Deze verwarring verstoort het matchingsproces. In dit artikel stellen de auteurs een nieuwe methode voor genaamd CLIP4VI-ReID om dit probleem op te lossen. In plaats van de verwarde bibliothecaris direct een beschrijving van de nachtfoto te laten maken, vragen ze hem eerst om de duidelijke dagfoto te beschrijven. Vervolgens gebruiken ze die nauwkeurige beschrijving als gids om de computer te "leren" hoe hij de nachtfoto correct moet zien. Ze doen dit in drie stappen: eerst genereren ze perfecte tekstuele beschrijvingen van de dagfoto's; daarna gebruiken ze die woorden om het begrip van de computer voor de nachtfoto's te corrigeren; en tot slot verfijnen ze het hele systeem zodat de dagfoto's, nachtfoto's en de tekstbeschrijvingen allemaal perfect op één lijn liggen. De resultaten laten zien dat deze stapsgewijze aanpak veel beter is in het vinden van de juiste persoon dan eerdere methoden, wat bewijst dat het gebruik van de juiste soort "woorden" als brug computers helpt om helder te zien, zelfs in het donker.

Het Probleem: De Grote Modaliteitskloof

Stel je voor dat je probeert een identiteitsbewijs van een verdachte te matchen (een duidelijke kleurenfoto) met een camerabeeld van een beveiligingscamera in een donker steegje (een thermisch, zwart-wit beeld). In de wereld van computer vision wordt dit Visible-Infrared Person Re-identification (VI-ReID) genoemd. Het doel is simpel: dezelfde persoon vinden in deze twee zeer verschillende soorten afbeeldingen. Maar het is ongelooflijk moeilijk omdat de twee afbeeldingen er totaal niet hetzelfde uitzien. De kleurenfoto zit vol details zoals een rode shirt en een blauwe jeans, terwijl de thermische afbeelding slechts een gloeiende vorm is gebaseerd op lichaamswarmte.

Lama tijd probeerden computers dit op te lossen door ofwel de thermische afbeelding om te zetten naar een kleurenfoto (wat er vaak nep en ruizig uitziet), of door direct gemeenschappelijke kenmerken tussen de twee te zoeken. Maar de auteurs van dit artikel merkten een fout op in de manier waarop nieuwere, intelligentere AI-modellen (gebaseerd op iets dat CLIP wordt genoemd) hiermee omgaan. Deze modellen probeerden een tekstuele beschrijving te genereren voor zowel de kleurenfoto als de thermische foto. Het probleem? De AI is getraind op miljoenen zonnige, kleurrijke foto's. Wanneer de AI naar een thermische afbeelding kijelt, weet hij niet wat hij moet zeggen. Hij genereert zwakke, onnauwkeurige beschrijvingen zoals "een moeilijk te zien persoon" in plaats van nuttige details zoals "iemand met een hoed". Deze slechte beschrijving maakte het voor de computer moeilijker om de persoon te matchen, in plaats van het makkelijker te maken.

De Oplossing: Een Brug in Drie Fasen

Om dit op te lossen, bouwden de auteurs een nieuw systeem genaamd CLIP4VI-ReID. In plaats van de AI te dwingen te raden hoe de thermische afbeelding eruit ziet in woorden, ontwierpen ze een slim driefasig proces dat werkt als een bouwploeg die een brug bouwt tussen de twee werelden.

Fase 1: De Tekstuele Semantische Generatie (TSG)
Eerst besloten ze om de AI niet meer te vragen de thermische afbeelding te beschrijven. In plaats daarvan vroegen ze de AI alleen om de heldere kleurenfoto's te beschrijven. Ze gebruikten een techniek genaamd "prompt learning", wat lijkt op het geven van een invulzin aan de AI: "Een foto van een [_____] persoon." De AI leert de gaten in te vullen met specifieke details (zoals "draagt sneakers" of "draagt een rugzak") op basis van alleen de kleurenfoto's. Omdat de kleurenfoto's duidelijk zijn, genereert de AI perfecte, gedetailleerde tekstuele beschrijvingen. Deze beschrijvingen worden de "gouden standaard" of de brug.

Fase 2: Infrarode Kenmerk-embedding (IFE)
Nu ze de perfecte tekstuele beschrijvingen van de kleurenfoto's hebben, gebruiken ze deze om de AI te leren hoe hij naar de thermische beelden moet kijken. Ze vragen de AI niet om nieuwe woorden te genereren voor de thermische afbeelding. In plaats daarvan zeggen ze tegen de AI: "Kijk naar deze thermische afbeelding en probeer de kenmerken ervan te laten overeenkomen met de tekst die we al voor de kleurenfoto hebben geschreven." Dit is als het laten zien van een duidelijke kaart aan een student en diegene vervolgens vragen om een mistig pad te navigeren met diezelfde kaart als gids. De AI leert zijn begrip van de thermische afbeelding aan te passen, zodat deze overeenkomt met de nauwkeurige tekstuele beschrijving. Deze stap "corrigeert" of herstelt de kenmerken van de thermische afbeelding, waardoor de juiste identiteitsinformatie erin wordt geïnjecteerd.

Fase 3: High-level Semantische Uitlijning (HSA)
Ten slotte verfijnt het team het hele systeem. Ze zorgen ervoor dat de tekstuele beschrijvingen niet per ongeluk details bevatten die alleen in de kleurenfoto aanwezig zijn (zoals specifieke kleuren) en die niet gedeeld worden met de thermische foto. Ze willen dat de tekst alleen dingen beschrijft die waar zijn voor beide afbeeldingen (zoals "een persoon met een rugzak"). Ze passen ook de onderdelen van de AI aan die de kleuren- en thermische afbeeldingen afzonderlijk bekijken, om er zeker van te zijn dat ze de beste details oppikken. Deze laatste fase zorgt ervoor dat de kleurenfoto, de thermische foto en de tekstuele beschrijving allemaal met hoge precisie naar dezelfde persoon wijzen.

Wat ze hebben gevonden

De auteurs hebben hun nieuwe systeem getest op twee beroemde datasets van mensen in kleur en thermische beelden: SYSU-MM01 en RegDB. Ze vergeleken hun methode met de beste bestaande technieken.

• Op de SYSU-MM01 dataset: Hun methode, CLIP4VI-ReID, behaalde een Rank-1 nauwkeurigheid van 75,54% in de "All-Search" setting (waarbij het systeem de persoon moet vinden tussen vele mogelijkheden). Dit was beter dan de vorige beste methode, die 75,2% behaalde. In de "Indoor-Search" setting behaalden ze een nog hogere Rank-1 nauwkeurigheid van 83,98%, waarmee ze de op één na beste methode met een aanzienlijke marge versloegen.
• Op de RegDB dataset: De resultaten waren nog indrukwekkender. In de "Infrared-to-Visible" test (het vinden van een kleurenfoto op basis van een thermische query), bereikten ze een Rank-1 nauwkeurigheid van 92,28%, wat de hoogste was van alle geteste methoden. In de "Visible-to-Infrared" test haalden ze een Rank-1 nauwkeurigheid van 94,51%.

Het paper bevatte ook visueel bewijs. Ze lieten zien dat vóór hun methode de "mentale kaart" van de computer voor kleuren- en thermische beelden in totaal verschillende gebieden lag. Na hun driefasige proces klonterden de afbeeldingen van dezelfde persoon (of het nu kleur of thermisch was) dicht bij elkaar, terwijl afbeeldingen van verschillende mensen ver uit elkaar bleven.

Waarom het ertoe doet

De belangrijkste les is dat het dwingen van een computer om een thermische afbeelding direct te beschrijven, vaak leidt tot verwarring en fouten. Door eerst de duidelijke kleurenfoto te gebruiken om de beschrijving te genereren, en die beschrijving vervolgens te gebruiken om de thermische afbeelding te sturen, vermijdt het systeem de "ruis" en behaalt het veel betere resultaten. De auteurs suggereren dat deze "coarse-to-fine" aanpak — waarbij men begint met een grove uitlijning en deze vervolgens verfijnt — een krachtige manier is om computers te helpen over verschillende soorten licht heen te kijken. Hoewel de methode iets meer trainingstijd vereist dan simpelere modellen, suggereert de verbetering in nauwkeurigheid dat het een waardevolle afweging is voor beveiligingssystemen die 24/7, zowel overdag als 's nachts, moeten werken.