Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification

Probleemstelling

Video-based Person Re-Identification (ReID) richt zich op het identificeren van individuen over niet-overlappende camera's heen door gebruik te maken van ruimtelijke en temporele aanwijzingen. Hoewel bestaande methoden goed presteren in standaard scenario's (zoals surveillance van voetgangers), kampen ze met aanzienlijke moeilijkheden in hoog-difficultie scenario's, zoals sportwedstrijden en dansvoorstellingen.

De kernproblemen in deze scenario's zijn:

1. Hoge visuele gelijkenis: Meerdere personen dragen identieke uniformen of kostuums.
2. Dynamische beweging: Snelle bewegingen maken het moeilijk om subtiele, discriminerende kenmerken (zoals haarstijl, schoenen of shirtnummers) vast te leggen.
3. Beperkingen van bestaande methoden: Bestaande CLIP-gebaseerde methoden vertrouwen vaak op "leerbare tokens" of geaggregeerde beeldfeatures zonder expliciete tekstuele beschrijvingen. Dit maakt het lastig om fijne, subtiel onderscheidende details te vangen die vaak alleen in kleine regio's van de afbeelding voorkomen. Daarnaast leiden zelf-attentie mechanismen (self-attention) in video's tot een kwadratische toename van de rekenkosten bij hogere frame-rates of resoluties.

Methodologie: CG-CLIP

De auteurs stellen CG-CLIP (Caption-Guided CLIP) voor, een nieuw raamwerk dat expliciete tekstuele beschrijvingen combineert met leerbare tokens om robuuste representaties te genereren. Het framework bestaat uit twee hoofdcomponenten:

1. Caption-guided Memory Refinement (CMR)

Deze module verbetert de "Image Memory" (identiteitsprototypes gebaseerd op beelden) door gebruik te maken van tekstuele beschrijvingen gegenereerd door Multi-modal Large Language Models (MLLM's).

• Generatie van captions: MLLM's (zoals Phi-4-Multimodal) genereren gedetailleerde beschrijvingen van subtiele attributen (bijv. "vrouw met paardenstaart, blauw uniform met nummer 7").
• Text Memory: Voor elke identiteit wordt een "Text Memory" gemaakt door de embeddings van de gegenereerde captions te middelen.
• Refinement: In plaats van een simpele som van beeld- en tekstfeatures, gebruikt CMR de Text Memory als query in een kruis-attentie mechanisme (cross-attention) om specifieke, discriminerende "patch tokens" uit de beeldfeatures te selecteren.
• Resultaat: De Image Memory wordt verfijnd met deze细-granulaire (fijne) aanwijzingen, waardoor het model beter leert op de unieke kenmerken van een persoon in plaats van alleen op het algemene uiterlijk.
• Efficiëntie: De captions en de CMR-module worden alleen gebruikt tijdens het trainen. Tijdens inferentie (testen) zijn ze niet nodig, wat de snelheid behoudt.

2. Token-based Feature Extraction (TFE)

Deze module lost het probleem van de hoge rekenkosten bij het verwerken van spatiotemporele data op.

• Probleem: Zelf-attentie in Transformers schaalt kwadratisch met het aantal tokens, wat inefficiënt is voor video's met veel frames of hoge resolutie.
• Oplossing: TFE gebruikt een set van vaste lengte leerbare tokens (fixed-length learnable tokens).
• Mechanisme: Deze tokens worden sequentieel toegepast via een kruis-attentie mechanisme langs zowel de temporele als ruimtelijke dimensies. Hierdoor blijft de rekencomplexiteit lineair in plaats van kwadratisch.
• Voordeel: Dit maakt het mogelijk om dichter te sample (meer frames) of hogere resoluties te gebruiken zonder de rekenkosten explosief te laten stijgen, wat essentieel is voor snelle bewegingsscenario's.

Nieuwe Datasets

Om de prestaties in deze uitdagende scenario's te evalueren, hebben de auteurs twee nieuwe datasets geconstrueerd, afgeleid van Multi-Object Tracking (MOT) datasets:

• SportsVReID: Gebaseerd op SportsMOT (basketbal, voetbal, volleybal).
• DanceVReID: Gebaseerd op DanceTrack (groepsdans).
  Beide datasets bevatten individuen in bijna identieke kleding, wat ze aanzienlijk moeilijker maakt dan bestaande benchmarks zoals MARS of iLIDS-VID.

Resultaten

Experimentele resultaten tonen aan dat CG-CLIP state-of-the-art (SOTA) methoden overtreft op alle geteste benchmarks:

• Bestaande Datasets: Op MARS en iLIDS-VID behaalde het model de beste resultaten (bijv. 89.8% mAP en 92.5% Rank-1 op MARS), wat een significante verbetering is ten opzichte van eerdere CLIP-gebaseerde methoden zoals TF-CLIP.
• Nieuwe Datasets: Op de hoog-difficultie datasets (SportsVReID en DanceVReID) is de prestatieverbetering nog groter. Op DanceVReID overtrof het de concurrent TF-CLIP met 5.2% in Rank-1.
• Efficiëntie: De TFE-module reduceerde de rekenkosten voor temporele aggregatie met ongeveer 70% ten opzichte van self-attention methoden, terwijl de nauwkeurigheid behouden bleef of zelfs verbeterde.
• Data-efficiëntie: Het model presteerde ook beter dan baselines wanneer slechts een klein deel (20-80%) van de trainingsdata werd gebruikt, dankzij de rijke semantische informatie uit de captions.

Belangrijkste Bijdragen

1. CG-CLIP Framework: Een nieuw CLIP-gebaseerd raamwerk dat expliciete tekstuele beschrijvingen integreert om fijne, discriminerende kenmerken te extraheren in scenario's met hoge visuele gelijkenis.
2. CMR Module: Een innovatieve methode om Image Memory te verfijnen met behulp van MLLM-genererde captions, waardoor het model zich richt op unieke attributen (haar, schoenen, nummers) in plaats van alleen globale features.
3. TFE Module: Een efficiënte spatiotemporele feature-extractor die lineaire complexiteit garandeert door het gebruik van leerbare tokens, waardoor het schaalbaar is voor snelle bewegingsscenario's.
4. Nieuwe Benchmarks: De introductie van SportsVReID en DanceVReID, die de kloof in de literatuur voor video-ReID in sport- en danscontexten dichten.

Betekenis en Impact

Dit paper is significant omdat het de grenzen van video-based Person ReID verlegt van standaard voetgangers-scenario's naar complexe, real-world situaties zoals sport en dans. Door het succesvol te combineren van visuele en tekstuele modaliteiten (via MLLM's) en de rekenkosten te optimaliseren, biedt CG-CLIP een robuuste oplossing voor het identificeren van individuen in menigten met uniforme kleding. Dit heeft directe toepassingen in geavanceerde videobewaking, sportanalyse en langdurige tracking in dynamische omgevingen. De studie benadrukt ook het potentieel van "caption-guided" learning om de beperkingen van puur visuele modellen te overwinnen.