Beyond Visual Cues: Semantic-Driven Token Filtering and Expert Routing for Anytime Person ReID

Probleemstelling

Any-Time Person Re-identification (AT-ReID) heeft als doel individuen te identificeren en te traceren onder willekeurige omstandigheden. Dit omvat twee grote uitdagingen die traditionele methoden vaak niet aankanen:

1. Modale verschuivingen: Het overschakelen tussen dag (RGB) en nacht (Infrarood/IR) beelden.
2. Kledingveranderingen: Het herkennen van dezelfde persoon na korte of lange tijd, waarbij de kleding volledig is veranderd.

Bestaande methoden vertrouwen bijna uitsluitend op pure visuele kenmerken (kleur, textuur). Deze kenmerken zijn echter zeer kwetsbaar voor omgevingsfactoren (lichtinval) en veranderingen in kleding. Wanneer een persoon van kleding verandert én de camera wisselt van dag naar nacht, worden visuele cues vaak onbetrouwbaar, wat leidt tot een sterke prestatiedaling.

Methodologie: STFER

De auteurs stellen STFER (Semantic-driven Token Filtering and Expert Routing) voor, een nieuw raamwerk dat Large Vision-Language Models (LVLMs) integreert om visuele informatie aan te vullen met semantische tekst.

Het proces verloopt als volgt:

1. Generatie van Semantische Tokens:

   • Er wordt gebruikgemaakt van een geavanceerd LVLM (Qwen3-VL-4B) om voor elke identiteit een tekstuele beschrijving te genereren.
   • Deze tekst focust op intrinsieke, biometrische constanten (zoals lichaamsvorm, geslacht, houding) die onveranderlijk zijn, in plaats van op veranderlijke kleding of lichtomstandigheden.
   • Deze tekst fungeert als een robuuste "semantische prior" die als anker dient voor de identiteit.

2. Semantic-driven Visual Token Filtering (SVTF):

   • Een module die gebruikmaakt van cross-attention. De gegenereerde tekst-tokens fungeren als queries en de visuele tokens (image patches) als keys.
   • Dit creëert een aandachtskaart die bepaalt welke visuele gebieden relevant zijn voor de identiteit.
   • Doel: Irrelevante achtergrondruis en tokens die gerelateerd zijn aan veranderende kleding worden onderdrukt, terwijl informatieve lichaamsdelen worden versterkt.

3. Semantic-driven Expert Routing (SER):

   • AT-ReID omvat zes specifieke scenario's (bijv. dag/korte termijn, nacht/lange termijn, etc.).
   • In plaats van alleen te vertrouwen op visuele CLS-tokens voor het routeren van experts (een Mixture-of-Experts aanpak), gebruikt STFER zowel de CLS-token als de globale tekstuele embedding.
   • Een routeringsmechanisme (gate) bepaalt welke "expert" (sub-netwerk) het beste is voor het huidige scenario, gebaseerd op de combinatie van visuele en semantische input. Dit zorgt voor een robuustere selectie van experts in complexe situaties.

4. Architectuur:

   • De backbone is een Vision Transformer (ViT).
   • De input bestaat uit visuele patches, tekst-tokens en scenario-specifieke CLS-tokens.
   • Het model wordt getraind met een scenario-bewust identiteitsverlies om de discriminatie tussen personen in alle zes scenario's te maximaliseren.

Belangrijkste Bijdragen

• Eerste semantisch geleide cross-modale framework voor AT-ReID: Het introduceert het gebruik van LVLM-genereren tekst als een robuuste identiteitsanker om de kloof tussen modale verschuivingen en kledingveranderingen te overbruggen.
• SVTF Mechanisme: Een nieuwe module die visuele redundantie en ruis filtert door tekstuele attributen te gebruiken als leidraad, waardoor het model zich richt op identiteitsdiscriminerende regio's.
• SER Strategie: Een verbeterde routeringsmethode die semantische tekst integreert in het expert-systeem, wat leidt tot betere prestaties in multi-scenario omgevingen.
• Uitgebreide Validatie: Het model is getest op de AT-USTC dataset en toont superioriteit in generalisatie op vijf andere populaire ReID-datasets.

Resultaten

De prestaties zijn getest op de AT-USTC dataset (de standaard voor AT-ReID) en vijf cross-domein datasets (Market1501, CUHK03, SYSU-MM01, PRCC, LTCC).

• AT-USTC Prestaties:

  • STFER behaalt een Rank-1 (R1) van 94,54% en een mAP van 93,46% in de "Any-Time" test.
  • Dit is een enorme verbetering ten opzichte van de state-of-the-art methoden (bijv. Uni-AT had ~55% R1 en ~41% mAP).
  • De verbetering is het meest opvallend in de moeilijkste scenario's: lange termijn kledingveranderingen en dag-naar-nacht overgangen.

• Generalisatie:

  • Bij cross-domein testen (getraind op AT-USTC, getest op andere datasets) behaalde STFER een gemiddelde R1 van 74,33% en mAP van 75,26%.
  • Dit is significant hoger dan bestaande methoden, wat aantoont dat het model niet overfit op de specifieke dataset, maar echte identiteitskenmerken leert.

• Ablatie-studies:

  • Het toevoegen van tekstuele priors alleen al zorgde voor een stijging van ~67% in R1.
  • De combinatie van SVTF en SER leverde verdere marginale, maar significante verbeteringen op, wat aantoont dat beide componenten noodzakelijk zijn voor de optimale werking.

Betekenis en Conclusie

Dit paper markeert een paradigmaverschuiving in Person Re-identification. In plaats van te proberen visuele kenmerken robuuster te maken door ze te "reinigen", introduceert STFER een semantisch laag dat de identiteit definieert op een niveau dat onafhankelijk is van kleding en licht.

Door Large Vision-Language Models te gebruiken om een "waarheid" over de identiteit (biometrie) te extraheren, kan het model visuele ruis effectief filteren en de juiste experts selecteren voor specifieke scenario's. Dit maakt AT-ReID veel praktischer voor echte beveiligingstoepassingen, zoals het opsporen van vermiste personen of verdachten in stedelijke omgevingen, waar kledingveranderingen en dag-nacht cycli de norm zijn. De auteurs merken op dat toekomstig werk zich moet richten op het verbeteren van de LVLM-generatie bij zeer slechte beeldkwaliteit (occlusie, lage resolutie).