ICPR 2026 Competition on Privacy-Preserving Person Re-Identification from Top-View RGB-Depth Camera (TVRID)

Technische Samenvatting: ICPR 2026 TVRID Competitie

Probleemstelling
Person Re-Identification (Re-ID) vertrouwt traditioneel op RGB-beeldmateriaal, waarbij identiteit wordt afgeleid uit kledingkleur en textuur. Deze aanpak staat echter voor twee kritieke beperkingen: kwetsbaarheid voor real-world factoren zoals perspectiefveranderingen en verduistering, en aanzienlijke privacyzorgen bij openbare surveillance door de blootstelling van persoonlijk identificeerbare uiterlijke kenmerken. Hoewel dieptebepaling een privacybehoudend alternatief biedt door het vastleggen van 3D-structuur en het onderdrukken van op kleur gebaseerde aanwijzingen, missen bestaande datasets met bovenaanzicht ondersteuning voor gecontroleerde geometrische variaties (zoals op- en afwaartse beweging) die de waargenomen lichaamsverhoudingen aanzienlijk veranderen. De ICPR 2026 TVRID (Top-View RGB-Depth Person Re-Identification) competitie adresseert deze kloof door Re-ID-prestaties te evalueren onder privacybewuste, modaal beperkte en cross-modale omstandigheden.

Dataset en Competitie-opzet
De competitie is gebaseerd op de TVRID dataset, bestaande uit 86 identiteiten vastgelegd door vier gesynchroniseerde overhead Intel RealSense D455-camera's. De opnameset-up omvat gestructureerde geometrische variaties over vier distincte gezichtspunten:

1. Vlak: Canoniek passage op grondniveau.
2. Opwaarts: Omhooggaande beweging op een ladder.
3. Afwaarts: Omlaaggaande beweging op een ladder.
4. Schuin: Verhoogd schuin dakperspectief.

Elk onderwerp wordt tweemaal per camera opgenomen (IN/UIT-richtingen), resulterend in gepaarde, gesynchroniseerde RGB- en Depth-streams met 15 FPS. De dataset bevat vooraf berekende persoon-crops om end-to-end pipelines te faciliteren.

De competitie evalueerde drie distincte tracks:

• Track 1 (RGB Re-ID): Standaard Re-ID met RGB-afbeeldingen, dienend als een upper-bound baseline.
• Track 2 (Depth Re-ID): Privacybehoudende Re-ID uitsluitend met dieptekaarten, waarbij robuustheid tegen geometrische verschuivingen zonder kleuraanwijzingen wordt getest.
• Track 3 (RGB↔Depth Cross-Modal Re-ID): Zoeken waarbij de query en de gallery tot verschillende modaliteiten behoren (bijvoorbeeld RGB-query versus Depth-gallery), waarmee modaal-invariante representatielering wordt getest.

De evaluatie vond plaats met behulp van CMC@1 (Cumulative Matching Characteristic op Rang-1) en mAP (mean Average Precision) over drie camera-gebaseerde scenario's: binnen-camera (IN/UIT), opwaarts versus afwaarts, en vlak versus schuin.

Methodologische Benaderingen van Top-entries
De competitie trok 147 deelnemers, met 33 definitieve inzendingen op de verborgen testset. De best presterende methoden over de tracks gebruikten geavanceerde deep learning-architecturen en specifieke trainingsstrategieën:

• RGB Track:

  • Hien Pham Duy et al. behaalden 100% CMC@1 met een ViT-Base backbone, identiteitsbewuste PK-sampling en mensgerichte augmentaties (bijvoorbeeld achtergrondverwijdering, lichaamsdeelverwijdering). Zij gebruikten mean pooling voor sequentie-aggregatie en k-reciprocal re-ranking.
  • Carlo Metta gebruikte een ConvNeXt-Base backbone met ArcFace en batch-hard triplet-verliezen, met toepassing van 5-voudige cross-validatie en ensembling.
  • Oron Nir et al. pasten MINER (Modeling Inter- and Intra-Person Variance) toe, een contrastief leerframework gebaseerd op EVA-CLIP DIFFER, met focus op hard negative/positive mining om view-invariante representaties te leren.

• Depth Track:

  • Jin-Hui Jiang et al. (98,86% CMC@1) adapteerden VSLA-CLIP met een ViT-Base/16 backbone. Zij gebruikten een twee-fase cyclische optimalisatie met trainbare temporele adaptatiemodules en cross-modale verliezen (supervised contrastive, MSE distillatie, InfoNCE) om diepte-embeddings indirect te vormen via RGB-supervisie.
  • Oron Nir et al. adapteerden het MINER framework door dieptekaarten om te zetten naar inverse diepte, deze te normaliseren en een Spectral colormap toe te passen om pseudo-RGB-inputs te creëren die compatibel zijn met de vision transformer backbone.
  • Md Rashidunnabi et al. stelden een op sequentie gebaseerde pipeline voor met ResNet-50 en temporele attention pooling, getraind met een combinatie van identiteitsclassificatie, triplet-verliezen en center loss op gepaarde RGB-Depth-data.

• Cross-Modal Track:

  • Md Rashidunnabi et al. (99,84% CMC@1) gebruikten XM-VSLA, een adaptatie van VSLA-CLIP die RGB-Depth Re-ID behandelt als een vision-language alignment-probleem binnen een gedeelde embedding-ruimte, geleid door identiteitsgeconditioneerde tekst-prompten.
  • Jin-Hui Jiang et al. en Oron Nir et al. maakten eveneens gebruik van respectievelijk de VSLA-CLIP- en MINER-frameworks, met expliciete cross-modale contrastieve alignering en dual-encoder-architecturen om de discrepantie tussen RGB- en diepterepresentaties te minimaliseren.

Belangrijkste Resultaten
De finale resultaten vestigden een duidelijke moeilijkheidsgraden-hiërarchie: RGB > Depth > Cross-Modal.

• RGB Track: Top-systemen behaalden bijna perfecte prestaties (100% CMC@1, 100% mAP).
• Depth Track: De prestaties daalden aanzienlijk ten opzichte van RGB, waarbij het topsysteem 98,86% CMC@1 en 99,38% mAP behaalde. De geaggregeerde mediane mAP voor de track was 49,82%, wat wijst op een substantiële uitdaging voor systemen die uitsluitend op diepte vertrouwen.
• Cross-Modal Track: Dit was de moeilijkste taak. Het topsysteem behaalde 99,84% CMC@1 en 99,92% mAP, maar de geaggregeerde mediane mAP was slechts 23,30%. De prestatiekloof tussen Depth en Cross-Modal bedroeg ongeveer 16,44 punten in mAP.

Kwalitatieve analyse suggereerde dat het matchen van vlakke-beeldstalen tegen de schuine camera de moeilijkste configuratie was.

Betekenis en Claims
Het artikel positioneert TVRID als een reproduceerbare benchmark voor bovenaanzicht, dieptegedreven en cross-modale person Re-ID. De primaire bijdragen zijn:

1. Dataset: Het bieden van een gesynchroniseerde RGB-Depth dataset met gestructureerde geometrische variaties (vlak, opwaarts, afwaarts, schuin) die veel voorkomen in real-world implementaties maar ondervertegenwoordigd zijn in eerdere benchmarks.
2. Protocol: Het vaststellen van een unificatie evaluatiekader dat gelijktijdig herkenningsprestaties, modaal-robustheid en privacy-prestatie trade-offs evalueert.
3. Inzichten:
   • De resultaten bevestigen dat, hoewel dieptebepaling de gemiddelde ophaalaccuraatheid verlaagt ten opzichte van RGB, sterke modaal-invariante representaties haalbaar zijn.
   • Het succes van cross-modale ophaalactie (RGB-query $\to$ Depth-gallery) daagt de aanname uit dat diepte inherent privacybehoudend is. De auteurs betogen dat als diepte betrouwbaar kan worden gekoppeld aan RGB-identiteitssignaturen, privacybescherming een conditionele eigenschap wordt die afhankelijk is van dreigingsmodellen en toegangscontrole, in plaats van een automatische garantie.
   • Camera-geometrie (specifiek hoogteveranderingen) blijft een belangrijke stressfactor voor Re-ID-systemen.

Het artikel concludeert dat TVRID niet alleen dient als evaluatiebenchmark, maar ook als kader voor discussie over operationele privacyrisico's in moderne Re-ID-systemen, waarbij de noodzaak wordt benadrukt voor genuanceerde interpretaties van privacy in de context van cross-modale koppeling.