CityGuard: Graph-Aware Private Descriptors for Bias-Resilient Identity Search Across Urban Cameras

CityGuard is een privacy-bewust, grafgebaseerd transformer-framework dat door middel van verspreidingsadaptieve metrieke learning, ruimtelijk geconditioneerde attention en differentieel-private embedding maps een robuuste en schaalbare oplossing biedt voor de identiteitssuche van personen over stedelijke camera's, waarbij de balans tussen privacy en bruikbaarheid wordt gewaarborgd.

De kern

CityGuard: De Slimme, Privacy-Vriendelijke Wachtman voor de Stad

Stel je voor dat je een enorme stad hebt met duizenden camera's op elke straathoek. De politie of beveiliging wil weten: "Is die persoon die we net op camera A zagen, dezelfde persoon die we nu op camera B zien?" Dit heet Person Re-Identification.

Maar er zijn twee grote problemen:

1. Het is lastig: Mensen zien er anders uit afhankelijk van waar de camera staat, of ze een jas dragen, of ze worden geblokkeerd door een busje.
2. Privacy: We mogen niet zomaar alle foto's van burgers opslaan en delen. Dat is illegaal en onethisch.

CityGuard is een nieuwe slimme oplossing die dit probleem oplost. Het is als een superwachtman die niet naar de foto's zelf kijkt, maar naar een veilig, versleuteld "gevoel" van de persoon, en die bovendien slim gebruikmaakt van de plattegrond van de stad.

Hier zijn de drie magische trucs die CityGuard gebruikt:

---

1. De "Ruimtelijke Kompas" (Geometrie & Topologie)

Stel je voor dat je een persoon zoekt in een groot winkelcentrum. Als je iemand op de begane grond ziet, is de kans groot dat je die persoon op de eerste verdieping ook ziet als je de lift neemt. Maar als je diezelfde persoon zoekt in een ander winkelcentrum, 10 kilometer verderop, is de kans nihil.

• Hoe werkt het nu? Veel systemen kijken alleen naar de foto en proberen te raden of het dezelfde persoon is, alsof ze blind zijn.
• Hoe werkt CityGuard? CityGuard heeft een digitale plattegrond van de stad in zijn hoofd. Het weet: "Camera A en Camera B staan dicht bij elkaar en kijken in dezelfde richting."
• De Analogie: Het is alsof CityGuard een kompas heeft. Als hij iemand ziet, zegt hij niet alleen: "Die lijkt op die," maar ook: "Die staat op de hoek van de straat, en de volgende camera is ook op die hoek. Dus het is waarschijnlijk dezelfde persoon."
• Het voordeel: Hij hoeft geen perfecte, dure metingen van de camera's te hebben. Zelfs als de GPS-locatie een beetje onnauwkeurig is (bijvoorbeeld binnen 5 meter), werkt het nog steeds perfect. Het is alsof je iemand herkent aan zijn stem en het feit dat hij in dezelfde kamer staat, zonder dat je zijn gezicht perfect hoeft te zien.

2. De "Slimme Afstandsmeter" (Adaptieve Metriek)

Stel je voor dat je een groep mensen moet groeperen. Sommige mensen zijn heel erg op elkaar (bijvoorbeeld tweelingbroers), terwijl anderen er heel anders uitzien (bijvoorbeeld een groep vrienden met verschillende kledingstijlen).

• Hoe werkt het nu? De meeste systemen gebruiken één vaste regel: "Als ze meer dan X% op elkaar lijken, zijn het dezelfde persoon." Dit werkt niet goed als de groep mensen erg verschillend is.
• Hoe werkt CityGuard? CityGuard is slim en flexibel. Hij kijkt naar elke persoon apart.
  • Bij een persoon die erg veel variatie heeft (bijvoorbeeld iemand die vaak van kleding verandert), maakt hij de regel strenger.
  • Bij een persoon die altijd hetzelfde draagt, maakt hij de regel ruimer.
• De Analogie: Het is alsof CityGuard een maatwerk-schoen voor elke persoon maakt. Hij past de maat (de "marge") aan op basis van hoe breed of smal de voet (de persoon) is. Zo past de schoen perfect, of de persoon nu een smalle of brede voet heeft. Dit zorgt ervoor dat hij minder snel de verkeerde persoon kiest.

3. De "Onleesbare Paspoort" (Privacy & Versleuteling)

Dit is misschien wel het belangrijkste deel. In het verleden moesten beveiligingssystemen vaak de hele foto van een persoon opslaan. Dat is gevaarlijk voor de privacy.

• Hoe werkt het nu? Veel systemen slaan de foto's op of maken er een "vingerafdruk" van die nog steeds te veel informatie bevat.
• Hoe werkt CityGuard? CityGuard maakt een versleutelde code (een embedding) van de persoon. Maar hij voegt hier een heel klein beetje "ruis" (statische storing) aan toe, zoals een beetje ruis op een radiozender.
• De Analogie: Stel je voor dat je een paspoort hebt. In plaats van een foto van je gezicht te tonen, geef je een versleutelde code die alleen de beveiliging kan lezen.
  • De code is zo gemaakt dat je er geen gezicht meer uit kunt halen (geen reconstructie).
  • Maar de code is nog steeds goed genoeg om te zeggen: "Ja, dit is dezelfde persoon als gisteren."
  • Het is alsof je een brief verstuurt in een onbreekbare kluis. De postbode (de hacker) kan de kluis niet openen om de inhoud te zien, maar hij kan wel de kluis van persoon A vergelijken met de kluis van persoon B om te zien of ze van dezelfde persoon zijn.

---

Wat is het resultaat?

De onderzoekers hebben CityGuard getest op echte datasets (zoals Market-1501, een grote database van mensen op camera's).

• Hoger succes: Het vindt de juiste persoon vaker dan de oude systemen, zelfs als de persoon wordt geblokkeerd door een object of als het weer slecht is.
• Veilig: Zelfs als hackers proberen de versleutelde codes te hacken, kunnen ze niets terugvinden over wie de persoon is.
• Snel: Het werkt snel genoeg voor echte steden, zonder dat de computer te traag wordt.

Kort samengevat

CityGuard is als een slimme, privacy-bewuste detective die een stad bewaakt. Hij gebruikt de plattegrond van de stad om zijn zoektocht te vergemakkelijken, past zijn regels aan aan elke individuele persoon, en gebruikt een magische versleuteling zodat hij de persoon herkent zonder ooit hun echte foto te hoeven zien of op te slaan. Het is de toekomst van veilig én ethisch toezicht in onze steden.

Technische samenvatting

Probleemstelling

Personenre-identificatie (Re-ID) op stadsch schaal, waarbij individuen over meerdere niet-overlappende camera's worden gevolgd, staat voor drie fundamentele uitdagingen:

1. Visuele variatie: Uiterlijke kenmerken veranderen drastisch door perspectiefverschillen, verduistering (occlusie), belichting en kleding.
2. Privacy en regelgeving: Strikte wetgeving (zoals GDPR en CCPA) verbiedt het delen van ruwe beelden, wat de traditionele methoden voor het centraliseren van data voor training en zoekopdrachten onmogelijk maakt.
3. Systeemcomplexiteit: Bestaande methoden missen vaak de integratie van ruimtelijke context (camera-locaties) en bieden geen evenwicht tussen nauwkeurigheid, robuustheid en privacybehoud. Loss-functies met vaste marges passen zich niet aan aan de variabiliteit binnen specifieke identiteiten, en standaard attentiemechanismen negeren de fysieke lay-out van de camera's.

Methodologie: Het CityGuard Framework

CityGuard is een geïntegreerd framework dat een topology-bewuste transformer gebruikt voor privacy-bewuste identiteitsspeurtocht in gedecentraliseerde surveillance. Het bestaat uit drie kerncomponenten:

1. Dispersie-bewuste Adaptieve Marges (ACT Loss)

Om intra-klass compactheid te vergroten en inter-klass scheiding te verbeteren, past CityGuard de marges in de loss-functie dynamisch aan op basis van de spreiding van de kenmerken per identiteit.

• Mechanisme: De margin $\gamma_i$ voor een identiteit $i$ wordt berekend als:
  $$\gamma_i = \gamma_0 (1 + \alpha \tanh(\beta D_{KL}(P_i \parallel Q)))$$
  Waarbij $D_{KL}$ de Kullback-Leibler-divergentie is tussen de empirische verdeling van de identiteit ($P_i$) en een globale referentie ($Q$).
• Effect: Identiteiten met een hoge variabiliteit (grote spreiding) krijgen een grotere margin, wat zorgt voor een strakkere clustering van complexe identiteiten zonder de discriminatie van makkelijke identiteiten te verliezen.

2. Geometrie-voorwaarde Attentie (Geometry-Conditioned Attention)

In plaats van complexe kalibratie, gebruikt het framework ruwe ruimtelijke metadata (zoals GPS-coördinaten of plattegronden) om een graafstructuur van camera's te bouwen.

• Topologie: Camera's zijn knopen in een graaf; de randen worden gewogen door een Gaussische affiniteitsmatrix gebaseerd op de ruimtelijke afstand en oriëntatie tussen camera's.
• Attentie: Deze geometrische prior wordt ingebracht in de self-attention mechanismen van de transformer. Dit zorgt ervoor dat het model cross-view alignatie verbetert door fysiek gerelateerde weergaven (bijv. camera's die op elkaar volgen) sterker te wegen, zelfs zonder survey-grade kalibratie.

3. Differentieel Privacy (DP) Embeddings en Indexering

Om de privacy van opgeslagen embeddings te waarborgen, wordt een differentieel privacy-mechanisme toegepast.

• Gaussian Mechanism: Na het coderen worden de embeddings "geclipt" (norm begrensd) en wordt isotroop Gaussisch ruis toegevoegd.
• Accounting: Het systeem gebruikt geavanceerde compositie-theorema's om de cumulatieve privacykosten ($\epsilon_{total}$) te volgen bij herhaalde zoekopdrachten, zodat de privacy-begroting niet wordt overschreden.
• Indexering: De gepubliceerde, verstoord embeddings worden geïndexeerd met compacte benaderingsmethoden (zoals HNSW of PQ) voor efficiënte zoekopdrachten.

Belangrijkste Bijdragen

1. Adaptieve Marges: Een nieuwe loss-functie (ACT) die marges aanpast aan de per-identiteit dispersie, wat leidt tot betere intra-klass compactheid.
2. Geometrie-voorwaarde Graaf-attentie: Een mechanisme dat camera-lay-out priors (GPS/rotatie) integreert in de transformer-attentie om ruimtelijk consistente alignatie te bereiken zonder dure kalibratie.
3. Privacy-gekalibreerde Embeddings: Een systeem dat formele differentieel privacy garandeert via ruis en clipping, gekoppeld aan efficiënte indexering voor schaalbare zoekopdrachten.
4. Uitgebreide Validatie: Demonstratie van superioriteit op diverse benchmarks (Market-1501, MARS, Occluded-REID, etc.) met een bewezen trade-off tussen privacy en bruikbaarheid.

Resultaten

Experimenten tonen aan dat CityGuard consistent presteert boven bestaande state-of-the-art methoden:

• Nauwkeurigheid: Op het Market-1501 dataset bereikt CityGuard een Rank-1 van 97,5% en een mAP van 96,5%, wat een significante verbetering is ten opzichte van baselines zoals TransReID (95.2% Rank-1).
• Robuustheid: Het model presteert uitstekend onder moeilijke omstandigheden zoals occlusie (Occluded-REID) en cross-modale scenario's (zichtbaar-thermisch).
• Adversariële Veiligheid: CityGuard behoudt een Rank-1 van 68,7% onder FGSM-aanvallen, vergeleken met slechts 12,3% voor TransReID, dankzij de geometrie-bewuste graaf-attentie die gradiëntgebaseerde perturbaties verstoort.
• Privacy-Utility Trade-off: Zelfs bij een strikt privacy-budget ($\epsilon = 2.0$), behoudt het model een Rank-1 van 90,8% en een mAP van 86,0%, wat aantoont dat het systeem praktisch inzetbaar is zonder de functionaliteit volledig te offeren.
• Fairness: Het model vermindert demografische bias aanzienlijk (bijv. verkleining van AUC-kloven tussen rassen met 52-78%).

Significantie

CityGuard biedt een praktische oplossing voor de ethische en operationele uitdagingen van stedelijke surveillance. Het bewijst dat het mogelijk is om:

• Privacy te waarborgen zonder de bruikbaarheid van het systeem voor veiligheidsdoeleinden volledig te verliezen.
• Ruimtelijke context effectief te benutten met goedkope, ruwe data (GPS) in plaats van dure kalibratie.
• Robuustheid te bereiken tegen zowel visuele variatie (occlusie) als cyberaanvallen (adversariële perturbaties).

Het framework is direct toepasbaar in scenario's zoals fraudeopsporing, online proctoring en privacy-bewuste identiteitsverificatie in slimme steden, waar de balans tussen beveiliging en privacy cruciaal is.