From Pixels to Privacy: Temporally Consistent Video Anonymization via Token Pruning for Privacy Preserving Action Recognition

Probleemstelling

De snelle vooruitgang in grote videomodellen (zoals Vision Transformers) heeft de prestaties van taken zoals actieherkenning aanzienlijk verbeterd. Echter, deze modellen coderen vaak onbedoeld gevoelige persoonsgegevens (zoals gezichtsherkenningskenmerken, ras, geslacht en huidskleur) in hun representaties. Dit vormt een groot privacyrisico, vooral in toepassingen zoals surveillance en gezondheidszorg.

Bestaande oplossingen hebben twee belangrijke beperkingen:

1. Invoer-niveau anonymisatie: Methoden zoals verpixeling, wazig maken of het verlagen van de resolutie verstoren de ruimtelijk-temporele structuur van het video. Dit leidt vaak tot een significante daling in de prestaties van downstream-taken (zoals actieherkenning) en anonimiseert bewegingspatronen niet effectief, die zelf ook als biometrische identifiers kunnen dienen.
2. Lerende methoden: Recentere, op leerprocessen gebaseerde methoden (vaak adversariaal getraind) zijn beter, maar veel daarvan onderscheiden niet expliciet tussen nuttige informatie (voor de taak) en privacygevoelige informatie. Hierdoor kan het lastig zijn om de afweging tussen privacy en nut (utility-privacy trade-off) precies te controleren; dezelfde videofragmenten dragen vaak bij aan zowel de taak als de privacy-inferentie.

Methodologie

De auteurs stellen een nieuw, op aandacht gebaseerd (attention-driven) framework voor dat ruimtelijk-temporele video-anonymisatie realiseert door nuttige en privacygevoelige kenmerken expliciet te ontkoppelen (disentangle) binnen een gedeelde Vision Transformer (ViT) backbone.

De kern van de methode bestaat uit de volgende stappen:

1. Video Tokenisatie:

   • Het inputvideo wordt opgesplitst in niet-overlappende ruimtelijk-temporele "tubelets" (3D blokken van frames).
   • Deze tubelets worden omgezet in tokens via 3D-convoluties.

2. Twee Specifieke Classificatie Tokens:

   • Er worden twee speciale tokens toegevoegd aan de tokenreeks: een [act CLS] token (voor actieherkenning/nut) en een [priv CLS] token (voor privacy-attributen).
   • Mutual Attention Masking: Deze tokens kunnen alle tubelets "zien" via self-attention, maar ze kunnen niet naar elkaar kijken. Dit zorgt ervoor dat ze onafhankelijke, ontkoppelde distributies van aandacht leren: de ene focust op beweging die relevant is voor actie, de andere op kenmerken die identiteit onthullen.

3. Aandacht-gedreven Scoren en Selectie:

   • Voor elke tubelet $i$ wordt een nut-privacy score ($s_i$) berekend op basis van de aandachtsgewichten van de twee CLS-tokens:
     $$s_i = \alpha^{act}_i - \lambda_{priv} \cdot \alpha^{priv}_i$$
     Waarbij $\alpha^{act}_i$ de aandacht is van het actie-token en $\alpha^{priv}_i$ die van het privacy-token. $\lambda_{priv}$ is een hyperparameter die de strengheid van de privacy-onderdrukking regelt.
   • Tubelets met een hoge score dragen veel bij aan de actieherkenning en weinig aan privacy. Tubelets met een lage score zijn vaak privacy-gevoelig.

4. Selectieve Pruning (Verwijdering) en Fusie:

   • Top-k Selectie: Alleen de $k$ tubelets met de hoogste scores worden behouden.
   • Token Fusie: Om te voorkomen dat context volledig verloren gaat, worden de verwijderde tubelets niet zomaar weggegooid. Ze worden samengevoegd tot één residu-token via een gewogen som (gebaseerd op de aandacht van het actie-token). Dit behoudt een vorm van contextuele informatie zonder de gevoelige details te herstellen.

5. Adversariale Training:

   • Het model wordt getraind met een doelwitfunctie die de prestaties van de actieherkenning maximaliseert terwijl de prestaties van een privacy-classificator (die probeert attributen zoals geslacht of gezicht te herkennen) geminimaliseerd worden.

Belangrijkste Bijdragen

1. Ontkoppeling via Tokens: Introductie van twee gespecialiseerde classificatietokens ([act CLS] en [priv CLS]) met wederzijdse attentie-maskering om nut en privacy expliciet te scheiden binnen één model.
2. Dynamische Tubelet-Scoring: Een nieuwe scoring-functie die gebruikmaakt van de relatieve bijdrage van tubelets aan nut versus privacy om dynamisch te bepalen welke delen van de video bewaard of gereduceerd moeten worden.
3. Verbeterde Privacy-Nut Afweging: Het framework behoudt de ruimtelijk-temporele structuur die nodig is voor actieherkenning, terwijl het privacygevoelige cues effectief verwijdert, wat een betere balans biedt dan bestaande methoden.

Resultaten

De methode is geëvalueerd op grote datasets (VPUCF, VPHMDB, PAHMDB) met zowel binnen-dataset als cross-dataset evaluaties.

• Prestaties Actieherkenning: Het model behoudt een hoge nauwkeurigheid in actieherkenning (bijv. 80.96% Top-1 op VPUCF), wat vergelijkbaar is met modellen die op onbewerkte video's zijn getraind, en aanzienlijk beter is dan veel bestaande anonymisatiemethoden.
• Privacy Leaking: Er is een aanzienlijke reductie in privacy-lekkage. Op VPUCF daalde de privacy-score (cMAP) van 73.79% (bij de concurrent STPrivacy) naar 60.30% met hun methode, terwijl de actieprestatie slechts licht daalde.
• Vergelijking met SOTA: Het presteert beter dan state-of-the-art methoden zoals STPrivacy, VITA en SPAct. Waar andere methoden vaak kiezen voor een grote daling in actieprestaties om privacy te beschermen, of juist privacy onvoldoende beschermen, biedt deze methode een superieure balans.
• Generalisatie: De methode toont goede generalisatievermogen bij cross-dataset transfers (bijv. getraind op VPUCF, getest op VPHMDB), wat aantoont dat het leren van ontkoppelde kenmerken robuust is.
• Kwalitatieve Analyse: Visualisaties tonen dat de geanonimiseerde video's gezichten en huidskleuren onherkenbaar maken, maar de bewegingspatronen (zoals armtrajectories en houding) behouden die essentieel zijn voor het herkennen van de actie.

Betekenis en Conclusie

Dit artikel biedt een fundamentele stap voorwaarts in privacy-bewuste videanalytics. Door de privacy-problematiek te benaderen via token-pruning in plaats van ruwe beeldmanipulatie, lost het de spanning op tussen hoge taakprestaties en strikte privacy-eisen.

De methode is principieel omdat hij de interne representaties van het model gebruikt om te bepalen wat "nuttig" en wat "gevoelig" is, in plaats van vooraf gedefinieerde regels toe te passen. Dit maakt het een schaalbare en effectieve oplossing voor het implementeren van videobewaking en analyse in omgevingen waar privacyreguleringen (zoals GDPR) streng worden nageleefd, zonder in te leveren op de functionaliteit van de AI-systemen.