Privacy-Preserving in Connected and Autonomous Vehicles Through Vision to Text Transformation

Technische Samenvatting: Privacy-bewarende Visuele-naar-Tekst Transformatie in Verbonden en Autonome Voertuigen

Probleemstelling
Intelligente Transport Systemen (ITS) vertrouwen steeds vaker op Artificial Intelligence Equipped (AIE) camera's om het verkeer te monitoren, overtredingen te detecteren en de veiligheid te beoordelen in Verbonden en Autonome Voertuigen (CAV's). Hoewel deze systemen de publieke veiligheid vergroten, leggen ze ook beelden vast van voertuiginterieurs—een ruimte die breed wordt beschouwd als privé. Traditionele privacy-bewarende technieken, zoals vervaging (blurring), vertroebeling (fogging) of gezichtsmaskering, zijn vaak onvoldoende. Ze kunnen onnauwkeurig zijn, er niet in slagen om gevoelige regio's volledig te verbergen, en zijn steeds kwetsbaarder voor AI-gebaseerde reconstructie-aanvallen die obfuscatie kunnen terugdraaien om originele identiteiten te onthullen. Bov�raast de huidige methoden vaak direct in de beeldruimte, waardoor residuele visuele data achterblijft die kan worden geëxploiteerd voor identiteitsdiefstal, profilering of ongeoorloofd commercieel gebruik. Er is een kritieke behoefte aan een robuuste oplossing die gevoelige visuele data transformeert naar een niet-visueel formaat zonder de semantische bruikbaarheid die vereist is voor verkeersanalyse in gevaar te brengen.

Methodologie
Het artikel stelt een nieuw framework voor dat visuele data transformeert naar beschrijvende tekst met behulp van een combinatie van Vision-Language Models (VLM's), hiërarchisch Reinforcement Learning (RL) en Retrieval Augmented Generation (RAG). In plaats van afbeeldingen direct te verwerken voor classificatie of detectie, zet het systeem de beelden om in privacy-bewuste tekstuele beschrijvingen. De methodologie werkt via vier iteratieve stappen:

1. VLM voor Tekstgeneratie: Een VLM wordt gefinetuned met privacy-gevoelige supervisie om afbeeldingen om te zetten in initiële tekstuele beschrijvingen. Het model is getraind om geen persoonlijk identificeerbare informatie (PII) descriptoren te genereren. Het maakt gebruik van een Transformer-gebaseerde architectuur met self-attention mechanismen om visuele inputs te coderen naar token embeddings, gestuurd door een loss-functie die de blootstelling van private details bestraft.
2. Hiërarchische Prompt Selectie via RL: Om de initiële tekst te verfijnen, selecteert een Reinforcement Learning-agent (specifiek gebruikmakend van Proximal Policy Optimization, PPO) iteratief prompts uit een hiërarchische lijst. De agent opereert in een state space gedefinieerd door de semantische embedding van de huidige tekst en een privacy-score. De actieruimte houdt het selecteren van specifieke prompts in om de VLM te sturen naar meer precieze en privacy-conforme beschrijvingen. De reward-functie balanceert semantische gelijkenis (met behulp van SBERT) tegen visuele privacy (gemeten via reconstructie-gelijkenis via een Variational Autoencoder).
3. Feedback-gebaseerd Reward Mechanisme (RAG): Een Retrieval Augmented Generation (RAG) module fungeert als een externe feedbackloop. Het haalt relevante contextuele informatie op om de output van de RL-agent te valideren. Deze feedback wordt geïntegreerd in de RL-objectieffunctie, waardoor het model kan leren van externe kennissignalen in plaats van enkel te vertrouwen op interne rewards. Deze stap corrigeert potentiële fouten en zorgt ervoor dat de gegenereerde tekst overeenkomt met de privacy-doelstellingen.
4. Iteratieve Verfijning: Het proces herhaalt zich voor een vast aantal iteraties (bijv. drie), waarbij redundant content progressief wordt gefilterd en de semantische dichtheid wordt verbeterd. De uiteindelijke output is een tekstuele beschrijving die essentiële scènedetails vastlegt (bijv. voertuigtypen, verkeersomstandigheden) terwijl gevoelige visuele aanwijzingen worden weggelaten.

Kernbijdragen
De auteurs identificeren drie primaire bijdragen:

1. Iteratieve Image-to-Text Architectuur: De ontwikkeling van een framework dat semantisch rijke, privacy-bewuste tekstuele beschrijvingen genereert vanuit visuele data, waardoor directe blootstelling van afbeeldingen wordt vermeden.
2. Hiërarchisch RL Mechanisme: Het ontwerp van een multi-stage RL-loop die zowel prompts als gegenereerde outputs verfijnt, wat de precisie verbetert ten opzichte van single-pass generatie.
3. RAG-Geïntegreerde Feedback-leren: De integratie van een feedback-gebaseerde leerloop met behulp van RAG om promptselectie te valideren en te optimaliseren, wat de relevantie en nauwkeurigheid van de tekst verhoogt terwijl de privacy-bewaring wordt gewaarborgd.

Resultaten en Evaluatie
De voorgestelde methode werd geëvalueerd op twee datasets: CFP-FP (celebrity face verification) en AgeDB-30 (face verification met grote leeftijdsverschillen). Het systeem werd vergeleken met baseline modellen, inclusief standaard VLM's, PPO-gebaseerde RL, en bestaande privacy-bewarende methoden (AdvFace, FLDATN).

• Privacy-bewaring: Het voorgestelde "Feedback-based RL" model vertoonde superieure privacybescherming. Op de CFP-FP dataset behaalde het een Structural Similarity Index Measure (SSIM) van 0,85 en een Peak Signal-to-Noise Ratio (PSNR) van 22,18, waarmee het andere methoden overtrof in het minimaliseren van de visuele gelijkenis met de originele afbeelding. De Mean Squared Error (MSE) was hoger (365,2), wat duidt op een grotere divergentie van de originele afbeelding, wat wenselijk is voor privacy. De Semantic Reconstruction Risk Assessment (SRRA) was het laagst op 11,25%, wat suggereert dat het risico op identiteitsherstel lager is.
• Tekstkwaliteit en Semantische Rijkdom: Ondanks de focus op privacy behield het model een hoge semantische bruikbaarheid. Het genereerde aanzienlijk langere en gedetailleerdere beschrijvingen dan de baselines, met een hoger aantal unieke woorden en een semantische gelijkenis-score van 0,7371 ten opzichte van de baseline, wat wijst op een sterke afstemming met de betekenis van de scène.
• Differential Privacy: De studie incorporeerde Differential Privacy (DP) door Gaussische ruis in sentence embeddings te injecteren. Resultaten toonden aan dat het toevoegen van kleine hoeveelheden ruis (bijv. $\sigma=0,3$) het privacy-budget ($\epsilon$) aanzienlijk verminderde terwijl een acceptabele tekstkwaliteit (BLEU-score van 0,756) behouden bleef, wat een meetbare privacy-utiliteit trade-off vaststelt.
• Ablatie-studie: Experimenten bevestigden dat het volledige hiërarchische feedbackframework beter presteerde dan varianten die enkel VLM, single-stage RL, of RL zonder RAG-feedback gebruikten, wat de noodzaak van zowel iteratieve verfijning als externe kennisintegratie valideert.

Betekenis en Claims
Het artikel claimt de eerste poging te zijn om Reinforcement Learning en Vision-Language Models specifiek te combineren voor het transformeren van visuele data naar tekst als middel voor privacy-bewaring in ITS. De auteurs stellen dat hun aanpak een robuustere oplossing biedt dan traditionele vervaging of obfuscatie-technieken, die kwetsbaar zijn voor reconstructie-aanvallen. Door de datarepresentatie te verschuiven van de beeldruimte naar de semantische/tekstuele ruimte, voorkomt het framework effectief de blootstelling van gevoelige visuele details (zoals gezichten of kentekens) terwijl de operationele informatie die nodig is voor verkeersmonitoring behouden blijft. De studie concludeert dat deze methode een schaalbare, adaptieve mechanisme biedt voor privacy-bewarende visuele-naar-tekst transformatie, geschikt voor implementatie in smart city-infrastructuren en industriële automatiseringomgevingen. Toekomstig werk wordt gesuggereerd om dynamische promptgeneratie te verkennen voor verdere personalisatie en generaliseerbaarheid.