Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations..." in het Nederlands.

Titel: Bodhi VLM: Privacy-Alignment Modeling voor Hiërarchische Visuele Representaties

1. Het Probleem

In privacybehoudende leersystemen wordt vaak ruis toegevoegd aan hiërarchische visuele representaties (zoals feature pyramids in objectdetectoren of lagen in visuele encoders van Vision-Language Models of VLMs). Een centraal uitdaging voor het modelleren van neurale netwerken is het interpreteren en kwantificeren van de alignatie tussen de waargenomen ruis (perturbaties) in de lagen en een gedeclareerde privacybegroting ($\epsilon$).

Bestaande methoden richten zich vaak op het trainen met differentieel privacy (DP) of op post-hoc audits die geen inzicht geven in waar in het netwerk de gevoelige informatie zit of hoe de ruis zich verhoudt tot de theoretische referentieverdeling (bijv. Laplace of Gaussisch). Er ontbreekt een model dat interpreteerbaar maakt hoe gevoelige concepten zijn verdeeld over de lagen en of de toegepaste ruis consistent is met de beloofde privacygarantie.

2. Methodologie: Het Bodhi VLM Framework

Bodhi VLM is een framework voor privacy-alignatie-modellering dat geen bestaande architectuur wijzigt, maar een leerbaar, interpreteerbaar perspectief biedt op de verdeling van privacy-gerelateerde ruis. Het bestaat uit drie kerncomponenten:

A. Gevoelige Feature Lokalisatie (BUA en TDA)
Het framework identificeert welke features in een laag gevoelig zijn voor privacy (bijv. gezichten, kentekens) en welke niet, via twee strategieën:

• Bottom-Up Analysis (BUA): Start bij de laagste lagen (ruwe pixels/patches) en werkt omhoog. Het gebruikt NCP (Normalized Certainty Penalty) en MDAV (Maximum Distance to Average Vector) clustering om features te groeperen in een "gevoelige" ($G^{(s)}$) en "niet-gevoelige" ($G^{(n)}$) groep per laag.
• Top-Down Analysis (TDA): Start bij de hoogste semantische lagen en werkt omlaag. Het gebruikt inter-lagen koppelingen (via een corresponderingsoperator $\Pi$) om de groepering van hogere lagen door te geven aan lagere lagen, waardoor wordt vastgesteld welke lagere features bijdragen aan gevoelige output.

B. Gevoeligheidsscores
Voor elke feature vector wordt een gevoeligheidsscore berekend:

• Bij objectdetectoren: Gebaseerd op de confidence-score van de detector voor gevoelige klassen (bijv. "persoon").
• Bij VLMs (zoals CLIP, LLaVA): Gebaseerd op de cosine-similariteit tussen de visuele feature en tekst-embeddings van gevoelige concepten.
• Features boven een bepaalde drempel ($\tau_i$, vaak de 90e percentiel) worden als gevoelig gemarkeerd.

C. Expectation-Maximization Privacy Assessment (EMPA)
Dit is de kernmodule voor het evalueren van de privacybegroting.

• Doel: Vergelijken van de verdeling van de waargenomen, verstoorde gevoelige features met een door de evaluator gedefinieerde referentieverdeling (bijv. Laplace met schaal $c/\epsilon$).
• Methode: EMPA past een Expectation-Maximization (EM) algoritme toe op de gevoelige feature-groepen. Het past een mengsel van Gaussische verdelingen aan op de data en vergelijkt de geschatte parameters (gewichten, gemiddelden, varianties) met die van de referentieverdeling.
• Output: Een discrepantiescore (BAS$_\epsilon$). Dit is een maat voor hoe goed de waargenomen ruis aligneert met de beloofde begroting. Het is belangrijk op te merken dat dit geen formele differentieel-privacy-certificering is, maar een referentie-relatieve signaal.

3. Belangrijkste Bijdragen

1. Formalisatie van Hiërarchische Analyse: De auteurs formaliseren BUA en TDA voor het zoeken naar gevoelige features in Feature Pyramid Networks (FPN) en VLM-visuele backbones, gebruikmakend van NCP en MDAV-clustering.
2. Introductie van EMPA: Een nieuwe feature-level schatter voor budget-alignatie die een interpreteerbaar discrepantie-signaal levert, in plaats van alleen een post-hoc audit.
3. Toepasbaarheid op VLMs: Het framework wordt succesvol toegepast op de visuele towers van state-of-the-art VLMs (CLIP, LLaVA, BLIP) zonder de architectuur te wijzigen.
4. Uitgebreide Validatie: Experimenten op objectdetectoren (YOLO, DETR, PPDPTS) en VLMs, met vergelijkingen tegen generieke statistische baselines (Chi-kwadraat, K-L divergentie, MMD) en taak-specifieke methoden.

4. Resultaten

De experimenten zijn uitgevoerd op datasets zoals MOT20 en COCO, met toegevoegde Laplace- of Gaussische ruis onder verschillende privacybegrotingen ($\epsilon \in \{0.1, 0.01, 0.001\}$).

• BUA vs. TDA: Beide strategieën vertonen vergelijkbare trends in het detecteren van afwijkingen. BUA is iets gevoeliger voor het ruisniveau, terwijl TDA iets lagere afwijkingen toont in sommige scenario's. Beide zijn effectief voor het lokaliseren van gevoelige zones.
• EMPA Prestaties: EMPA levert een stabiel alignement-signaal (gemeten als rMSE en bias) over verschillende detectoren en VLM-architecturen.
  • In vergelijking met generieke baselines (Chi-square, K-L, MMD) toont EMPA consistente prestaties bij het schatten van de budget-alignatie.
  • Op synthetische data bleek de EMPA-bias stabiel rond 0.89, wat aangeeft dat de structuur van de groepering (BUA/TDA) cruciaal is voor een interpreteerbaar signaal, in tegenstelling tot willekeurige partities.
• VLM Toepassing: Bodhi VLM werkt effectief op de visuele encoders van CLIP, LLaVA en BLIP. Het kan de ruis in deze complexe modellen evalueren zonder de taalcomponent te hoeven aanpassen.
• Vergelijking met Bestaande Methoden: In tegenstelling tot methoden zoals ViP of DP-Cap (die trainen met DP) of VisShield (die onherkenbaar maken), biedt Bodhi VLM een audit-tool die controleert of de waargenomen ruis overeenkomt met de belofte.

5. Betekenis en Conclusie

Bodhi VLM vult een belangrijke lacune in het privacyonderzoek voor diepe neurale netwerken. Het verschuift de focus van puur het toepassen van privacy tijdens het trainen naar het interpreteren en auditeren van privacy in de interne representaties van het model.

• Interpreteerbaarheid: Het biedt inzicht in welke lagen en features het meest kwetsbaar zijn en hoe de ruis zich daarover verdeelt.
• Flexibiliteit: Het werkt als een plug-in module die kan worden toegepast op verschillende architecturen (CNNs, ViTs) en modellen (detectors, VLMs).
• Beperkingen: De methode is "referentie-relatief" (afhankelijk van de gekozen referentieverdeling) en levert geen formele differentieel-privacy-certificering. De validatie is momenteel beperkt tot de visuele encoder; de volledige cross-modale fusie en taalgeneratiepaden zijn toekomstig werk.

Kortom, Bodhi VLM biedt een nieuwe, leerbare manier om privacy-gerelateerde perturbaties in hiërarchische visuele representaties te modelleren en te valideren, wat essentieel is voor het bouwen van betrouwbare en transparante privacy-bevorderende AI-systemen.