Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

Titolo

Bodhi VLM: Modellazione dell'Allineamento alla Privacy per Rappresentazioni Visuali Gerarchiche nei Backbones Visivi e negli Encoder VLM tramite Ricerca di Caratteristiche Bottom-Up e Top-Down

1. Il Problema

I sistemi di apprendimento che preservano la privacy spesso introducono rumore nelle rappresentazioni visuali gerarchiche (ad esempio, nelle piramidi di caratteristiche dei rilevatori di oggetti o negli strati degli encoder visivi dei Modelli Linguaggio-Visivo o VLM).
La sfida centrale risiede nel modellare e interpretare come queste perturbazioni osservate si allineino a un budget di privacy dichiarato ($\epsilon$).
Attualmente, manca un approccio che:

• Sia interpretabile a livello di strato (layer-wise).
• Sia applicabile trasversalmente a diversi backbones visivi e VLM.
• Fornisca un segnale di allineamento che non si limiti a una semplice audit post hoc, ma offra una prospettiva di modellazione apprendibile.

Il lavoro non mira a certificare formalmente la Privacy Differenziale (DP) end-to-end, ma a valutare se il rumore osservato corrisponda a una distribuzione di riferimento specificata (es. Laplace o Gaussiana con scala $c/\epsilon$).

2. Metodologia: Il Framework Bodhi VLM

Bodhi VLM è un framework di modellazione che analizza le rappresentazioni neurali gerarchiche senza modificare l'architettura sottostante. Si compone di tre componenti principali:

A. Localizzazione delle Caratteristiche Sensibili (BUA e TDA)

Il framework identifica le regioni delle caratteristiche (feature regions) sensibili a strati specifici utilizzando due strategie complementari:

1. Bottom-Up Analysis (BUA): Parte dagli strati inferiori (bassa risoluzione, dettagli locali) e aggrega le caratteristiche verso l'alto.
2. Top-Down Analysis (TDA): Parte dagli strati superiori (alta semantica, contesto globale) e propaga le informazioni verso il basso.

In entrambe le strategie, le caratteristiche a ogni strato vengono divise in gruppi sensibili ($G^{(s)}_i$) e non sensibili ($G^{(n)}_i$) basandosi su un punteggio di sensibilità $s(x; S_\epsilon)$.

• Punteggio di Sensibilità: Per i rilevatori, si basa sulla confidenza del rilevatore per classi sensibili (es. "persona"). Per i VLM (CLIP, LLaVA, BLIP), si calcola la similarità coseno tra le caratteristiche visive e i prototipi di testo delle categorie sensibili.
• Clustering e Microaggregazione: Per formare i gruppi e stabilizzare la partizione, il framework utilizza:
  • MDAV (Maximum Distance to Average Vector): Per l'aggregazione micro (assicurando una dimensione minima del gruppo).
  • NCP (Normalized Certainty Penalty): Per misurare la dispersione intra-gruppo e penalizzare la generalizzazione eccessiva all'interno dei cluster.

B. Valutazione della Privacy tramite EM (EMPA)

Una volta ottenuti i gruppi di caratteristiche sensibili e non sensibili, il modulo EMPA (Expectation-Maximization Privacy Assessment) valuta l'allineamento al budget.

• Meccanismo: EMPA tratta le caratteristiche sensibili come un campione da una distribuzione mista (Gaussiana diagonale a $K$ componenti).
• Procedura EM: Utilizza un algoritmo Expectation-Maximization per adattare i parametri della distribuzione ($\Theta_\epsilon$) ai dati osservati.
• Confronto: Confronta la distribuzione adattata dei dati osservati con una distribuzione di riferimento ($\Theta^{ref}_\epsilon$) generata teoricamente dal meccanismo di rumore dichiarato (es. Laplace con scala $c/\epsilon$).
• Output: Produce un punteggio di discrepanza (BAS$_\epsilon$) basato sulla distanza $L_2$ tra i parametri delle distribuzioni (pesi, medie, varianze). Un valore basso indica un buon allineamento al budget dichiarato.

C. Applicazione ai VLM

Il framework è stato progettato per essere applicato agli encoder visivi di modelli come CLIP, LLaVA e BLIP. Tratta gli strati dell'encoder (blocchi ViT o stadi ResNet) come una gerarchia di caratteristiche su cui eseguire BUA/TDA, senza toccare il ramo linguistico o la fusione cross-modale (che rimane lavoro futuro).

3. Contributi Chiave

1. Formalizzazione di BUA/TDA: Definizione rigorosa di strategie di ricerca di caratteristiche sensibili su strutture gerarchiche (FPN e backbones VLM) utilizzando NCP e MDAV.
2. Introduzione di EMPA: Sviluppo di un estimatore di allineamento al budget a livello di caratteristica che utilizza una procedura EM per generare un segnale di discrepanza interpretabile.
3. Validazione Trasversale: Applicazione e validazione su rilevatori di oggetti (YOLO, PPDPTS, DETR) e su encoder visivi di VLM (CLIP, LLaVA, BLIP).
4. Analisi Comparativa: Confronto con metriche generiche (Chi-quadro, Divergenza K-L, MMD) e baselines specifiche per il compito (MomentReg, NoiseMLE, Wass-1), dimostrando la superiorità o la stabilità di EMPA in contesti di rumore controllato.
5. Prospettiva di Modellazione: Spostamento dall'audit puramente applicativo alla creazione di un modello interpretabile di come il rumore si distribuisce attraverso gli strati della rete.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come MOT20 e COCO, con budget di privacy $\epsilon \in \{0.1, 0.01, 0.001\}$.

• Confronto BUA vs. TDA: Entrambe le strategie mostrano trend di deviazione comparabili. BUA risulta leggermente più sensibile ai livelli di rumore, mentre TDA offre una stabilità simile. La combinazione di entrambe fornisce una struttura di gruppo più robusta.
• Performance di EMPA:
  • EMPA mostra un segnale di allineamento stabile (bassa varianza su 5 semi casuali) su diversi backbones.
  • Rispetto alle metriche generiche (Chi-quadro, K-L, MMD), EMPA fornisce un segnale di allineamento al budget più coerente e interpretabile.
  • Nei test su dati sintetici, il bias di EMPA rimane stabile al variare di $\epsilon$, indicando che il segnale è guidato principalmente dalla struttura del gruppo (partizione) piuttosto che solo dalla magnitudine della perturbazione, rendendolo un indicatore strutturale affidabile.
• Applicazione ai VLM: Il framework è stato applicato con successo agli encoder visivi di CLIP, LLaVA e BLIP, confermando che la metodologia di raggruppamento e valutazione funziona su architetture eterogenee (ViT e ResNet).
• Confronto con Metodi Esistenti: A differenza di metodi come ViP o DP-Cap (che addestrano modelli con DP) o VisShield (che oscura informazioni), Bodhi VLM è uno strumento di audit post-addestramento che verifica se il rumore osservato corrisponde al budget dichiarato.

5. Significato e Limiti

Significato:
Il lavoro contribuisce alla comprensione delle rappresentazioni neurali gerarchiche in relazione alla privacy. Offre uno strumento per gli sviluppatori e gli auditor per verificare se un sistema di visione artificiale o un VLM sta rispettando le promesse di privacy a livello di caratteristiche interne, fornendo un feedback interpretabile senza richiedere la conoscenza dei dettagli interni del meccanismo di rumore deployato (se non la sua definizione di riferimento).

Limiti:

• Relatività al Riferimento: La valutazione è relativa a un meccanismo di riferimento ($M_{ref}$) definito dall'evaluator. Se il meccanismo reale differisce, il punteggio riflette sia l'allineamento al budget che la discrepanza del meccanismo.
• Dipendenza dalla Partizione: In alcuni contesti (es. dati sintetici), il segnale di discrepanza può essere influenzato più dalla struttura del gruppo (come le caratteristiche sono raggruppate) che dalla scala della perturbazione.
• Nessuna Certificazione Formale DP: Il framework non fornisce garanzie formali di Privacy Differenziale end-to-end, ma è un estimatore empirico di allineamento.
• Scope Limitato: Attualmente valida solo gli encoder visivi (vision tower) e non l'intera pipeline di fusione cross-modale o la generazione linguistica.

In sintesi, Bodhi VLM rappresenta un passo avanti verso la creazione di sistemi di visione e linguaggio multimodale più trasparenti e verificabili in termini di privacy, offrendo una metodologia strutturata per analizzare come le informazioni sensibili vengono trattate e perturbate all'interno delle reti neurali profonde.