Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

1. Problématique

Les systèmes d'apprentissage préservant la vie privée injectent souvent du bruit dans les représentations visuelles hiérarchiques (par exemple, les pyramides de caractéristiques dans les détecteurs d'objets ou les couches des encodeurs visuels des modèles Vision-Language ou VLM).

Le défi central identifié par les auteurs est la difficulté de modéliser et d'interpréter l'alignement entre les perturbations observées au niveau des couches et un budget de confidentialité déclaré ($\epsilon$). Bien que des méthodes d'audit existent, il manque un cadre capable de :

1. Localiser précisément les régions de caractéristiques sensibles au sein de structures hiérarchiques complexes.
2. Évaluer de manière interprétable si le bruit ajouté correspond à la distribution de référence attendue (ex: Laplace ou Gaussienne) pour un budget donné.
3. S'appliquer de manière générique aux backbones de vision (détecteurs) et aux encodeurs visuels des VLMs (comme CLIP, LLaVA, BLIP) sans modifier leur architecture.

L'objectif n'est pas de certifier formellement la confidentialité différentielle (DP) d'un système, mais de fournir un signal d'alignement de budget interprétable et relatif à une référence.

2. Méthodologie : Le Framework Bodhi VLM

Bodhi VLM est un cadre de modélisation composé de trois modules principaux qui opèrent sur les représentations neuronales hiérarchiques :

A. Localisation des Caractéristiques Sensibles (BUA et TDA)

Le framework utilise deux stratégies pour partitionner les caractéristiques de chaque couche en groupes "sensibles" ($G^{(s)}_i$) et "non sensibles" ($G^{(n)}_i$) :

• Stratégie Bottom-Up (BUA) :

  • Part des couches inférieures (ex: embeddings de patches ou premières couches CNN) et remonte vers les couches supérieures.
  • Utilise des scores de sensibilité basés sur la tâche (ex: confiance du détecteur pour une classe sensible, ou similarité cosinus avec des prototypes de texte pour les VLMs).
  • Applique un seuil (ex: 90e percentile) pour classer les caractéristiques.
  • Utilise l'algorithme MDAV (Maximum Distance to Average Vector) pour la micro-agrégation (regroupement) et la NCP (Normalized Certainty Penalty) pour mesurer la dispersion intra-groupe et stabiliser la partition.

• Stratégie Top-Down (TDA) :

  • Part des couches supérieures (sémantiques globales) et descend vers les couches inférieures.
  • Établit des liens inter-couches via un opérateur de correspondance (ex: correspondance spatiale ou par patch) pour propager les groupes sensibles des couches hautes vers les basses.
  • Affine les partitions des couches inférieures en se basant sur les groupes sensibles des couches supérieures.

B. Évaluation de l'Alignement du Budget (EMPA)

Une fois les groupes définis par BUA ou TDA, le module EMPA (Expectation-Maximization Privacy Assessment) évalue l'alignement :

• Principe : Il modélise la distribution des caractéristiques sensibles perturbées comme un mélange de Gaussiennes diagonales ($K$ composantes).
• Procédure : Il utilise un algorithme de type Expectation-Maximization (EM) pour ajuster les paramètres du mélange ($\lambda_k, \mu_k, \sigma_k$) aux données observées.
• Comparaison : Il compare ces paramètres estimés ($\Theta_\epsilon$) avec ceux d'une distribution de référence théorique ($\Theta^{ref}_\epsilon$) générée par le mécanisme de bruit déclaré (ex: Laplace avec échelle $c/\epsilon$).
• Sortie : Un score de divergence (BAS$_\epsilon$) basé sur la distance $L_2$ entre les vecteurs de paramètres. Ce score indique à quel point le bruit observé s'écarte du budget déclaré.

3. Contributions Clés

1. Formalisation de la recherche de caractéristiques sensibles : Introduction des stratégies BUA et TDA pour parcourir les structures hiérarchiques (FPN, encodeurs ViT/ResNet) en utilisant le clustering NCP/MDAV.
2. Module EMPA : Développement d'un estimateur d'alignement de budget au niveau des caractéristiques, fournissant un signal de divergence interprétable plutôt qu'une simple estimation de $\epsilon$ effectif.
3. Applicabilité aux VLMs : Validation du cadre sur les tours visuels de modèles d'état de l'art (CLIP, LLaVA, BLIP) sans modification architecturale.
4. Évaluation comparative rigoureuse : Comparaison avec des baselines génériques (Chi-carré, Divergence K-L, MMD) et des méthodes spécifiques à la tâche (MomentReg, NoiseMLE, Wass-1), ainsi qu'une analyse qualitative par rapport aux méthodes de DP existantes (ViP, DP-Cap, etc.).

4. Résultats Expérimentaux

Les expériences ont été menées sur des détecteurs d'objets (YOLO, PPDPTS, DETR) et des encodeurs VLMs (CLIP, LLaVA, BLIP) avec des budgets $\epsilon \in \{0.1, 0.01, 0.001\}$.

• Performance de BUA vs TDA : Les deux stratégies montrent des tendances de déviation comparables. BUA est légèrement plus sensible aux niveaux de bruit, tandis que TDA offre une stabilité similaire. Les deux permettent une détection fiable du niveau de confidentialité.
• Stabilité d'EMPA : Le module EMPA fournit un signal d'alignement stable (mesuré par l'erreur quadratique moyenne ou rMSE par rapport à la référence) sur différents backbones.
  • Sur les détecteurs (ex: MDCRF, PPDPTS), EMPA obtient un rMSE stable (environ 0.89 pour YOLO-based).
  • Sur les VLMs, les résultats sont cohérents entre CLIP, LLaVA et BLIP.
• Comparaison avec d'autres métriques : EMPA surpasse ou égale les métriques de divergence génériques (Chi-carré, K-L, MMD) pour l'alignement du budget, en particulier dans les scénarios de bruit contrôlé.
• Analyse Ablative : L'élimination du module EMPA dégrade significativement la capacité à aligner le budget (augmentation du rMSE), confirmant que l'évaluation EM est cruciale. L'utilisation combinée de BUA et TDA offre une structure de groupe plus stable que l'utilisation d'une seule stratégie.
• Données Synthétiques : Sur des données synthétiques, le biais d'EMPA reste constant, indiquant qu'il capture la structure du groupe plutôt que l'amplitude du bruit, ce qui le rend robuste comme signal de divergence structurelle.

5. Signification et Limites

Signification :
Ce travail apporte une perspective de modélisation apprenable et interprétable pour les représentations hiérarchiques sensibles. Contrairement aux audits post hoc simples, Bodhi VLM offre une vue granulaire de la manière dont le bruit de confidentialité se distribue à travers les couches d'un réseau. Il comble un vide entre les méthodes d'entraînement avec DP (comme ViP) et l'audit de systèmes existants, permettant de vérifier si le bruit observé correspond bien à la promesse de confidentialité faite par le système.

Limites :

• Relativité à la référence : Le score est relatif au mécanisme de référence choisi par l'évaluateur. Si le mécanisme réel diffère, le score reflète un mélange d'alignement de budget et de mismatch de mécanisme.
• Dépendance à la partition : Dans certains cas (données synthétiques), le signal peut être davantage influencé par la structure de regroupement induite que par l'amplitude du bruit.
• Portée limitée aux encodeurs visuels : L'évaluation actuelle se limite aux tours visuels des VLMs et ne couvre pas encore la fusion cross-modale complète ou les voies de décodage linguistique.
• Pas de certification formelle : Le framework ne certifie pas la confidentialité différentielle formelle d'un système complet, mais fournit un outil d'audit empirique.

Conclusion :
Bodhi VLM représente une avancée significative pour la compréhension et l'audit des mécanismes de protection de la vie privée dans les architectures de vision par ordinateur modernes, offrant un outil pour valider la cohérence entre les perturbations observées et les budgets de confidentialité déclarés.