Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

Resumen Técnico: Bodhi VLM

1. Planteamiento del Problema

Los sistemas de aprendizaje que preservan la privacidad a menudo inyectan ruido en representaciones visuales jerárquicas (como pirámides de características en detectores o capas de codificadores visuales en Modelos de Lenguaje-Vision, VLM). Un desafío central es modelar e interpretar cómo estas perturbaciones observadas se alinean con un presupuesto de privacidad declarado ($\epsilon$).

La pregunta clave es: ¿Cómo podemos caracterizar si el ruido inyectado en las capas de una red neuronal coincide con un mecanismo de referencia especificado por un evaluador (por ejemplo, Laplace o Gaussiano con escala $c/\epsilon$)? La mayoría de las soluciones existentes se centran en la certificación formal de Privacidad Diferencial (DP) durante el entrenamiento o en auditorías post-hoc que no ofrecen una visión interpretable a nivel de características jerárquicas.

2. Metodología Propuesta: Bodhi VLM

El authors proponen Bodhi VLM, un marco de modelado de alineación de privacidad diseñado para representaciones neuronales jerárquicas. El sistema no modifica la arquitectura subyacente, sino que proporciona una vista interpretable y aprendible de cómo se distribuye el ruido relacionado con la privacidad.

El marco consta de tres componentes principales:

A. Localización de Características Sensibles (Estrategias BUA y TDA)
El objetivo es identificar qué regiones de las características visuales son "sensibles" (ej. personas, matrículas) y cuáles no, capa por capa. Se utilizan dos estrategias de búsqueda:

• Bottom-Up Analysis (BUA): Agrega características desde las capas bajas (bordes, texturas) hacia arriba (semántica global).
• Top-Down Analysis (TDA): Parte de las capas altas (semántica) y desciende hacia las capas bajas, utilizando enlaces inter-capas para refinar la agrupación.

Ambas estrategias utilizan:

• Puntaje de Sensibilidad ($s$): Calculado basándose en la confianza del detector (para objetos) o la similitud coseno con prototipos de texto (para VLMs).
• Agrupación (Clustering): Utilizan NCP (Normalized Certainty Penalty) y MDAV (Maximum Distance to Average Vector) para formar grupos de características sensibles y no sensibles, asegurando un tamaño mínimo de grupo y estabilidad.

B. Evaluación de Alineación de Presupuesto (EMPA)
Una vez identificados los grupos sensibles ($G^{(s)}_i$) y no sensibles ($G^{(n)}_i$) en cada capa, se aplica el módulo EMPA (Expectation-Maximization Privacy Assessment):

• Funcionamiento: Utiliza un procedimiento inspirado en el algoritmo EM (Expectation-Maximization) para ajustar una mezcla de distribuciones Gaussianas a las características sensibles perturbadas.
• Comparación: Compara la distribución ajustada de las características observadas con una distribución de referencia generada teóricamente bajo el presupuesto $\epsilon$ declarado (el mecanismo $M_{ref}$).
• Salida: Genera una señal de discrepancia (puntuación de alineación de presupuesto, $BAS_\epsilon$) y un sesgo de pesos ($Bias_\epsilon$).
  • Nota importante: La salida es relativa a la referencia. No certifica Privacidad Diferencial formal ni estima el $\epsilon$ efectivo real, sino que mide la desviación entre lo observado y lo declarado.

C. Aplicación a VLMs
El marco se aplica a los "torres visuales" (vision towers) de modelos como CLIP, LLaVA y BLIP, tratando sus capas de codificador visual como una jerarquía de características sin necesidad de modificar el modelo ni el decodificador de lenguaje.

3. Contribuciones Clave

1. Formalización de BUA/TDA: Definición formal de estrategias de búsqueda de características sensibles sobre estructuras jerárquicas (FPN y backbones de VLM) utilizando agrupación basada en NCP y MDAV.
2. Módulo EMPA: Introducción de un estimador de alineación de presupuesto a nivel de características que utiliza un procedimiento EM para generar señales de discrepancia interpretables.
3. Marco de Evaluación para VLMs: Demostración de cómo Bodhi VLM puede auditar la alineación de privacidad en las torres visuales de modelos multimodales modernos, complementando métodos de entrenamiento con DP.
4. Validación Exhaustiva: Experimentos en detectores de objetos (YOLO, DETR, PPDPTS) y VLMs (CLIP, LLaVA, BLIP), comparando contra baselines genéricas (Chi-cuadrado, K-L, MMD) y específicas de tareas.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos como MOT20 y COCO, con presupuestos de privacidad $\epsilon \in \{0.1, 0.01, 0.001\}$.

• Comparación BUA vs. TDA: Ambas estrategias muestran tendencias de desviación comparables. BUA es ligeramente más sensible a los niveles de ruido, mientras que TDA ofrece una alineación ligeramente mejor en ciertos casos. Ambas son efectivas para la detección de niveles de privacidad.
• Rendimiento de EMPA:
  • EMPA proporciona una señal de alineación de presupuesto estable (bajo error cuadrático medio, rMSE) en comparación con métricas genéricas como Chi-cuadrado, Divergencia K-L y MMD.
  • En experimentos sintéticos, el sesgo de EMPA ($Bias_\epsilon$) se mantiene estable (aprox. 0.89) a través de diferentes presupuestos, indicando que la señal es robusta a la estructura de agrupación.
  • En VLMs (CLIP, LLaVA, BLIP), Bodhi VLM logra errores de alineación (rMSE) bajos y consistentes, demostrando su aplicabilidad en arquitecturas heterogéneas (ViT y ResNet).
• Comparación con Baselines:
  • EMPA supera a las métricas de discrepancia genéricas en la capacidad de rastrear el presupuesto declarado.
  • A diferencia de métodos como ViP o DP-Cap (que requieren entrenamiento con DP), Bodhi VLM actúa como una herramienta de auditoría post-hoc que puede aplicarse a cualquier torre visual existente.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo se aleja de la simple certificación de DP o la auditoría post-hoc ciega, ofreciendo un modelo de representación que explica dónde y cómo se alinean las perturbaciones de privacidad en la jerarquía de características.
• Interpretabilidad: Proporciona a los evaluadores una señal cuantitativa sobre si el ruido inyectado en un modelo (ya sea entrenado con DP o no) corresponde a lo que se prometió en el presupuesto declarado.
• Aplicabilidad Universal: Al no requerir cambios en la arquitectura del modelo, Bodhi VLM puede integrarse en pipelines de visión existentes y en VLMs complejos, llenando un vacío en la evaluación de privacidad para sistemas multimodales.
• Limitaciones Reconocidas: El sistema es relativo a un mecanismo de referencia (si el mecanismo real difiere, la puntuación refleja ese desajuste) y actualmente se limita a las torres visuales, sin cubrir aún la fusión cruzada completa o la generación de lenguaje.

En conclusión, Bodhi VLM establece un nuevo estándar para la modelización de la privacidad en representaciones visuales jerárquicas, proporcionando herramientas para auditar la alineación de presupuestos de privacidad de manera interpretable y adaptable a la evolución de los modelos de visión por computadora y VLMs.