Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Resumen Técnico: Modelos de Visión-Lenguaje Multimodales Inspirados en la Neurociencia y Resiliencia ante la Inferencia de Membresía

Planteamiento del Problema
El rápido despliegue de Modelos Multimodales (MM), específicamente Modelos de Visión-Lenguaje (VLM), en aplicaciones de IA agéntica (por ejemplo, robótica, salud, autenticación) ha introducido nuevas vulnerabilidades de privacidad. Mientras que la investigación existente ha analizado extensamente los Ataques de Inferencia de Membresía (MIA) en sistemas unimodales y Grandes Modelos de Lenguaje (LLM), la resiliencia de los VLM frente a los MIA de caja negra sigue siendo poco explorada. En un escenario de MIA de caja negra, un adversario consulta un VLM desplegado con una imagen e intenta deducir si un par imagen-texto específico formó parte del conjunto de datos de entrenamiento del modelo mediante el análisis del pie de foto generado. Si tiene éxito, esto constituye una filtración de privacidad, revelando datos de entrenamiento sensibles. Estudios previos sugieren que las representaciones de redes neuronales inspiradas biológicamente pueden mejorar la resiliencia contra ataques adversarios en modelos unimodales, pero se desconoce si la regularización estructural neuro-inspirada puede mitigar la filtración de privacidad en VLM complejos y multimodales.

Metodología
Este trabajo introduce un marco sistemático para evaluar y mejorar la resiliencia de los VLM frente a los MIA basados en imagen-texto utilizando una regularización topológica inspirada en la neurociencia (denominada $\tau$-regularización).

• Modelo de Amenaza: El estudio opera bajo un entorno estricto de caja negra. El adversario no tiene acceso a los pesos del modelo, gradientes o embeddings internos. Solo puede enviar una imagen de entrada $u$ al modelo objetivo $M_\tau$ y observar el pie de foto generado $v'$. El adversario posee un pie de foto de referencia $v$ (verdad fundamental) y utiliza métricas de similitud para inferir la membresía.
• Regularización Topológica ($\tau$-Regularización): La metodología central consiste en el ajuste fino de VLM preentrenados con una función de pérdida modificada:
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Donde $J_{cap}$ es la pérdida de subtitulado estándar (entropía cruzada) y $R_{topo}$ es un regularizador topográfico que fomenta representaciones internas más suaves y organizadas espacialmente al alinear los mapas de características con sus contrapartes difuminadas. El escalar $\tau$ controla la fuerza de este sesgo inductivo.
• Configuración Experimental:
  • Modelos: Se evaluaron tres VLM: BLIP, PaliGemma 2 y ViT-GPT2.
  • Conjuntos de Datos: Los experimentos se realizaron en COCO, CC3M y NoCaps.
  • Variantes: Los modelos fueron probados en tres configuraciones:
    • Baseline: $\tau = 0$ (Ajuste fino estándar).
    • NEURO: $\tau = 2$ (Regularización topológica moderada).
    • NEURO++: $\tau = 3$ (Regularización topográfica fuerte).
  • Mecanismo de Ataque: El adversario calcula la similitud entre el pie de foto generado $v'$ y el pie de foto de referencia $v$ utilizando MPNet (similitud semántica) y ROUGE-2 (solapamiento léxico). Una puntuación de similitud alta sugiere que la muestra es un "miembro" del conjunto de datos de entrenamiento. El éxito del ataque se cuantifica mediante ROC-AUC.

Contribuciones Clave

1. Introducción de un Marco de Trabajo: El artículo introduce un marco de regularización topológica ($\tau$-regularizada) diseñado específicamente para ajustar finamente VLM multimodales para evaluar su resiliencia frente a ataques de privacidad.
2. Primer Estudio Empírico sobre Neuro-VLM: Este trabajo presenta la primera investigación sobre si la regularización estructural neuro-inspirada mejora la resiliencia de la privacidad de los VLM frente a los MIA de caja negra.
3. Evaluación Extensa: Los autores proporcionan una evaluación exhaustiva a través de tres arquitecturas distintas de VLM y tres conjuntos de datos de referencia, comparando los modelos base contra las variantes neuro-inspiradas.
4. Análisis de la Relación Privacidad-Utilidad: El estudio ofrece evidencia cuantitativa sobre el compromiso entre la protección de la privacidad (reducción del éxito del ataque) y la utilidad del modelo (calidad de la generación de pies de foto), demostrando que la resiliencia puede lograrse sin una degradación significativa del rendimiento.
5. Estudios de Ablación: El documento analiza el impacto de variar el coeficiente de regularización $\tau$ (de 0 a 3) y la granularidad del ataque para identificar patrones en la resiliencia del modelo.

Resultos
Los experimentos demuestran que los VLM neuro-inspirados son significativamente más resilientes a los ataques de inferencia de membresía que sus contrapartes base, manteniendo una utilidad comparable.

• Reducción del Éxito del Ataque: En el modelo BLIP utilizando el conjunto de datos COCO, la tasa de éxito del ataque MIA (medida por ROC-AUC) cayó aproximadamente un 24% para la variante NEURO ($\tau=2$) y un 30.5% para la variante NEURO++ ($\tau=3$) en comparación con el Baseline.
  • Baseline BLIP (COCO): ROC-AUC = 94.00%
  • NEURO++ BLIP (COCO): ROC-AUC = 63.46%
• Consistencia entre Modelos y Conjuntos de Datos: Se observaron tendencias similares para PaliGemma 2 y ViT-GPT2 en los conjuntos de datos CC3M y NoCaps. Generalmente, aumentar $\tau$ redujo el ROC-AUC, indicando una menor vulnerabilidad a los MIA.
• Preservación de la Utilidad: Crucialmente, la reducción en el éxito del ataque no se produjo a expensas del rendimiento del modelo. Las puntuaciones de similitud (MPNet y ROUGE-2) entre los pies de foto generados y de referencia para los modelos NEURO se mantuvieron similares, o en algunos casos ligeramente mejores, que los modelos Baseline. Por ejemplo, en el conjunto de datos COCO, la brecha de similitud entre muestras miembros y no miembros se estrechó, pero la calidad general de la generación de pies de foto (utilidad) se preservó.
• Mecanismo: La regularización topográfica parece reducir la dependencia del modelo en la memorización de ejemplos de entrenamiento específicos. Al suavizar las representaciones internas, el modelo genera pies de foto que son menos distintivamente "memorizados" para los datos de entrenamiento, estrechando así la brecha de similitud que los adversarios explotan entre miembros y no miembros.

Significancia y Reivindicaciones
El artículo afirma llenar un vacío crítico en la comprensión de los riesgos de privacidad en la IA multimodal. Proporciona evidencia empírica de que la regularización topográfica neuro-inspirada es un mecanismo eficaz para mitigar la filtración de privacidad en los VLM sin comprometer su utilidad.

Los autores concluyen que, si bien los VLM son susceptibles a los MIA, la incorporación de principios biológicos (específicamente la organización topográfica) en el proceso de entrenamiento puede mejorar la resiliencia de la privacidad. Esto sugiere un camino viable hacia el despliegue de soluciones de IA agéntica "confiables" donde la privacidad se preserva junto con un alto rendimiento. El trabajo destaca la necesidad de realizar más investigaciones para optimizar el parámetro $\tau$ para compromisos específicos de privacidad-utilidad y explorar escenarios de ataque de caja blanca, pero establece firmemente la eficacia de la $\tau$-regularización como una estrategia defensiva en entornos de caja negra.