Resumen Técnico: Revelando los Riesgos de Privacidad en los Modelos de Lenguaje de Gran Escala Multimodales

Planteamiento del Problema

Si bien los riesgos de privacidad en los modelos de lenguaje (LLM) de solo texto, como la memorización y la filtración de información sensible, están bien documentados, los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) introducen desafíos únicos y poco explorados. A diferencia de los modelos de solo texto, los MLLM procesan tanto texto como imágenes, lo que crea nuevos vectores para las brechas de privacidad. Específicamente, los MLLM pueden extraer y exponer información sensible incrustada directamente en las imágenes o recuperar datos sensibles almacenados en su memoria inducidos por entradas de imagen. Los trabajos previos se han centrado principalmente en la "conciencia de la privacidad" (si un modelo reconoce la información privada) en lugar del riesgo real de filtración de datos. Este artículo aborda la brecha crítica en la comprensión de la gravedad de los problemas de privacidad en los MLLM a través de diversas tareas y escenarios.

Metodología

El Conjunto de Datos MM-Privacy

Para evaluar sistemáticamente estos riesgos, los autores presentan MM-Privacy, un conjunto de datos de referencia (benchmark) integral que contiene más de 13,500 muestras. El conjunto de datos está estructurado para evaluar dos riesgos de privacidad distintos:

1. Riesgos de Divulgación (Disclosure Risks): Evalúa el comportamiento inmediato del modelo al procesar una entrada sensible (por ejemplo, una imagen que contiene un Número de Seguro Social).
2. Riesgos de Retención (Retention Risks): Evalúa cómo el modelo maneja la información que ha aprendido o memorizado durante el entrenamiento (ajuste fino/fine-tuning).

Construcción del Conjunto de Datos:

• Conjunto de Memoria (Memory Set): Contiene 1,000 muestras con información privada sintética (correos electrónicos, números de teléfono, SSN) inyectada en imágenes. Estas se utilizan para ajustar los modelos para que "memoricen" datos específicos.
• Conjunto de Evaluación (Evaluation Set): Contiene 2,500 muestras no superpuestas utilizadas para probar si los modelos filtran los datos memorizados o los datos presentes en la entrada.
• Escenarios: El conjunto de datos cubre cuatro escenarios del mundo real: Contratación (solicitudes de empleo), Verificación (formularios I-9), Finanzas (solicitudes de préstamos) y Contexto Abierto.
• Generación de Imágenes: Las imágenes se generan mediante tres métodos: generación automática de formularios, creación centrada en humanos (imprimir y fotografiar formularios completados) y generación de imágenes contextualmente relacionadas usando Stable Diffusion para probar si el contexto aumenta la vulnerabilidad.
• Diversidad de Tareas: Para analizar las vulnerabilidades específicas de cada tarea, las instrucciones se reformulan en cinco tareas distintas: Pregunta Directa (Directly Ask), Descripción de Imagen (Captioning), Preguntas y Respuestas Visuales (VQA), Parafraseo (Rephrasing) y Clasificación (Classification).

Marco de Evaluación

El estudio evalúa tanto modelos de código cerrado (GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude3-Haiku) como modelos de código abierto (Idefics2, Llava-1.5, Llava-1.6, Xgen-Phi3, PaliGemma).

• Métricas:
  • Tasa de Éxito del Ataque (ASR): Mide la frecuencia de la filtración exitosa (salida de la información privada correcta). Cuanto mayor es, peor es.
  • Tasa de Rechazo (RR): Mide la frecuencia con la que el modelo se niega a responder. Cuanto menor es, peor es.
• Variaciones de Entrenamiento: Para los Riesgos de Retención, los modelos se ajustan mediante LoRA utilizando diferentes objetivos de entrenamiento: Ajuste Fino Supervisado (SFT), Aprendizaje Contrastivo y Aprendizaje Estilo QA.
• Análisis de Defensa: Se prueba la eficacia de los prompts de defensa (por ejemplo, de Wang et al., 2024; Xie et al., 2023) para ver si mitigan la filtración.

Resultados Clave

1. Riesgos de Divulgación

• Modelos de Código Cerrado: Poseen salvaguardas generales, pero su desempeño es inconsistente. Sorprendentemente, modelos potentes como GPT-4V y GPT-4o mostraron salvaguardas menos efectivas en ciertos contextos en comparación con otros.
• Inconsistencia de Tareas: Las tareas indirectas, específicamente Descripción de Imagen (Captioning) y Parafraseo (Rephrasing), plantearon los mayores riesgos de privacidad (mayor ASR) para los modelos de código cerrado. Estas tareas parecen desviar la atención del modelo de las restricciones de privacidad, de manera similar a los mecanismos de jailbreaking.
• Modelos de Código Abierto: Exhibieron riesgos significativamente mayores que sus contrapartes de código cerrado. La mayoría de los modelos de código abierto tuvieron Tasas de Rechazo (RR) bajas, lo que indica una disposición a emitir datos sensibles. Sin embargo, sus Tasas de Éxito de Ataque (ASR) fueron a menudo inferiores al 50% en la mayoría de las tareas, probablemente debido a dificultades para reconocer el texto dentro de las imágenes en lugar de una fuerte alineación de privacidad.

2. Riesgos de Retención

• Filtración por Memorización: Todos los modelos de código abierto probados emitieron con éxito información privada del conjunto de memoria cuando se sometieron a ajuste fino, lo que resalta una vulnerabilidad severa en cómo estos modelos maneccionan los datos memorizados.
• Impacto del Método de Entrenamiento: El Ajuste Fino Supervisado (SFT) resultó en la mayor filtración de privacidad (mayor ASR), probablemente debido al sobreajuste (overfitting). El Aprendizaje Contrastivo ofreció la mejor preservación de la privacidad con el ASR más bajo.
• Comportamiento de los Modelos de Código Cerrado: Los modelos de código cerrado mostraron Tasas de Rechazo mucho más altas durante las pruebas de retención, volviéndose más cautelosos al tratar con datos memorizados en comparación con la entrada directa.

3. Eficacia de los Prompts de Defensa

• Los prompts de defensa mejoraron significativamente la Tasa de Rechazo para Llava-1.6, elevándola a casi el 100% en todas las tareas.
• Sin embargo, los mismos prompts proporcionaron solo una protección marginal para Idefics2, lo que sugiere que la efectividad de la defensa depende altamente del ajuste de instrucciones y la arquitectura subyacente del modelo.

Contribuciones Clave

1. Definición de Riesgos: El artículo define y distingue formalmente entre Riesgos de Divulgación (filtración inmediata de la entrada) y Riesgos de Retención (filtración de datos memorizados) específicamente para los MLLM.
2. Conjunto de Datos MM-Privacy: Introduce el primer conjunto de datos multimodal diseñado para evaluar exhaustivamente estos dos riesgos a través de diversos escenarios (Contratación, Finanzas, Verificación, Contexto Abierto) y tareas.
3. Evaluación Sistemática: Proporciona extensos resultados experimentales que muestran que la filtración de privacidad es un problema persistente, siendo los modelos de código abierto notablemente más vulnerables que los de código cerrado.
4. Perspectivas Basadas en Tareas: Revela que los riesgos de privacidad son altamente inconsistentes entre diferentes tareas; las tareas indirectas como la descripción de imágenes y el parafraseo frecuentemente eluden las salvaguardas existentes, lo que requiere estrategias de mitigación conscientes de la tarea.

Significado y Reivindicaciones

Los autores afirman que su trabajo llena un vacío crítico en el análisis de la privacidad de los MLLM, yendo más allá de las simples pruebas de "conciencia" hacia una evaluación real de la filtración. Los hallazgos subrayan la necesidad urgente de mecanismos de protección de la privacidad mejorados, particularmente en el dominio del código abierto. El artículo enfatiza que las salvaguardas existentes no logran generalizarse a través de diferentes modos de interacción (tareas), y que el estado actual de los MLLM plantea riesgos significativos para la exposición de datos. El estudio concluye que, sin estrategias de mitigación específicas adaptadas a las tareas y métodos de entrenamiento multimodales, los MLLM siguen siendo susceptibles a graves brechas de privacidad.