Vision Language Model Helps Private Information De-Identification in Vision Data

Resumen Técnico: VisShield – Escudo de Privacidad de Visión para la Desidentificación en Datos de Visión

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Visión (VLM) han demostrado capacidades notables para resolver tareas relacionadas con imágenes, heredan riesgos de privacidad de sus componentes de Modelos de Lenguaje Extensos (LLM), particularmente en lo que respecta a la memorización y salida de información sensible. Las estrategias de mitigación de privacidad existentes para los LLM se centran principalmente en entradas basadas en texto, pasando por alto en gran medida los riesgos de privacidad incrustados en los datos visuales. Existe una brecha crítica en el manejo de la Información de Salud Protegida (PHI) y otra Información de Identificación Personal (PII) presente como texto dentro de las imágenes (por ejemplo, registros médicos, documentos). Los métodos de desidentificación actuales se dirigen predominantemente a las características faciales utilizando modelos generativos, mientras que herramientas como Presidio carecen de la flexibilidad para definir categorías de privacidad personalizadas y demuestran un rendimiento subóptimo en contextos visuales. El desafío central es doble: localizar con precisión el texto sensible dentro de una imagen y procesarlo para garantizar la protección de la privacidad sin comprometer la utilidad de los datos visuales restantes.

Metodología: Marco de Trabajo VisShield
Los autores proponen VisShield (Vision Privacy Shield), un marco de trabajo de extremo a extremo diseñado para mejorar la conciencia de privacidad de los VLM. El marco opera a través de un pipeline donde un VLM ajustado por instrucciones realiza un Reconocimiento Óptico de Caracteres (OCR) dirigido en regiones sensibles a la privacidad, seguido de un enmascaramiento selectivo de la información identificada. La metodología se basa en dos componentes principales:

1. Conjunto de Datos OPTIC (Optical Privacy Text Instruction Collection):

   • Escala y Composición: Un conjunto de datos especializado para el ajuste de instrucciones que comprende 50 millones de pares imagen-texto.
   • Pipeline de Generación: El conjunto de datos se sintetiza utilizando un proceso de tres etapas:
     • Generación de Prompts: Modelos de Lenguaje Extensos (GPT-4 y Claude-3.5 Sonnet) generan diversos prompts de instrucción. Estos prompts incluyen una definición específica de la información privada (por ejemplo, "la información privada representa nombres y SSN"), ejemplos de pocos disparos (few-shot) de las categorías definidas y un token de activación especial <ocr> para iniciar la tarea de OCR.
     • Generación de Imágenes Sintéticas: La información privada (datos falsos generados mediante el paquete Faker) se superpone sobre imágenes base de diversas fuentes (flickr30k para escenas naturales y Rutherford et al. para imágenes médicas). El proceso de superposición randomiza tipos de fuente, tamaños y colores para asegurar la robustez.
     • Etiquetado: Las etiquetas de verdad de campo (ground truth) se generan como cuadros delimitadores (<bbox>) para las entidades de texto específicas definidas en el prompt de instrucción. Si tal texto no existe, la etiqueta es "No hay información privada".
   • Categorías: El conjunto de datos cubre ocho categorías: Nombre, Fecha de Nacimiento (DOB), Número de Seguro Social (SSN), Dirección, Número de Teléfono, Correo Electrónico, Números de Registro Médico y Nombres de Enfermedades.

2. Metodología de Entrenamiento Adaptada:

   • Modelo Base: El marco ajusta Kosmos-2.5, un modelo multimodal preentrenado con capacidades inherentes de OCR.
   • Estrategia de Entrenamiento: Los autores demuestran que entrenar con un subconjunto pequeño de 100,000 muestras es suficiente para mejorar significativamente las capacidades de desidentificación, evitando el costo computacional de entrenar con el conjunto completo de 50 millones de muestras.
   • Técnicas de Adaptación: Se exploran dos estrategias: Ajuste Fino Completo (Full Fine-Tuning, actualizando todos los parámetros) y LoRA (Low-Rank Adaptation), un método de eficiencia de parámetros. Ambas tienen como objetivo enseñar al modelo a extraer selectivamente solo el texto relevante para la privacidad basado en definiciones dinámicas proporcionadas en el prompt, en lugar de extraer todo el texto.

Contribuciones Clave

• Primera Desidentificación Personalizada: Hasta donde saben los autores, este es el primer trabajo que aborda la desidentificación de información textual privada en datos de visión utilizando definiciones de privacidad personalizadas.
• Conjunto de Datos OPTIC: La creación de un conjunto de datos masivo y diverso para el ajuste de instrucciones (50 millones de muestras) que permite a los VLM emitir resultados de OCR específicamente para identificar información privada basada en criterios definidos por el usuario.
• Ajuste Fino Efectivo: La demostración de que el ajuste fino de un VLM preentrenado (Kosmos-2.5) con una porción relativamente pequeña del conjunto de datos OPTIC es suficiente para lograr una desidentificación de alto rendimiento, estableciendo un nuevo alcance de aplicación para los VLM.

Resultados Experimentales
Los autores evaluaron los modelos ajustados contra la herramienta existente Presidio y un pipeline de línea base (Tesseract OCR + Llama2-7B) a través de varios escenarios:

• Generalización: Los modelos fueron probados en imágenes generadas a partir de diferentes conjuntos de datos (COCO, ADE20K, RITE) y diferentes prompts de instrucción (escritos por humanos y generados por Gemma1.5).
• Métricas de Desempeño: La evaluación utilizó puntuaciones F1 para la calidad del OCR e Intersección sobre Unión (IoU) para la precisión de la detección.
• Hallazgos:
  • VisShield superó significativamente a Presidio, que mostró puntuaciones de IoU cercanas a cero debido a su incapacidad para personalizar las definiciones de privacidad.
  • Los modelos ajustados lograron puntuaciones medias de IoU consistentemente por encima de 0.9 en diferentes conjuntos de datos y tipos de información.
  • El ajuste fino completo y LoRA mostraron un rendimiento comparable, con LoRA mostrando ocasionalmente ganancias marginales.
  • Los modelos demostraron robustez en el manejo de nuevos tipos de información (por ejemplo, números de teléfono de 11 dígitos, números de pasaporte) y escenarios desafiantes, incluyendo texto manuscrito e información privada incrustada dentro de oraciones.
  • Los estudios de ablación indicaron que los ejemplos de pocos disparos (few-shot) en el prompt son cruciales para manejar formatos no vistos (como números de pasaporte), mientras que los prompts de cero disparos (zero-shot) funcionaron bien para formatos familiares.

Significancia y Reivindicaciones
El artículo afirma que VisShield allana el camino para aplicaciones de preservación de la privacidad en modelos de lenguaje de visión al permitirles comprender y ejecutar tareas de desidentificación personalizadas. Los autores enfatizan que su enfoque permite a los VLM reconocer texto sensible a la privacidad y emitir cuadros delimitadores precisos para un enmascaramiento efectivo, abordando una brecha donde los trabajos previos se centraban únicamente en rostros o carecían de flexibilidad. El trabajo se presenta como un paso fundacional hacia una integración más segura de los VLM en dominios sensibles a la privacidad, como la salud, reconociendo las limitaciones con respecto a formatos específicos de dominio poco comunes y la dependencia de la precisión del OCR en imágenes de baja calidad.