Vision Language Model Helps Private Information De-Identification in Vision Data

Resumo Técnico: VisShield – Escudo de Privacidade de Visão para Desidentificação em Dados de Visão

Declaração do Problema
Embora os Modelos de Linguagem de Visão (VLMs) tenham demonstrado capacidades notáveis na resolução de tarefas relacionadas a imagens, eles herdam riscos de privacidade de seus componentes de Grandes Modelos de Linguagem (LLMs), particularmente no que diz respeito à memorização e saída de informações sensíveis. As estratégias de mitigação de privacidade existentes para LLMs concentram-se principalmente em entradas baseadas em texto, negligenciando amplamente os riscos de privacidade incorporados em dados visuais. Existe uma lacuna crítica no tratamento de Informações de Saúde Protegidas (PHI) e outras Informações de Identificação Pessoal (PII) presentes como texto em imagens (ex: registros médicos, documentos). Os métodos de desidentificação atuais visam predominantemente características faciais usando modelos generativos, enquanto ferramentas como o Presidio carecem de flexibilidade para definir categorias de privacidade personalizadas e demonstram desempenho subótimo em contextos visuais. O desafio central é duplo: localizar com precisão o texto sensível dentro de uma imagem e processá-lo para garantir a proteção da privacidade sem comprometer a utilidade dos dados visuais restantes.

Metodologia: Estrutura VisShield
Os autores propõem o VisShield (Vision Privacy Shield), uma estrutura de ponta a ponta projetada para aumentar a consciência de privacidade dos VLMs. A estrutura opera através de um pipeline onde um VLM ajustado por instrução realiza o Reconhecimento Óptico de Caracteres (OCR) direcionado em regiões sensíveis à privacidade, seguido pelo mascaramento seletivo das informações identificadas. A metodologia baseia-se em dois componentes primários:

1. Conjunto de Dados OPTIC (Optical Privacy Text Instruction Collection):

   • Escala e Composição: Um conjunto de dados especializado de ajuste de instrução compreendendo 50 milhões de pares imagem-texto.
   • Pipeline de Geração: O conjunto de dados é sintetizado usando um processo de três estágios:
     • Geração de Prompts: Grandes Modelos de Linguagem (GPT-4 e Claude-3.5 Sonnet) geram prompts de instrução diversos. Esses prompts incluem uma definição específica de informação privada (ex: "informação privada representa nomes e SSNs"), exemplos de poucos disparos (few-shot) das categorias definidas e um token de gatilho especial <ocr> para iniciar a tarefa de OCR.
     • Geração de Imagens Sintéticas: Informações privadas (dados falsos gerados via pacote Faker) são sobrepostas a imagens de base de diversas fontes (flickr30k para cenas naturais e Rutherford et al. para imagens médicas). O processo de sobreposição randomiza tipos de fonte, tamanhos e cores para garantir robustez.
     • Rotulagem: Rótulos de verdade fundamental (ground truth) são gerados como caixas delimitadoras (<bbox>) para as entidades de texto específicas definidas na instrução do prompt. Se tal texto não existir, o rótulo é "Sem informação privada".
   • Categorias: O conjunto de dados cobre oito categorias: Nome, Data de Nascimento (DOB), Número de Seguro Social (SSN), Endereço, Número de Telefone, E-mail, Números de Registro Médico e Nomes de Doenças.

2. Metodologia de Treinamento Sob Medida:

   • Modelo Base: A estrutura realiza o ajuste fino (fine-tuning) do Kosmos-2.5, um modelo multimodal pré-treinado com capacidades inerentes de OCR.
   • Estratégia de Treinamento: Os autores demonstram que o treinamento em um subconjunto pequeno de 100.000 amostras é suficiente para aumentar significativamente as capacidades de desidentificação, evitando o custo computacional de treinar no conjunto completo de 50M de amostras.
   • Técnicas de Adaptação: Duas estratégias são exploradas: Ajuste Fino Total (Full Fine-Tuning, atualizando todos os parâmetros) e LoRA (Low-Rank Adaptation), um método de eficiência de parâmetros. Ambas visam ensinar o modelo a extrair seletivamente apenas o texto relevante para a privacidade com base em definições dinâmicas fornecidas no prompt, em vez de extrair todo o texto.

Principais Contribuições

• Primeira Desidentificação Customizada: Tanto quanto os autores sabem, este é o primeiro trabalho a abordar a desidentificação de informações textuais privadas em dados de visão usando definições de privacidade customizadas.
• Conjunto de Dados OPTIC: A criação de um conjunto de dados massivo e diverso de ajuste de instrução (50M de amostras) que permite aos VLMs gerar resultados de OCR especificamente para identificar informações privadas com base em critérios definidos pelo usuário.
• Ajuste Fino Eficaz: Demonstração de que o ajuste fino de um VLM pré-treinado (Kosmos-2.5) com uma pequena parte do conjunto de dados OPTIC é suficiente para alcançar alto desempenho em desidentificação, estabelecendo um novo escopo de aplicação para VLMs.

Resultados Experimentais
Os autores avaliaram os modelos ajustados contra a ferramenta existente Presidio e um pipeline de linha de base (Tesseract OCR + Llama2-7B) em vários cenários:

• Generalização: Os modelos foram testados em imagens geradas a partir de diferentes conjuntos de dados (COCO, ADE20K, RITE) e diferentes prompts de instrução (escritos por humanos e gerados por Gemma1.5).
• Métricas de Desempenho: A avaliação utilizou pontuações F1 para qualidade de OCR e Interseção sobre União (IoU) para precisão de detecção.
• Descobertas:
  • O VisShield superou significativamente o Presidio, que apresentou pontuações de IoU próximas de zero devido à sua incapacidade de customizar definições de privacidade.
  • Os modelos ajustados alcançaram pontuações médias de IoU consistentemente acima de 0.9 em diferentes conjuntos de dados e tipos de informação.
  • O Ajuste Fino Total e o LoRA mostraram desempenhos comparáveis, com o LoRA ocasionalmente mostrando ganhos marginais.
  • Os modelos demonstraram robustez no tratamento de novos tipos de informação (ex: números de telefone de 11 dígitos, números de passaporte) e cenários desafiadores, incluindo texto manuscrito e informação privada incorporada em sentenças.
  • Estudos de ablação indicaram que exemplos de poucos disparos (few-shot) no prompt são cruciais para lidar com formatos não vistos (como números de passaporte), enquanto prompts de zero disparos (zero-shot) funcionaram bem para formatos familiares.

Significância e Alegações
O artigo afirma que o VisShield pavimenta o caminho para aplicações de preservação de privacidade em modelos de linguagem de visão ao permitir que eles compreendam e executem tarefas de desidentificação customizadas. Os autores enfatizam que sua abordagem permite que os VLMs reconheçam texto sensível à privacidade e gerem caixas delimitadoras precisas para mascaramento eficaz, abordando uma lacuna onde trabalhos anteriores focavam apenas em rostos ou careciam de flexibilidade. O trabalho é apresentado como um passo fundamental para a integração segura de VLMs em domínios sensíveis à privacidade, como a saúde, ao mesmo tempo em que reconhece limitações relativas a formatos de domínios específicos raros e dependência da precisão do OCR em imagens de baixa qualidade.