Vision Language Model Helps Private Information De-Identification in Vision Data

Sintesi Tecnica: VisShield – Scudo per la Privacy Visiva per la de-identificazione nei dati visivi

Problema
Sebbene i Modelli Linguistici-Visivi (VLM) abbiano dimostrato capacità straordinarie nel risolvere compiti legati alle immagini, essi ereditano rischi di privacy dai loro componenti di Modelli Linguistici di Grandi Dimensioni (LLM), in particolare per quanto riguarda la memorizzazione e l'output di informazioni sensibili. Le strategie di mitigazione della privacy esistenti per gli LLM si concentrano principalmente sugli input testuali, trascurando ampiamente i rischi di privacy incorporati nei dati visivi. Esiste una lacuna critica nella gestione delle Informazioni Sanitarie Protette (PHI) e di altre Informazioni Identificative Personali (PII) presenti sotto forma di testo nelle immagini (ad esempio, cartelle cliniche, documenti). Gli attuali metodi di de-identificazione prendono bersaglio prevalentemente i tratti del viso utilizzando modelli generativi, mentre strumenti come Presidio mancano della flessibilità necessaria per definire categorie di privacy personalizzate e mostrano prestazioni subottimali in contesti visivi. La sfida principale è duplice: localizzare accuratamente il testo sensibile all'interno di un'immagine e processarlo per garantire la protezione della privacy senza compromettere l'utilità dei restanti dati visivi.

Metodologia: Framework VisShield
Gli autori propongono VisShield (Vision Privacy Shield), un framework end-to-end progettato per migliorare la consapevolezza della privacy dei VLM. Il framework opera attraverso una pipeline in cui un VLM sottoposto a instruction-tuning esegue un riconoscimento ottico dei caratteri (OCR) mirato sulle regioni sensibili alla privacy, seguito da una mascheratura selettiva delle informazioni identificate. La metodologia si basa su due componenti primarie:

1. Dataset OPTIC (Optical Privacy Text Instruction Collection):

   • Scala e Composizione: Un dataset specializzato per l'instruction-tuning composto da 50 milioni di coppie immagine-testo.
   • Pipeline di Generazione: Il dataset è sintetizzato attraverso un processo in tre fasi:
     • Generazione dei Prompt: I Large Language Models (GPT-4 e Claude-3.5 Sonnet) generano prompt di istruzione diversificati. Questi prompt includono una definizione specifica delle informazioni private (ad esempio, "le informazioni private rappresentano nomi e SSN"), esempi few-shot delle categorie definite e un token di attivazione speciale <ocr> per avviare il compito di OCR.
     • Generazione di Immagini Sintetiche: Le informazioni private (dati falsi generati tramite il pacchetto Faker) vengono sovrapposte a immagini di base provenienti da diverse fonti (flickr30k per scene naturali e Rutherford et al. per immagini mediche). Il processo di sovrapposizione randomizza tipi di font, dimensioni e colori per garantire robustezza.
     • Etichettatura: Le etichette di ground truth sono generate come bounding box (<bbox>) per le specifiche entità testuali definite nell'istruzione del prompt. Se tale testo non esiste, l'etichetta è "Nessuna informazione privata".
   • Categorie: Il dataset copre otto categorie: Nome, Data di Nascita (DOB), Numero di Previdenza Sociale (SSN), Indirizzo, Numero di Telefono, Email, Numeri di Cartella Clinica e Nomi di Malattie.

2. Metodologia di Training Su Misura:

   • Modello Base: Il framework effettua il fine-tuning di Kosmos-2.5, un modello multimodale pre-addestrato con capacità OCR intrinseche.
   • Strategia di Training: Gli autori dimostrano che l'addestramento su un piccolo sottoinsieme di 100.000 campioni è sufficiente per migliorare significativamente le capacità di de-identificazione, evitando il costo computazionale di addestrare sull'intero dataset di 50 milioni di campioni.
   • Tecniche di Adattamento: Sono esplorate due strategie: il Full Fine-Tuning (aggiornamento di tutti i parametri) e LoRA (Low-Rank Adaptation), un metodo efficiente dal punto di vista dei parametri. Entrambi mirano a insegnare al modello a estrarre selettivamente solo il testo rilevante per la privacy in base alle definizioni dinamiche fornite nel prompt, anziché estrarre tutto il testo.

Contributi Chiave

• Prima De-identificazione Personalizzata: Per quanto ne sappiamo, questo è il primo lavoro che affronta la de-identificazione delle informazioni testuali private nei dati visivi utilizzando definizioni di privacy personalizzate.
• Dataset OPTIC: La creazione di un massiccio e diversificato dataset di instruction-tuning (50 milioni di campioni) che consente ai VLM di produrre risultati OCR specificamente per l'identificazione di informazioni private basate su criteri definiti dall'utente.
• Fine-Tuning Efficace: La dimostrazione che il fine-tuning di un VLM pre-addestrato (Kosmos-2.5) con una parte relativamente piccola del dataset OPTIC è sufficiente per ottenere prestazioni elevate nella de-identificazione, stabilendo un nuovo ambito di applicazione per i VLM.

Risultati Sperimentali
Gli autori hanno valutato i modelli fine-tuned contro lo strumento esistente Presidio e una pipeline di baseline (Tesseract OCR + Llama2-7B) in vari scenari:

• Generalizzazione: I modelli sono stati testati su immagini generate da diversi dataset di base (COCO, ADE20K, RITE) e diversi prompt di istruzione (scritti da umani e generati da Gemma1.5).
• Metriche di Performance: La valutazione ha utilizzato gli F1 score per la qualità dell'OCR e l'Intersection over Union (IoU) per l'accuratezza della rilevazione.
• Risultati:
  • VisShield ha superato significativamente Presidio, che ha mostrato punteggi IoU vicini allo zero a causa della sua incapacità di personalizzare le definizioni di privacy.
  • I modelli fine-tuned hanno raggiunto punteggi medi IoU costantemente superiori a 0,9 attraverso diversi dataset e tipi di informazioni.
  • Il Full Fine-Tuning e LoRA hanno mostrato prestazioni comparabili, con LoRA che occasionalmente mostrava guadagni marginali.
  • I modelli hanno dimostrato robustezza nel gestire nuovi tipi di informazioni (ad esempio, numeri di telefono a 11 cifre, numeri di passaporto) e scenari impegnativi, inclusi il testo scritto a mano e le informazioni private incorporate all'interno di frasi.
  • Gli studi di ablazione hanno indicato che gli esempi few-shot nel prompt sono cruciali per gestire formati non visti (come i numeri di passaporto), mentre i prompt zero-shot hanno funzionato bene per i formati familiari.

Significatività e Rivendicazioni
L'articolo sostiene che VisShield apre la strada ad applicazioni di preservazione della privacy nei modelli linguistici-visivi, consentendo loro di comprendere ed eseguire compiti di de-identificazione personalizzati. Gli autori sottolineano che il loro approccio permette ai VLM di riconoscere il testo sensibile alla privacy e produrre bounding box precisi per un'efficace mascheratura, affrontando una lacuna dove i lavori precedenti si concentravano esclusivamente sui volti o mancavano di flessibilità. Il lavoro è presentato come un passo fondamentale verso un'integrazione più sicura dei VLM in domini sensibili alla privacy, come quello sanitario, pur riconoscendo i limiti riguardanti formati specifici di dominio rari e la dipendenza dall'accuratezza dell'OCR in immagini di bassa qualità.