Vision Language Model Helps Private Information De-Identification in Vision Data

Technische Samenvatting: VisShield – Vision Privacy Shield voor de-identificatie in visuele data

Probleemstelling
Hoewel Vision Language Models (VLM's) opmerkelijke capaciteiten hebben getoond bij het oplossen van beeldgerelateerde taken, erven zij privacyrisico's van hun Large Language Model (LLM) componenten, met name wat betreft het memoriseren en reproduceren van gevoelige informatie. Bestaande strategieën voor privacybeheersing voor LLM's richten zich primair op tekstgebaseerde inputs en negeren grotendeels de privacyrisico's die ingebed zijn in visuele data. Er bestaat een kritieke kloof in het afhandelen van Protected Health Information (PHI) en andere Personally Identifiable Information (PII) die als tekst in afbeeldingen aanwezig zijn (bijv. medische dossiers, documenten). Huidige de-identificatiemethoden richten zich voornamelijk op gelaatstrekken met behulp van generatieve modellen, terwijl tools zoals Presidio een gebrek aan flexibiliteit vertonen bij het definiëren van aangepaste privacycategorieën en suboptimale prestaties leveren in visuele contexten. De kernuitdaging is tweeledig: het nauwkeurig lokaliseren van gevoelige tekst binnen een afbeelding en het verwerken ervan om privacybescherming te garanderen zonder de bruikbaarheid van de resterende visuele data in gevaar te brengen.

Methodologie: VisShield Framework
De auteurs stellen VisShield (Vision Privacy Shield) voor, een end-to-end framework dat is ontworpen om het privacybewustzijn van VLM's te vergroten. Het framework werkt via een pipeline waarbij een instructie-getunede VLM gerichte Optical Character Recognition (OCR) uitvoert op privacygevoelige regio's, gevolgd door selectieve maskering van de geïdentificeerde informatie. De methodologie steunt op twee primaire componenten:

1. OPTIC Dataset (Optical Privacy Text Instruction Collection):

   • Schaal en Samenstelling: Een gespecialiseerde instructie-tuning dataset bestaande uit 50 miljoen beeld-tekst paren.
   • Generatie Pipeline: De dataset wordt gesynthetiseerd via een proces van drie stadia:
     • Prompt Generatie: Large Language Models (GPT-4 en Claude-3.5 Sonnet) genereren diverse instructie-prompts. Deze prompts bevatten een specifieke definitie van privé-informatie (bijv. "privé-informatie staat voor namen en SSN's"), few-shot voorbeelden van de gedefinieerde categorieën, en een speciale trigger-token <ocr> om de OCR-taak te initiëren.
     • Synthetische Beeldgeneratie: Privé-informatie (nepdata gegenereerd via de Faker package) wordt over de basisafbeeldingen geplaatst uit diverse bronnen (flickr30k voor natuurlijke scènes en Rutherford et al. voor medische afbeeldingen). Het overlay-proces randomiseert lettertypen, groottes en kleuren om robuustheid te garandeen.
     • Labeling: Ground truth labels worden gegenereerd als bounding boxes (<bbox>) voor de specifieke tekstentiteiten die in de instructie-prompt zijn gedefinieerd. Als dergelijke tekst niet bestaat, is het label "No private information".
   • Categorieën: De dataset beslaat acht categorieën: Naam, Geboortedatum (DOB), Social Security Number (SSN), Adres, Telefoonnummer, E-mail, Medische dossiernummers en Ziektenamen.

2. Op maat gemaakte Trainingsmethodologie:

   • Base Model: Het framework finetunet Kosmos-2.5, een pre-trained multimodale model met inherente OCR-capaciteiten.
   • Trainingsstrategie: De auteurs demonstreren dat trainen op een kleine subset van 100.000 samples voldoende is om de de-identificatiecapaciteiten significant te verbeteren, waardoor de computationele kosten van trainen op de volledige 50M dataset worden vermeden.
   • Adaptatie Technieken: Twee strategieën worden verkend: Full Fine-Tuning (het updaten van alle parameters) en LoRA (Low-Rank Adaptation), een parameterefficiënte methode. Beide beogen het model te leren om selectief alleen privacy-relevante tekst te extraheren op basis van dynamische definities in de prompt, in plaats van alle tekst te extraheren.

Belangrijkste Bijdragen

• Eerste Aangepaste De-identificatie: Naar weten van de auteurs is dit het eerste werk dat de de-identificatie van tekstuele privé-informatie in visuele data aanpakt met behulp van aangepaste definities van privacy.
• OPTIC Dataset: De creatie van een enorme, diverse instructie-tuning dataset (50M samples) die VLM's in staat stelt specifiek OCR-resultaten te produceren voor het identificeren van privé-informatie op basis van gebruikersgedefinieerde criteria.
• Effectieve Fine-Tuning: De demonstratie dat het finetunen van een pre-trained VLM (Kosmos-2.5) met een relatief klein deel van de OPTIC dataset voldoende is om een hoge prestatie voor de-identificatie te bereiken, waarmee een nieuw toepassingsbereik voor VLM's wordt vastgesteld.

Experimentele Resultaten
De auteurs evalueerden de gefinetunede modellen tegenover de bestaande tool Presidio en een baseline pipeline (Tesseract OCR + Llama2-7B) in diverse scenario's:

• Generalisatie: De modellen werden getest op afbeeldingen gegenereerd van verschillende basisdatasets (COCO, ADE20K, RITE) en verschillende instructie-prompts (door mensen geschreven en gegenereerd door Gemma1.5).
• Prestatie Metrics: Evaluatie gebruikte F1-scores voor OCR-kwaliteit en Intersection over Union (IoU) voor detectie-nauwkeurigheid.
• Bevindingen:
  • VisShield presteerde significant beter dan Presidio, dat bijna nul IoU-scores liet zien vanwege het onvermogen om privacydefinities aan te passen.
  • De gefinetunede modellen behaalden consistent gemiddelde IoU-scores boven de 0,9 over verschillende datasets en soorten informatie.
  • Full fine-tuning en LoRA vertoonden vergelijkbare prestaties, waarbij LoRA incidenteel marginale winst boekte.
  • De modellen toonden robuustheid in het afhandelen van nieuwe informatietypes (bijv. 11-cijferige telefoonnummers, paspoortnummers) en uitdagende scenario's, inclusief handgeschreven tekst en privé-informatie ingebed in zinnen.
  • Ablatie-studies gaven aan dat few-shot voorbeelden in de prompt cruciaal zijn voor het afhanden van onbekende formaten (zoals paspoortnummers), terwijl zero-shot prompts goed presteerden voor bekende formaten.

Betekenis en Claims
Het artikel claimt dat VisShield de weg vrijmaakt voor privacy-bewarende toepassingen door visie-taalmodellen in staat te stellen aangepaste de-identificatietaken te begrijpen en uit te voeren. De auteurs benadrukken dat hun aanpak het mogelijk maakt voor VLM's om privacygevoelige tekst te herkennen en precieze bounding boxes te produceren voor effectieve maskering, waarmee een gat wordt gedicht waar voorgaande werken zich uitsluitend richtten op gezichten of een gebrek aan flexibiliteit vertoonden. Het werk wordt gepresenteerd als een fundamentele stap naar een veiligere integratie van VLM's in privacygevoelige domeinen, zoals de gezondheidszorg, waarbij de beperkingen met betrekking tot zeldzame domeinspecifieke formaten en de afhankelijkheid van OCR-nauwkeurigheid in afbeeldingen van lage kwaliteit worden erkend.