Technische Samenvatting: VLMGuard

Probleemstelling

Vision-Language Models (VLM's) worden steeds vaker ingezet in open-world omgevingen waar ze een mengeling van beneagene en adversarieel gemanipuleerde inputs verwerken. In tegenstelling tot tekst-only modellen, staan VLM's bloot aan een uitgebreid aanvalsoppervlak waarbij tegenstanders de visuele, tekstuele of beide kanalen kunnen manipuleren om onveilige gedragingen te induceren, zoals het genereren van schadelijke inhoud of het uitvoeren van onbedoelde tool-acties.

De primaire uitdaging bij het ontwikkelen van waarborgen voor VLM's is de schaarste aan hoogwaardige, gelabelde datasets die zowel beneagene als kwaadaardige prompts bevatten. Het cureren van dergelijke data vereist aanzienlijke menselijke inspanning en continue updates naarmate aanvalsstrategieën evolueren. Daarom is er een kritieke behoefte aan methoden die effectief kwaadaardige prompts kunnen detecteren met behulp van de enorme hoeveelheden ongelabelde gebruikersprompts die van nature beschikbaar zijn in real-world implementaties, zonder afhankelijk te zijn van uitgebreide handmatige annotatie.

Methodologie: VLMGuard

De auteurs stellen VLMGuard voor, een tweestaps leerframework ontworpen om kwaadaardige prompt-detectoren te bootstrappen vanuit ongelabelde data. Het framework werkt onder de aanname dat ongelabelde gebruikersprompts een Huber-contaminatiemodel volgen, waarbij de datadistributie $P_{unlabeled}$ een mengeling is van beneagene ($P_{benign}$) en kwaadaardige ($P_{malicious}$) distributies met een kleine mengverhouding $\pi$.

Fase 1: Geautomatiseerde schatting van kwaadaardigheid via latente subspace

De eerste fase maakt gebruik van de interne representaties van een pre-trained VLM om onderscheid te maken tussen beneagene en kwaadaardige samples binnen de ongelabelde mengeling.

1. Representatie-extractie: Voor elke prompt $(x_v, x_t)$ wordt een $d$-dimensionale representatie $f$ geëxtraheerd uit een specifieke laag $\ell$ van de VLM.
2. Subspace Identificatie: De auteurs voeren Singular Value Decomposition (SVD) uit op de gecentreerde embedding-matrix. Theoretische analyse suggereert dat onder het Huber-contaminatiemodel de leidende singuliere richtingen van de representatie-cloud bevooroordeeld zijn naar de afwijkingen veroorzaakt door de zeldzame kwaadaardige samples.
3. Scoring: Een kwaadaardigheids-schatting score $\kappa_i$ wordt berekend voor elke prompt op basis van zijn projectie-energie op de top-$k$ dominante singuliere richtingen, gewogen door hun singuliere waarden:
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   waarbij $\mu$ het empirische gemiddelde is, $v_j$ de rechter singuliere vectoren zijn, en $\lambda_j$ de singuliere waarden zijn.
4. Pseudo-partitionering: Prompts worden gepartitioneerd in een kandidaat-kwaadaardige set $\mathcal{M}$ (hoge scores) en een kandidaat-beneagene set $\mathcal{B}$ (lage scores) met behulp van een drempelwaarde $T$. Dit creëert een ruisgevoelige pseudo-labeling van de ongelabelde data.

Fase 2: Training van de Safeguarding Prompt Classifier

De tweede fase adresseert de broosheid van directe projectiescores, die gevoelig kunnen zijn voor oppervlakkige variaties (bijv. parafrasering) die geen kwaadaardige intentie weerspiegelen.

1. Classifier Training: Een lichtgewicht binaire classifier (een 3-laags MLP) wordt getraind op de pseudo-gelabelde sets $\mathcal{M}$ (label 1) en $\mathcal{B}$ (label 0) met behulp van logistic loss.
2. Robuustheid: De auteurs argumenteren dat deze classifier leert om "nuisance variaties" (zoals lexicale of syntactische veranderingen in beneagene prompts) te negeren die spurius correleren met de dominante subspace-energie, waardoor een robuustere beslissingsgrens wordt geboden voor detectie tijdens de testtijd.

Belangrijkste Bijdragen

1. Framework Formulering: De introductie van VLMGuard, een tweestaps framework dat kwaadaardige prompt-detectie formaliseert door gebruik te maken van ongelabelde gebruikersprompts uit de praktijk, wat een praktische oplossing biedt voor het probleem van datascarcity.
2. Geprincipeerde Scoring Functie: De ontwikkeling van een scoring functie afgeleid van VLM-representaties (via SVD) die de waarschijnlijkheid schat dat een prompt kwaadaardig is. Het paper biedt een theoretische rechtvaardiging die aantoont dat projectie-energie op leidende covariantierichtingen een class-conditional gat creëert dat proportioneel is aan de scheiding tussen de beneagene en kwaadaardige gemiddelden.
3. Empirische Validatie: Uitgebreide experimenten die de effectiviteit, schaalbaarheid (naar grotere modellen zoals 72B parameters) en robuustheid van het framework tegen realistische prompt-variaties en abnormale beneagene data aantonen.

Experimentele Resultaten

De auteurs hebben VLMGuard geëvalueerd in drie real-world scenario's met behulp van vijf datasets (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) en twee backbone VLM's (LLaVA-1.6-7B en Qwen2.5-VL-7B/72B).

• Prestaties: VLMGuard behaalde state-of-the-art prestaties in alle scenario's. Gemiddeld verbeterde het de Area Under the Receiver Operating Characteristic Curve (AUROC) met 5.39% ten opzichte van de beste bestaande methode (GPT-5.4) en presteerde het significant beter dan uncertainty-based en activation-based baselines.
• Robuustheid bij Lage Prevalentie: De methode bleef effectief zelfs wanneer de kwaadaardige ratio $\pi$ in de ongelabelde trainingsset extreem laag was (bijv. $\pi=0.001$), met een AUROC van 88.16%.
• Generalisatie: Het framework demonstreerde sterke transfereerbaarheid, waarbij een hoge detectienauwkeurigheid werd behouden wanneer getraind op één dataset en getest op verschillende kwaadaardige benchmarks.
• Ablatie Studies:
  • Noodzakelijkheid van de Classifier: Het direct gebruiken van de SVD-projectiescore leverde lagere prestaties op dan de tweestaps-aanpak, wat de rol van de classifier in het denoisen en afhandelen van prompt-variaties bevestigt.
  • Laag Selectie: Intermediaire lagen van de VLM boden de beste representaties voor detectie, wat beter presteerde dan zowel vroege als finale lagen.
  • Schaalbaarheid: Prestaties verbeterden wanneer geschaald van 7B naar 72B parameter modellen.

Betekenis en Claims

Het paper claimt dat VLMGuard een praktische en flexibele aanpak biedt voor real-world VLM-implementatie. Door de noodzaak voor extra menselijke annotaties en aanvullende externe modellen (zoals aparte judge-modellen of diffusion-modellen voor denoising) te elimineren, biedt het framework een zelfvoorzienende oplossing voor het beveiligen van VLM's.

De auteurs benadrukken dat hun methode robuust is tegen realistische prompt-variaties (lexicale en syntactische veranderingen) en kwaadaardige intentie kan onderscheiden, zelfs in aanwezigheid van abnormale maar beneagene data. Het werk beoogt toekomstig onderzoek te inspireren naar het benutten van ongelabelde prompt-datasets voor veiligheidskritische toepassingen, waarmee de fundamentele bottleneck van gelabelde data-schaarste in adversarial machine learning wordt aangepakt.