Technische Samenvatting: PolicyShiftGuard

Probleemstelling

Huidige beeldbeveiligingssystemen (guardrails) worden overwegend getraind en geëvalueerd onder vaste veiligheidsbeleid, waarbij veiligheid impliciet wordt behandeld als een intrinsieke eigenschap van een afbeelding. Echter, real-world implementaties vereisen beleidsadaptieve beveiligingen, waarbij de aanvaardbaarheid van een afbeelding afhangt van het specifieke runtime-beleid (bijv. variërend per product, regio, leeftijdsgroep of adverteerder). Bestaande benchmarks en modellen adresseren deze dynamiek niet:

• Evaluatiekloof: De meeste visuele veiligheidsbenchmarks wijzen een enkel label toe per afbeelding onder een vaste taxonomie, waarbij ze er niet in slagen onderscheid te maken tussen generieke onveilige herkenning en het vermogen om te reageren op verschuivende beleidsgrenzen.
• Methodologische kloof: Bestaande beveiligingen detecteren vaak risicovolle kenmerken, maar slagen er niet in om beslissingen te herzien wanneer hetzelfde visuele bewijs onder één beleid is toegestaan en onder een ander wordt geblokkeerd. Ze vertonen brosheid wanneer beleidsdefinities verschuiven buiten bekende settings.

Methodologie

1. Benchmark: POLICYSHIFTBENCH

Om beleidsadaptieve capaciteiten te evalueren, introduceren de auteurs POLICYSHIFTBENCH, een uitgebreide benchmark die ontworpen is om te testen of modellen kunnen adapteren aan actieve beleidsregels in plaats van te vertrouwen op image-level priors.

• Structuur: De benchmark organiseert visuele veiligheid in 7 risicocategorieën (bijv. Naaktheid, Geweld, Gereguleerde Goederen, IP-veiligheid) en 5 brede moderatiescenario's (bijv. Mainstream Social, Kindveilig, Juridische Baseline). De intersectie hiervan creëert 28 beleidsvarianten.
• Data Compositie: Het bevat 2.000 beleidsonderscheidende instanties over 265 unieke afbeeldingen. Cruciaal is dat elke afbeelding wordt gekoppeld aan gemiddeld 7,55 beleidsgeconditioneerde prompts. 262 van de 265 afbeeldingen komen voor met zowel "pass" als "block" labels, afhankelijk van het actieve beleid.
• Data Curatie: Labels worden gegenereerd via een deterministische pipeline:
  1. Attribuut Annotatie: Meerdere multimodale annotatoren voorspellen atomaire afbeeldingseigenschappen (bijv. "blootgestelde genitaliën", "medische context", "wapentype") via meerderheidsstemming.
  2. Regel Uitvoering: Uitvoerbare beleidsregels worden toegepast op deze attributen om categorie-niveau beslissingen te genereren.
  3. Bundle Compositie: Een runtime beleidsbundel (één beleid per categorie) wordt gevormd, en het uiteindelijke label is de logische OR van de categoriebeslissingen.
• Metrieken: Naast Accuratesse en F1 introduceren de auteurs de Policy Shift Score (PSS). PSS meet het vermogen van een model om "flip"-paren correct af te handelen—instanties waarbij de afbeelding en de doelcategorie constant blijven, maar het actieve beleid het grondwaarheid-label verandert van pass naar block (of vice versa). Een model krijgt alleen krediet als het beide zijden van de flip correct voorspelt.

2. Model: PolicyShiftGuard

De auteurs stellen PolicyShiftGuard voor, een compact guardrail-model dat getraind is via een tweefasen-recept om beleidverschuivingen effectief te verwerken.

• Fase 1: Randomized Policy SFT (RP-SFT):
  • Het model wordt getraind op beleidsgeconditioneerde Supervised Fine-Tuning (SFT) data waarbij de afbeeldingen disjoint zijn van de evaluatiesets.
  • Randomisatie: De presentatie van het beleid (volgorde, surface identifiers, categorie slots) wordt gerandomiseerd om te voorkomen dat het model vertrouwt op vaste posities of templates.
  • Doel: Het leert het model om volledige beleidsbundels te volgen en beknopte, gestructureerde outputs te produceren (bijv. false of true | <CategoryID>).
• Fase 2: Boundary-Pair Policy Adaptation (BP-Adapt):
  • Deze fase richt zich specifisch op de foutmodus van vaste-taxonomie beveiligingen.
  • Trainingsdata: Geconstrueerd uit gematchte boundary paren voor dezelfde afbeelding en risicocategorie: één prompt met een beleid dat de afbeelding toestaat (pass) en een andere met een beleid dat de afbeelding blokkeert (block).
  • Loss Functie: Combineert standaard cross-entropy met een pairwise comparison loss ($L_{pair}$). Deze loss dwingt het model expliciet om een hogere "unsafe" score toe te kennen aan het blokkerende beleid dan aan het passerende beleid voor dezelfde visuele bewijslast, waardoor de beslissingsmarge voor beleidverschuivingen wordt geoptimaliseerd.

Belangrijkste Resultaten

Experimenten op POLICYSHIFTBENCH onthullen significante tekortkomingen in bestaande systemen en de effectiviteit van de voorgestelde aanpak:

• Brosheid van Bestaande Modellen: Algemene Multimodale Large Language Models (MLLM's) en gespecialiseerde beveiligingen bereiken niet-triviale F1-scores maar extreem lage PSS-scores (bijv. GuardReasoner-VL-3B: 59.2 F1 vs. 3.2 PSS). Dit geeft aan dat ze risico herkennen maar er niet in slagen beslissingen aan te passen aan beleidswijzigingen.
• Schaalbeperkingen: Het vergroten van de modelgrootte (bijv. van 7B naar 72B parameters) verbetert de algemene F1, maar lost het beleidsadaptatieprobleem niet op (bijv. Qwen2.5-VL-72B bereikt slechts 27.4 PSS).
• PolicyShiftGuard Prestaties:
  • Het PolicyShiftGuard-7B model bereikt een 76.9 Gemiddelde F1 en een 72.1 Gemiddelde PSS, wat een nieuwe state-of-the-art vestigt.
  • Het presteert aanzienlijk beter dan het basismodel (Qwen2.5-VL-7B), waarbij de Gemiddelde F1 stijgt van 20.6 naar 76.9 en de PSS van 4.8 naar 72.1.
  • Het transfeert goed naar externe benchmarks zoals UnSafeBench en SafeEditBench.
• Latency-Prestatie Afweging: PolicyShiftGuard maakt gebruik van een beknopte output-format (beslissingen opgelost binnen ~5 tokens), wat een aanzienlijk lagere latentie bereikt (163.9 ms voor het 7B model) vergeleken met reasoning-zware benaderingen en closed-source modellen, terwijl het superieure prestaties behoudt.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Benchmarking: De introductie van POLICYSHIFTBENCH vestigt een rigoureuze standaard voor het evalueren van beleidsadaptieve beeldbeveiliging, waarbij de focus verschuift van statische veiligheidsdetectie naar dynamisch beleidsvolgen.
2. Methodologie: Het PolicyShiftGuard framework toont aan dat het combineren van gerandomiseerde beleidsinstructie-volging met expliciete boundary-pair supervisie essentieel is voor stabiele beleidsadaptatie. De ablatie-studies bevestigen dat gematchte pass/block paren noodzakelijk zijn voor het model om de nuance van beleidverschuivingen te leren, in plaats van simpelweg meer data te memoriseren.
3. Praktische Implementatie: Het werk benadrukt dat voor real-world beveiligingen latentie en beleidssensitiviteit gezamenlijk moeten worden geëvalueerd. De voorgestelde modellen bieden een gunstig Pareto-front, waarbij hoge beleidsadaptieve prestaties worden gecombineerd met lage inferentie-latentie, wat ze geschikt maakt voor kritieke paden in content moderatie-pipelines.

De auteurs concluderen dat effectieve beeldbeveiligingen beslissingen moeten funderen in het afgedwongen beleid in plaats van te vertrouwen op vaste veilige/onveilige herkenning, en dat huidige modellen grotendeels niet aan deze vereiste voldoen zonder specifieke architecturale en training-interventies.