Riassunto Tecnico: PolicyShiftGuard

Problematica

Le attuali barriere di sicurezza (guardrails) per le immagini sono prevalentemente addestrate e valutate sotto policy di sicurezza fisse, trattando implicitamente la sicurezza come una proprietà intrinseca di un'immagine. Tuttavia, le implementazioni nel mondo reale richiedono guardrails adattabili alla policy (policy-adaptive), dove l'accettabilità di un'immagine dipende dalla specifica policy di runtime (ad esempio, variando per prodotto, regione, fascia d'età o inserzionista). I benchmark e i modelli esistenti non riescono ad affrontare questa dinamicità:

• Gap di Valutazione: La maggior parte dei benchmark di sicurezza visiva assegna un singolo'etichetta per immagine sotto una tassonomia fissa, fallendo nel distinguere tra il riconoscimento generico di contenuti non sicuri e la capacità di seguire cambiamenti nei confini della policy.
• Gap Metodologico: I guardrail esistenti spesso rilevano segnali di rischio, ma non riescono a rivedere le decisioni quando lo stesso evidenza visiva è permessa sotto una policy e bloccata sotto un'altra. Mostrano fragilità quando le definizioni di policy si spostano oltre gli ambiti familiari.

Metodologia

1. Benchmark: POLICYSHIFTBENCH

Per valutare le capacità di adattamento alla policy, gli autori introducono POLICYSHIFTBENCH, un benchmark completo progettato per testare se i modelli possano adattarsi ad attivare le policy piuttosto che fare affidamento su priori a livello di immagine.

• Struttura: Il benchmark organizza la sicurezza visiva in 7 categorie di rischio (ad es., Nudità, Violenza, Beni Regolamentati, Sicurezza della Proprietà Intellettuale) e 5 scenari di moderazione ampi (ad es., Social Mainstream, Sicurezza per Bambini, Baseline Legale). L'intersezione di questi crea 28 varianti di policy.
• Composizione dei Dati: Contiene 2.000 istanze discriminanti per la policy su 265 immagini uniche. Fondamentalmente, ogni immagine è accoppiata a una media di 7,55 prompt condizionati dalla policy. 262 delle 265 immagini appaiono sia con etichette "pass" (permesso) che "block" (bloccato) a seconda della policy attiva.
• Curatela dei Dati: Le etichette sono generate tramite una pipeline deterministica:
  1. Annotazione degli Attributi: Moltiplicatori multimodali predicono attributi atomici dell'immagine (ad es., "genitali esposti", "contesto medico", "tipo di arma") tramite voto di maggioranza.
  2. Esecuzione delle Regole: Regole di policy eseguibili vengono applicate a questi attributi per generare decisioni a livello di categoria.
  3. Composizione del Bundle: Viene formato un bundle di policy di runtime (una policy per categoria) e l'etichetta finale è l'OR logico delle decisioni di categoria.
• Metriche: Oltre ad Accuratezza e F1, gli autori introducono il Policy Shift Score (PSS). Il PSS misura la capacità di un modello di gestire correttamente le coppie "flip" — istanze in cui l'immagine e la categoria target rimangono costanti, ma la policy attiva cambia l'etichetta di ground-truth da pass a block (o viceversa). Un modello riceve il credito solo se prevede correttamente entrambi i lati del flip.

2. Modello: PolicyShiftGuard

Gli autori propongono PolicyShiftGuard, un modello di guardrail compatto addestrato tramite una ricetta in due fasi per gestire efficacemente gli shift di policy.

• Fase 1: Randomized Policy SFT (RP-SFT):
  • Il modello è addestrato su dati di Supervised Fine-Tuning (SFT) condizionati dalla policy dove le immagini sono disgiunte dai set di valutazione.
  • Randomizzazione: La presentazione della policy (ordine, identificatori di superficie, slot di categoria) è randomizzata per evitare che il modello faccia affidamento su posizioni o template fissi.
  • Obiettivo: Insegna al modello di seguire bundle di policy completi e produrre output strutturati e concisi (ad es., false o true | <CategoryID>).
• Fase 2: Boundary-Pair Policy Adaptation (BP-Adapt):
  • Questa fase mira specificamente al fallimento tipico dei guardrail a tassonomia fissa.
  • Dati di Addestramento: Costruiti partendo da coppie di confine corrispondenti per la stessa immagine e categoria di rischio: un prompt con una policy che permette l'immagine (pass) e un altro con una policy che la blocca (block).
  • Funzione di Perdita: Combina la cross-entropy standard con una perdita di confronto a coppie ($L_{pair}$). Questa perdita forza esplicitamente il modello ad assegnare un punteggio di "non sicurezza" più alto alla policy di blocco rispetto alla policy di passaggio per la stessa evidenza visiva, ottimizzando così il margine decisionale per gli shift di policy.

Risultati Chiave

Gli esperimenti su POLICYSHIFTBENCH rivelano lacune significative nei sistemi esistenti e l'efficacia dell'approccio proposto:

• Fragilità dei Modelli Esistenti: I modelli Multimodal Large Language Models (MLLM) general-purpose e i guardrail specializzati ottengono punteggi F1 non trascurabili ma punteggi PSS estremamente bassi (ad es., GuardReasoner-VL-3B: 59.2 F1 vs. 3.2 PSS). Ciò indica che riconoscono il rischio ma falliscono nell'adattare le decisioni ai cambiamenti di policy.
• Limitazioni di Scalabilità: Aumentare la dimensione del modello (ad es., da 7B a 72B parametri) migliora l'F1 generale ma non risolve il gap di adattamento alla policy (ad es., Qwen2.5-VL-72B raggiunge solo 27.4 PSS).
• Performance di PolicyShiftGuard:
  • Il modello PolicyShiftGuard-7B raggiunge un 76.9 Avg. F1 e un 72.1 Avg. PSS, stabilendo un nuovo stato dell'arte.
  • Supera significativamente il suo modello base (Qwen2.5-VL-7B), migliorando l'Avg. F1 da 20.6 a 76.9 e il PSS da 4.8 a 72.1.
  • Si trasferisce bene su benchmark esterni come UnSafeBench e SafeEditBench.
• Trade-off Latenza-Performance: PolicyShiftGuard impiega un formato di output conciso (decisioni risolte in circa 5 token), ottenendo una latenza significativamente inferiore (163.9 ms per il modello 7B) rispetto agli approcci basati sul ragionamento pesante e ai modelli proprietari, mantenendo al contempo prestazioni superiori.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Benchmarking: L'introduzione di POLICYSHIFTBENCH stabilisce uno standard rigoroso per valutare il guardrailing di immagini adattabile alla policy, andando oltre la semplice rilevazione statica della sicurezza verso il seguito dinamico della policy.
2. Metodologia: Il framework PolicyShiftGuard dimostola che combinare il seguito di istruzioni di policy randomizzate con la supervisione esplicita di coppie di confine è essenziale per un adattamento alla policy stabile. Gli studi di ablazione confermano che le coppie pass/block corrispondenti sono necessarie affinché il modello apprenda la sfumatura degli shift di policy, anziché limitarsi a memorizzare più dati.
3. Implementazione Pratica: Il lavoro evidenzia che, per i guardrail nel mondo reale, la latenza e la sensibilità alla policy devono essere valutate congiuntamente. I modelli proposti offrono una frontiera di Pareto favorevole, fornendo alte prestazioni di adattamento alla policy con bassa latenza di inferenza, rendendoli adatti per i percorsi critici nelle pipeline di moderazione dei contenuti.

Gli autori concludono che i guardrail visivi efficaci devono fondare le decisioni sulla policy applicata piuttosto che fare affidamento su un riconoscimento fisso di sicuro/non sicuro, e che gli attuali modelli falliscono ampiamente nel soddisfare questo requisito senza specifici interventi architettonici e di addestramento.