Riepilogo Tecnico: SingGuard

Problematica

I modelli vision-language (VLM) sono sempre più impiegati in applicazioni consumer, mediche, finanziarie e aziendali, espandendo significativamente la superficie di rischio per la sicurezza. I rischi derivano ora non solo da input a singola modalità, ma anche da risposte di assistenti e composizioni cross-modali in cui domande e risposte multimodali possono rendere insicuri input che, isolati, sarebbero benigni. Inoltre, le policy di moderazione non sono statiche; variano in base ai prodotti, alle regioni e alle fasi di implementazione.

Le attuali soluzioni di guardrail affrontano tre limitazioni primarie:

1. Tassonomie Statiche: La maggior parte dei sistemi si basa su set di etichette fissi (es. Llama Guard, WildGuard) o contesti di interazione ristretti, fallendo nell'adattarsi quando le regole di sicurezza cambiano durante l'esecuzione (runtime).
2. Limitata Adattabilità della Policy: Sebbene alcuni guardrail multimodali (es. LlavaGuard, GuardReasoner-VL) estendano la moderazione agli input visivi, essi tipicamente assumono confini di policy statici e classificano il rischio direttamente anziché confrontare il contenuto con un insieme aperto di regole attive.
3. Ragionamento Inefficiente: I guardrail basati sul ragionamento migliorano l'interpretabilità ma spesso impiegano una singola modalità di ragionamento "sempre attiva", il che è inefficiente per casi ad alto throughput e non ambigui dove un giudizio diretto è sufficiente, ma insufficiente per casi complessi, controintuitivi o con policy variate che richiedono deliberazione.

Metodologia

SingGuard è una famiglia di modelli guardrail multimodali adattabili alla policy, progettata per valutare la sicurezza nelle conversazioni multimodali trattando la policy attiva come un input di runtime.

1. Formulazione del Task e Interfaccia della Policy

SingGuard formula la classificazione della sicurezza come un compito di seguire le istruzioni (instruction-following). Dato un contenuto target $x$ (query, immagine e/o risposta) e una policy attiva $P$ (un insieme di regole in linguaggio naturale), il modello predice:

• Un'etichetta di sicurezza binaria ($y \in \{safe, unsafe\}$).
• Una traccia di ragionamento opzionale basata sulla policy ($z$).
• La regola o categoria attivata ($c$).

La policy $P$ può essere la piena tassonomia gerarchica integrata (8 dimensioni primarie, 27 categorie secondarie, oltre 80 rischi granulari) o un sottoinsieme dinamico/riscrittura fornita al momento dell'inferenza. Ciò consente al modello di fondare le decisioni sulle regole attualmente attive piuttosto che su prior memorizzati.

2. Costruzione dei Dati (SingGuard-Bench)

Per addestrare e valutare il modello, gli autori hanno costruito SingGuard-Bench, un benchmark completo contenente 56.340 esempi provenienti da 35 dataset. Caratteristiche chiave includono:

• Condizionamento della Regola Dinamica: I campioni sono accoppiati con policy di runtime corrispondenti e non corrispondenti per testare se il modello segue le nuove regole invece di etichette statiche.
• Rischi Congiunti Cross-Modali: Casi in cui immagine e testo sono individualmente benigni, ma la loro composizione implica un intento insicuro.
• Supervisione con Shift della Policy: Etichette controfattuali generate modificando le regole (es. espandendo l'ambito, aggiungendo esenzioni) per costringere il modello a rivalutare il contenuto in base al nuovo testo della policy.
• Chain-of-Thought (CoT): Oltre 1 milione di esempi di ragionamento in cui il modello verifica le regole una per una, fondando la decisione finale in prove esplicite.

3. Pipeline di Addestramento

Il processo di addestramento prevede tre fasi:

• Fase 1: SFT Cold-Start Condizionato dalla Policy: Il modello viene sottoposto a fine-tuning su una grammatica di output unificata che supporta tre modalità:
  • Fast: Etichetta diretta safe/unsafe e categoria.
  • Slow: Deliberazione esplicita regola per regola prima della risposta finale.
  • Hybrid: Giudizio binario iniziale seguito da ragionamento solo se la confidenza è bassa.
    L'obiettivo combina le perdite (loss) per il token iniziale, l'intervallo di ragionamento e la categoria finale.
• Fase 2: DAPO Decoupled Fast–Slow: Per evitare che il giudizio rapido iniziale "ancori" la successiva fase di ragionamento (ovvero, forzare il ragionamento a razionalizzare una potenziale ipotesi errata iniziale), gli autori applicano la Decoupled Direct Preference Optimization (DAPO). Il primo token generato viene mascherato durante l'aggiornamento dell'apprendimento per rinforzo, permettendo al percorso di ragionamento di verificare indipendentemente la policy e correggere la risposta finale se necessario.
• Fase 3: On-Policy Knowledge Distillation (OPD): Un modello studente da 2B è distillato da un insegnante da 8B. A differenza della distillazione standard, lo studente genera il proprio prefisso e l'insegnante fornisce distribuzioni di token su quel prefisso specifico. Ciò aiuta il modello più piccolo a imparare a riparare i propri percorsi di ragionamento deboli su regole dinamiche e casi limite.

4. Regimi di Inferenza

SingGuard supporta tre modalità di inferenza per bilanciare latenza e accuratezza:

• Fast Mode: Emette un'etichetta diretta per una moderazione a bassa latenza.
• Slow Mode: Esegue una deliberazione esplicita regola per regola per casi sensibili all'audit o ambigui.
• Hybrid Mode: Decodifica la decisione binaria iniziale; se la confidenza $s(y_0) \geq \tau$, termina anticipatamente. Altrimenti, continua a generare la traccia di ragionamento completa e la risposta revisionata.

Contributi Chiave

1. Famiglia di Modelli SingGuard: Un guardrail VLM adattabile alla policy che accetta policy di runtime aperte, consentendo ai team di deployment di aggiungere o rivedere le regole per domini specifici (salute, finanza, legale) senza riaddestramento.
2. RL Decoupled Fast–Slow: Un obiettivo di addestramento innovativo che preserva i giudizi rapidi a bassa latenza pur disaccoppiando essi dal l'ottimizzazione del percorso di ragionamento, permettendo al modello di correggere gli errori iniziali basandosi su prove fondate sulla policy.
3. SingGuard-Bench: Un benchmark multimodale che copre oltre 80 tipi di rischio, inclusi attacchi di intento nascosto cross-modali, valutazione di regole dinamiche e test di precisione su contenuti sensibili benigni.
4. Prestazioni State-of-the-Art: Dimostrare che un singolo modello adattabile alla policy può raggiungere prestazioni ampie su QA multimodale e moderazione delle risposte, superando i baseline specializzati.

Risultati

Valutato su sei famiglie di benchmark che comprendono 35 dataset, SingGuard raggiunge punteggi F1 medi state-of-the-art in ogni categoria:

• Sicurezza Multimodale: SingGuard-8B raggiunge un F1 medio di 0,9092, superando il miglior baseline open-source (LLAVAShield con 0,8842) e i modelli frontier closed-source come GPT-5.1 (0,8349).
• Sicurezza delle Immagini: SingGuard-4B guida con un F1 medio di 0,9141, superando significativamente i baseline come GuardReasoner-VL (0,8570) e mostrando robustezza nel rilevare danni visivi dove i guardrail addestrati sul testo spesso falliscono (es. rilevamento di armi).
• Sicurezza di Query e Risposte Testuali: SingGuard-8B raggiunge il macro-average F1 più alto per le query testuali (0,8740) e risultati competitivi per le risposte (0,8770), dimostrando un forte trasferimento dal rilevamento dell'intento al rilevamento dell'assistenza.
• Sicurezza Multilingue: SingGuard-8B guida nella sicurezza delle query multilingue (0,8872) e nella sicurezza delle risposte (0,8988), mostrando un efficace trasferimento condizionato dalla policy attraverso le lingue.
• Adattamento della Policy Dinamica: Nella valutazione delle regole dinamiche, SingGuard-slow migliora l'accuratezza media da 0,6465 (Qwen3-VL-8B) a 0,7415, provando la sua capacità di seguire le regole attive che cambiano invece di fare affidamento sui prior del tempo di addestramento.
• Ablation: La fase di RL decouped fast-slow migliora significativamente l'accuratezza della policy dinamica. La distillazione on-policy innalza il punteggio medio del modello 2B da 0,8631 a 0,8840, colmando il divario con l'insegnante 8B.

Significato

Il paper sostiene che imparare a identificare il rischio è necessario ma insufficiente per i guardrail in produzione. Un sistema distribuito deve anche imparare quando un rischio cade al di fuori della policy attiva per evitare di bloccare contenuti legittimi. SingGuard affronta questo problema disaccoppiando la percezione della sicurezza dai prior di categoria memorizzati, permettendo al modello di adattarsi a regole evolutive durante l'esecuzione.

Unificando input multimodali, policy attive aperte e percorsi di ragionamento adattivi (fast, hybrid, slow) all'interno di un singolo modello, SingGuard fornisce un framework flessibile per la valutazione della sicurezza. I risultati indicano che il ragionamento fondato sulla policy, combinato con il reinforcement learning disaccoppiato, consente ai guardrail di gestire scenari di sicurezza multimodali, dinamici e cross-modali in modo più efficace rispetto agli approcci statici basati su tassonomie. Gli autori sottolineano che, sebbene SingGuard migliori l'adattabilità, le sue prestazioni rimangono dipendenti dalla chiarezza della policy attiva fornita, rendendo necessari aggiornamenti continui dei benchmark e la revisione umana per le implementazioni ad alto rischio.