Riepilogo Tecnico: SafeCap

Problematica

I Large Vision-Language Models (LVLM) ereditano le capacità di seguire le istruzioni dai backbone linguistici, ma rimangono vulnerabili agli attacchi di jailbreak che sfruttano gli input visivi. A differenza dei modelli solo testuali, che possono fare affidamento su policy di rifiuto lato linguaggio, gli LVLM devono percepire prove rilevanti per la sicurezza all'interno di un'immagine, allinearle alle richieste dell'utente e decidere su una risposta. Ciò crea modalità di errore in cui istruzioni dannose sono incorporate in immagini tipografiche, l'intento pericoloso è implicito in oggetti, o prompt benigni diventano insicuri solo dopo il grounding visivo. I metodi di allineamento della sicurezza esistenti spesso non riescono a coprire queste minacce specifiche del multimodale.

Le difese attuali rientrano in due categorie:

1. Interventi al tempo di inferenza: Metodi come ECSO convertono le immagini in testo per sfruttare la sicurezza lato linguaggio. Tuttavia, la conversione da immagine a testo spesso perde dettagli visivi fini (ad es., oggetti rilevanti per la sicurezza, testo visibile o contesto), rendendo il modello downstream solo testuale incapace di prendere una decisione sicura.
2. Allineamento al tempo di addestramento: I metodi che utilizzano dati di preferenza curati o il fine-tuning della sicurezza (SFT) spesso faticano con il compromesso tra il miglioramento del rifiuto su input malevoli e la preservazione della percezione visiva su quelli benigni.

La sfida principale è allineare gli LVLM affinché riconoscano e rispondano ai segnali di sicurezza visivi senza sacrificare l'utilità della comprensione visiva del modello o fare affidamento su fragili wrapper al tempo di inferenza.

Metodologia: SafeCap

SafeCap è un framework di apprendimento per rinforzo (RL) che allinea gli LVLM attraverso la self-captioning appresa (learned self-captioning). Inveve di trattare la descrizione delle immagini (image captioning) come una spiegazione ausiliaria o una difesa post-hoc, SafeCap formula l'allineamento della sicurezza come un problema di self-captioning in cui il modello genera una rappresentazione intermedia esplicita e rilevante per la sicurezza prima di produrre una risposta finale.

Panoramica del Framework

Per ogni coppia immagine-domanda $(x, q)$, il modello di policy $\pi_\theta$ è addestrato a produrre una risposta strutturata $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$, dove $c$ è una descrizione testuale dell'immagine e $a$ è la risposta finale. L'obiettivo di addestramento ottimizza tre segnali distinti:

1. Reward del Template ($R_{tmp}$): Un gate binario che assicura che l'output contenga esattamente un blocco di caption completo e una risposta non vuota, prevenendo la degenerazione strutturale.
2. Reward della Risposta Diretta ($R_{ans}$): Valuta la risposta finale $a$ del modello di policy utilizzando un modello judge che assegna un punteggio di ritenzione $u(a)$ (utilità) e un punteggio di rischio $h(a)$ (pericolosità). Il reward è calcolato utilizzando una funzione di sconto del rischio esponenziale: $S(u, h) = u \cdot \gamma^h$, dove $\gamma \in (0, 1)$. Questa forma moltiplicativa assicura che le risposte ad alto rischio perdano valore rapidamente, scoraggiando i comportamenti di tipo "non fare nulla" e premiando risposte sicure e informative.
3. Reward della Caption-Mediated ($R_{cap}$): Questa è l'innovazione principale. La caption generata viene instradata verso un LLM testuale-only congelato (che non vede mai l'immagine) insieme alla domanda originale $q$. L'LLM congelato genera una risposta $a_f$. Il reward valuta due fattori:
   • Copertura Descrittiva: Un punteggio $u(c)$ che misura la copertura della caption rispetto a soggetti, attributi, azioni, layout spaziale e testo visibile.
   • Allineamento della Sicurezza: Un segnale binario $g(q, a, a_f)$ che restituisce 1 se la risposta della policy $a$ e la risposta dell'LLM congelato $a_f$ concordano sullo stato di sicurezza della situazione (ovvero, entrambi riconoscono il rischio o entrambi lo ritengono sicuro).
   • Il reward della caption è definito come $R_{cap} = g(q, a, a_f) \cdot u(c)$. Ciò incoraggia la policy a generare caption che contengano prove visive sufficienti affinché un ragionatore puramente testuale possa raggiungere una decisione allineata alla sicurezza.

Ottimizzazione

SafeCap utilizza la Group Relative Policy Optimization (GRPO). Per ogni prompt, la policy campiona un gruppo di $K=8$ rollout. La funzione di vantaggio è costruita utilizzando la normalizzazione di gruppo componente per componente dei tre segnali di reward ($R_{tmp}, R_{cap}, R_{ans}$) per gestire diverse scale e varianze. L'LLM congelato e i modelli judge sono utilizzati esclusivamente per il calcolo del reward e non vengono mai aggiornati.

Contributi Chiave

1. Formulazione di Self-Captioning Consapevole della Sicurezza: Il paper riformula l'allineamento della sicurezza degli LVLM come un compito di self-captioning, richiedendo al modello di generare una rappresentazione intermedia esplicita che esponga le prove visive rilevanti per la sicurezza prima di rispondere.
2. Obiettivo di Reinforcement Caption-Mediated: Viene introdotto un meccanismo di reward a doppio segnale che combina la valutazione diretta della risposta finale con un segnale proveniente da un LLM congelato. Questo segnale verifica se la caption generata supporta una risposta allineata alla sicurezza da parte di un ragionatore testuale, colmando efficacemente il divario tra percezione e allineamento.
3. Valutazione Multi-Protocollo: Gli autori forniscono una valutazione completa attraverso cinque benchmark di sicurezza multimodale e sei benchmark di utilità visiva, confrontando i protocolli di inferenza Direct, DirectCap (il punto operativo previsto) e Prism (solo caption).

Risultati

Gli esperimenti sono stati condotti su modelli Qwen3.5 (2B, 2B-Base, 4B, 4B-Base) addestrati sul dataset pubblico SPA-VL.

• Guadagni di Sicurezza: Sotto il protocollo DirectCap, SafeCap migliora sostanzialmente le prestazioni aggregate di sicurezza. In quattro configurazioni di modelli, le medie di sicurezza sono aumentate di 3,7 - 19,0 punti. Notevolmente, il modello 4B-Base ha visto un aumento della sicurezza media di 19,0 punti mantenendo sostanzialmente invariata l'utilità visiva media.
• Preservazione dell'Utilità: A differenza di alcuni metodi di fine-tuning della sicurezza che degradano le prestazioni, SafeCap mantiene o migliora i punteggi di utilità visiva su benchmark come MM-Vet, BLINK e MMVP.
• Prestazioni Comparative:
  • SafeCap supera lo standard Safety SFT e DPO quando addestrati sugli stessi dati e step.
  • In un confronto controllato utilizzando i dati di SafeGRPO (SafeTag-VL-3K), SafeCap ha raggiunto una media di sicurezza DirectCap di 55,06 rispetto al 41,27 di SafeGRPO, mantenendo un'utilità simile.
• Studi di Ablazione: Rimuovere il reward della caption o il reward della risposta diretta degrada significativamente sia la sicurezza che l'utilità, confermando che entrambi i segnali sono necessari. La normalizzazione del reward declassata è stata trovata particolarmente critica per le prestazioni di Direct e DirectCap.

Significato e Claim

Il paper sostiene che SafeCap dimostra il valore dell'incorporazione di prove dal lato della percezione nell'allineamento della sicurezza multimodale. Addestrando l'LVLM a esporre esplicitamente gli indizi visivi rilevanti per la sicurezza in una caption, il metodo allinea la percezione visiva del modello con la sua policy di sicurezza senza fare affidamento solo su prompt di rifiuto o fragili wrapper al tempo di inferenza.

Gli autori sottolineano che il percorso DirectCap (dove il modello addestrato genera una caption e poi risponde) è il punto operativo previsto, offrendo i guadagni di sicurezza più consistenti. Sebbene il protocollo "Prism" (che utilizza un LLM congelato per rispondere dalla caption) mostri una certa trasferibilità, il contributo primario è la capacità appresa dell'LVLM stesso di eseguire una self-captioning consapevole della sicurezza. Il lavoro suggerisce che il reinforcement learning mediato dalla caption è una direzione pratica ed efficace per i futuri sforzi della comunità nella sicurezza multimodale, completando l'allineamento convenzionale sul lato dell'output.