🤖 AI

Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models

Il paper presenta **CR-VLM**, un nuovo approccio basato sullo steering delle attivazioni che permette ai modelli visivi-linguistici di modulare i rifiuti in modo configurabile, evitando sia l'eccessiva restrizione che l'insufficiente sicurezza attraverso meccanismi di gating e potenziamento visivo controfattuale.

Autori originali: Jiaxi Yang, Shicheng Liu, Yuchen Yang, Dongwon Lee

Pubblicato 2026-02-10

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiaxi Yang, Shicheng Liu, Yuchen Yang, Dongwon Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Buttafuori" troppo rigido o troppo permissivo

Immaginate di andare in un club esclusivo. All'ingresso c'è un buttafuori (che rappresenta l'Intelligenza Artificiale, o VLM).

Attualmente, i "buttafuori" dell'IA sono un po' problematici:

Il Buttafuori "Tutto o Niente": Se gli dici "Non far entrare nessuno con la maglietta rossa", lui blocca chiunque abbia una maglietta rossa, anche se quella persona è un ospite VIP che deve solo consegnare un pacco. Questo è l'over-refusal (rifiuto eccessivo): l'IA diventa troppo prudente e inizia a dire "No" anche a domande innocue.
Il Buttafuori "Distratto": Se invece gli dai istruzioni vaghe, potrebbe lasciar passare persone che non dovrebbe, perché non ha capito bene il contesto.

In breve: le IA attuali non sanno ancora distinguere bene tra un "No" necessario (per sicurezza) e un "No" stupido (che rovina l'esperienza dell'utente).

La Soluzione: CR-VLM (Il Buttafuori "Su Misura")

I ricercatori hanno creato CR-VLM, un sistema che trasforma il buttafuori in un professionista altamente addestrato e capace di seguire istruzioni personalizzate.

Ecco come funziona, usando tre "trucchi" magici:

1. L'Allenamento con il "Copia e Incolla" (Teacher-Forced Extraction)

Invece di sperare che l'IA capisca un comando scritto (che spesso viene ignorato), i ricercatori le mostrano direttamente come si comporta un "modello perfetto". È come se prendessero un super-buttafuori esperto e dicessero all'IA: "Guarda, quando vedi questa situazione, la tua risposta deve avere esattamente questo 'tono' e questa 'vibrazione' di rifiuto". In questo modo, l'IA impara la direzione precisa da prendere per dire di no.

2. Il "Filtro Intelligente" (Gating Mechanism)

Per evitare che l'IA diventi un muro di gomma che risponde sempre "No", hanno aggiunto un filtro. Immaginate che il buttafuori abbia una lista di controllo:

La domanda viola la regola? $\rightarrow$ Attiva il segnale di rifiuto.
La domanda è sicura? $\rightarrow$ Mantieni il comportamento normale e rispondi con gentilezza.
Questo evita l'effetto "buttafuori antipatico" che blocca tutti senza motivo.

3. L'Occhio Attento (Counterfactual Vision Enhancement)

Le IA moderne non leggono solo testo, ma guardano anche le immagini. Il problema è che spesso l'IA "si dimentica" di guardare l'immagine e decide solo in base alle parole.
I ricercatori hanno aggiunto un modulo che obbliga l'IA a dire: "Ehi, guarda bene l'immagine! È proprio l'immagine che rende questa domanda pericolosa?". È come se il buttafuori non si limitasse a leggere il pass, ma controllasse con attenzione anche cosa la persona sta portando in mano.

In sintesi: Perché è importante?

Grazie a CR-VLM, l'intelligenza artificiale diventa molto più flessibile.

Se un utente in Italia vuole che l'IA sia molto severa su certi argomenti legali, e un utente in un altro paese vuole regole diverse, l'IA può adattarsi senza dover essere "rifatta" da zero ogni volta. Diventa un assistente che sa quando essere un guardiano severo e quando essere un collaboratore utile, basandosi esattamente sulle regole che gli vengono date, senza fare confusione.

Riassunto Tecnico: CR-VLM (Configurable Refusal in VLMs)

1. Il Problema: Il limite del "One-Size-Fits-All"

Attualmente, i modelli linguistici visivi (VLM) utilizzano meccanismi di rifiuto (refusal) progettati per essere universali: il modello rifiuta contenuti dannosi o non etici in modo standardizzato. Tuttavia, questo approccio presenta due criticità principali:

Mancanza di adattabilità: Non tiene conto dei diversi contesti o delle necessità dell'utente (ad esempio, una domanda su una transazione finanziaria può essere lecita in un contesto e non in un altro).
Over-refusal (Eccesso di rifiuto): I meccanismi di sicurezza rigidi spesso portano il modello a rifiutare anche query legittime e sicure (in-scope), limitandone l'utilità.
Fragilità dei prompt: L'uso di system prompt per istruire il modello a rifiutare è facilmente aggirabile e instabile.

Il paper identifica la necessità di un rifiuto configurabile, ovvero la capacità di un VLM di rifiutare query che violano vincoli specifici definiti dall'utente, pur continuando a rispondere correttamente a quelle che rispettano tali vincoli.

2. Metodologia: Il Framework CR-VLM

Gli autori propongono CR-VLM, un approccio basato sullo steering (guida) delle attivazioni interne del modello, che non richiede il fine-tuning dell'intero backbone del VLM, rendendolo efficiente e scalabile. Il framework si compone di tre pilastri tecnici:

Teacher-Forced Activation Extraction (Estrazione del segnale di rifiuto):
Per ottenere un vettore di rifiuto forte e privo di rumore, gli autori non usano semplici prompt, ma una tecnica di "insegnamento forzato". Forzano il modello a generare una risposta di rifiuto predefinita (es. "Sorry,") durante la fase di estrazione delle attivazioni. Calcolando la differenza tra le attivazioni medie di queste risposte forzate e quelle delle risposte normali, ottengono un vettore di steering ( $s_l$ ) che rappresenta la direzione pura del comportamento di rifiuto.
Gating Mechanism & Orthogonality (Mitigazione dell'over-refusal):
Per evitare che il modello rifiuti tutto, viene addestrato un modello leggero (calibrated model) che predice come modificare le attivazioni. Per garantire che il rifiuto sia selettivo, introducono:
- Una funzione di perdita di gating: che spinge la probabilità di intervento verso lo zero per le query "in-scope".
- Una perdita di ortogonalità ( $L_{ortho}$ ): che assicura che la direzione dell'aggiornamento per le query da rifiutare sia matematicamente distinta (ortogonale) dalla direzione necessaria per preservare le risposte corrette, evitando che i due segnali si sovrappongano.
Counterfactual Vision Enhancement (Allineamento visivo):
Poiché i VLM sono multimodali, il rifiuto deve basarsi anche sulle immagini. Gli autori introducono un modulo che allinea lo spostamento delle attivazioni con le prove visive. Utilizzano un riferimento "controfattuale" (come cambierebbero le attivazioni se l'immagine fosse diversa) per assicurarsi che il modello non si affidi solo al testo, ma utilizzi effettivamente l'input visivo per decidere se rifiutare o meno.

3. Contributi Chiave

Primo studio sistematico: È il primo lavoro che indaga il rifiuto configurabile specificamente nei modelli Vision-Language.
Efficienza e Robustezza: Utilizza lo steering delle attivazioni invece del fine-tuning pesante, permettendo un adattamento rapido ai vincoli dell'utente.
Approccio End-to-End: Fornisce un framework completo che integra segnali testuali e visivi per un controllo granulare.

4. Risultati Sperimentali

Il framework è stato testato su diversi modelli (LLaVA, Idefics3, InstructBLIP) e dataset (ScienceQA, MMMU). I risultati mostrano:

Elevato tasso di rifiuto (Refusal Rate): CR-VLM supera nettamente i baseline (come il fine-tuning o il prompt-based steering) nel rifiutare correttamente le query fuori ambito (out-of-scope).
Basso tasso di over-refusal: A differenza dei metodi tradizionali, CR-VLM mantiene un tasso di rifiuto errato per le query legittime (in-scope) estremamente basso.
Miglioramento dell'MB-Score: Il bilanciamento tra efficacia del rifiuto e preservazione delle risposte corrette (misurato tramite l'MB-Score) è superiore a qualsiasi altro metodo testato.
Analisi delle attivazioni: Le analisi tramite PCA confermano che le attivazioni delle query da rifiutare vengono spostate in un cluster separato e compatto, mentre quelle corrette rimangono vicine alle rappresentazioni originali.

5. Significato e Impatto

La ricerca di Yang et al. segna un passo fondamentale verso la sicurezza adattiva dell'intelligenza artificiale. Invece di avere regole di sicurezza rigide e universali che spesso danneggiano l'esperienza utente, CR-VLM apre la strada a modelli che possono essere "istruiti" a rispettare normative locali, contesti professionali o preferenze personali in modo dinamico e preciso, senza compromettere la loro capacità di ragionamento generale.