Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

Sintesi Tecnica: Deferimento Forzato nei Cascade di MLLM

Problematica
I Modelli Linguistici Multimodali (MLLM) offrono potenti capacità di ragionamento visivo, ma comportano costi di inferenza sostanziali quando vengono implementati per ogni query. Per mitigare questo aspetto, i sistemi recenti impiegano dei cascade di MLLM, in cui un modello più debole e meno costoso ($M_w$) gestisce inizialmente le query, differendo solo i casi incerti a un modello più forte e costoso ($M_s$). La decisione di deferimento si basa su un segnale di confidenza derivato dall'output del modello debole (ad esempio, probabilità dei token, perplessità o coerenza).

Il documento identifica una vulnerabilità critica in questa architettura: il segnale di confidenza funge da meccanismo di allocazione delle risorse computazionali che può essere manipolato. A differenza degli attacchi avversari tradizionali che mirano a degradare la correttezza della risposta o a eludere l'allineamento della sicurezza, questo attacco prende di mira l'efficienza del sistema. Un avversario può manipolare la confidenza del modello debole per forzare deferimenti non necessari al modello forte. Ciò consente all'attaccante di ottenere risposte di alta qualità spostando però il costo computazionale sul fornitore del servizio, minando i benefici economici dell'inferenza a cascade.

Metodologia: Attacco di Deferimento Forzato (FDA)
Gli autori propongono l'Attacco di Deferimento Forzato (FDA), un attacco avversario alle immagini progettato per abbassare la confidenza del modello debole senza alterare il contenuto semantico della query. L'attacco affronta tre sfide primarie:

1. Metriche Sconosciute: L'attaccante non conosce la specifica metrica di incertezza (ad esempio, Probabilità della Risposta, Perplessità Inversa, Similitudine di Jaccard) o la soglia di deferimento utilizzata dal sistema distribuito.
2. Preservazione Semantica: La perturbazione non deve degradare il contenuto visivo, poiché il modello forte deve comunque essere in grado di rispondere correttamente alla query.
3. Universalità: L'attacco deve essere un trigger singolo e riutilizzabile, ottimizzato una sola volta, piuttosto che un'ottimizzazione per singola query.

Componenti Core:

• Obiettivo Agnostico rispetto alla Metrica: Inveia di ottimizzare contro uno specifico punteggio di confidenza, l'FDA prende di mira la distribuzione sottostante dei token. L'attacco costruisce una distribuzione target appiattita dalla temperatura ($q^T_t$) a partire dai logit puliti ($z_t$) del modello debole utilizzando una temperatura $T > 1$. Questo appiattisce la distribuzione (riducendo la concentrazione) preservando al contempo il ranking relativo dei token della risposta pulita.
• Ottimizzazione Teacher-Forcing: L'attacco minimizza la divergenza di Kullback-Leibler (KL) tra la distribuzione del modello debole sull'input perturbato e la distribuzione target appiattita. Ciò costringe il modello a generare predizioni meno sicure lungo la traiettoria dell'output pulito.
• Trigger Universale a Bordo: Per preservare la semantica, la perturbazione è limitata a una regione universale di bordo che circonda l'immagine. Il contenuto visivo centrale rimane intatto, garantendo che il modello forte riceva una query valida. Il trigger viene appreso come un pattern fisso applicato al bordo dell'immagine.

Contributi Chiave

1. Formulazione della Minaccia: Il documento identifica e formalizza l' "attacco di deferimento a cascade" come una nuova minaccia orientata all'efficienza. Sposta il focus avversario dalla correttezza della predizione alla manipolazione dell'allocazione delle risorse computazionali.
2. Nuovo Meccanismo di Attacco: Gli autori propongono un trigger universale a bordo, agnostico rispetto alla risposta, ottimizzato tramite un obiettivo di teacher-forcing appiattito dalla temperatura. Ciò consente la manipolazione del deferimento in modo agnostico rispetto alla metrica, mantenendo le prestazioni del modello forte sugli input innescati.
3. Validazione Empirica: Lo studio dimostra che l'FDA è efficace, trasferibile e robusto attraverso molteplici dataset (MMBench, ScienceQA, MMMU), famiglie di modelli (Gemma4, Qwen3-VL) e metriche di deferimento.

Risultati Sperimentali
La valutazione confronta l'FDA con baseline che includono perturbazioni d'immagine generiche (sfocatura defocus) e prompt injection.

• Tasso di Reroute (Reroute Rate): L'FDA aumenta significativamente il tasso di query indirizzate al modello forte. In tutti i dataset e le coppie di modelli, l'FDA supera costantemente le baseline, portando il tasso di reroute effettivo vicino a 1.0 anche con bassi tassi di calibrazione del deferimento.
• Riduzione della Confidenza: L'attacco abbassa drasticamente i punteggi di confidenza del modello debole (ad esempio, riducendo la Probabilità della Risposta da ~0,94 a ~0,03 in alcuni casi) senza cambiare la semantica dell'input.
• Accuratezza del Sistema: Fondamentalmente, l'aumento del routing non degrada l'accuratezza finale del sistema. Poiché il modello forte riceve il contenuto semantico originale (solo il bordo è perturbato), continua a fornire risposte di alta qualità.
• Trasferibilità: L'attacco si trasferisce efficacemente tra diverse famiglie di modelli e metriche di incertezza, confermando che l'attacco prende di mira una proprietà fondamentale del meccanismo di confidenza piuttosto che un dettaglio specifico di implementazione.

Significatività e Rivendicazioni
Il documento sostiene che i cascade di MLLM, pur essendo efficienti, espongono una nuova superficie di attacco dove il deferimento stesso diventa vulnerabile. La significatività risiede nel dimostrare che un avversario può manipolare l'allocazione delle risorse del sistema per forzare un'inferenza costosa senza dover compromettere la sicurezza o la correttezza della risposta del modello. Ciò evidenzia una lacuna nella ricerca attuale, che si è concentrata sui compromessi tra costo e qualità in condizioni benigne o sulla robustezza contro errori a livello di output, ma ha ampiamente trascurato la robustezza dei meccanismi di routing basati sulla confidenza. Il lavoro suggerisce che le attuali strategie di deferimento sono insufficienti per impedire agli avversari di sfruttare il segnale di allocazione delle risorse computazionali.