💬 NLP

Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

Questo articolo dimostra che le letture di confidenza nei sistemi di visione-linguaggio distribuiti sono altamente vulnerabili ad attacchi che preservano la risposta, provando che esse funzionano come segnali di supervisione sensibili all'integrità piuttosto che come segnali robusti capaci di essere manipolati per accettare risposte errate o degradare l'accuratezza complessiva al di sotto dei livelli di base.

Autori originali: Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di un'astronave, ma non puoi vedere le stelle o i comandi. Invece, hai un copilota robotico molto intelligente che guarda gli strumenti e ti dice: "Sono sicuro al 90% che siamo sulla strada giusta", oppure "Sono sicuro solo al 50%, forse dovremmo fermarci". Tu ti affidi al punteggio di fiducia del robot per decidere se continuare a volare o se fare una pausa e chiedere aiuto a un essere umano. È così che funzionano molti dei moderni sistemi di IA oggi: non forniscono solo una risposta, ma forniscono un "punteggio di confidenza" per dirti quanto dovresti fidarti di quella risposta.

Ma ecco la parte complicata: cosa succederebbe se qualcuno potesse ingannare il robot portandolo a cambiare idea su quanto sia sicuro, senza cambiare l'effettiva risposta fornita? È come un mago che fa pendere una bilancia dal "pesante" al "leggero" mentre il peso sulla bilancia rimane esattamente lo stesso. Se il punteggio di fiducia del robot è l'unica cosa che ti impedisce di prendere una decisione errata, e quel punteggio può essere falsificato, allora la tua rete di sicurezza ha un buco. Questo articolo esplora esattamente quel buco, ponendo una domanda spaventosa ma importante: possiamo ingannare questi robot di IA per farli mentire sulla propria fiducia mentre continuano a dire esattamente la stessa cosa?

I ricercatori in questo studio hanno deciso di giocare a una partita ad alta posta di "trova il punto debole" con diversi potenti modelli vision-language (IA che possono vedere immagini e rispondere a domande). Il loro obiettivo era vedere se riuscivano a creare un piccolo cambiamento, quasi invisibile, a un'immagine che rendesse il punteggio di confidenza dell'IA oscillare selvaggiamente, anche se la risposta finale dell'IA rimaneva perfettamente identica, fino a ogni singola lettera e spazio. Hanno trattato il punteggio di confidenza dell'IA come una fragile finestra di vetro: volevano vedere se riuscivano a frantumare il vetro (la confidenza) senza rompere la cornice (la risposta).

Ciò che hanno scoperto è che il vetro è molto più fragile di quanto sperassero. Utilizzando un metodo chiamato "attacchi preservanti della risposta" (answer-preserving attacks), sono riusciti a manipolare i punteggi di confidenza interna dell'IA in quasi tutti i test effettuati. Infatti, hanno scoperto che per molti dei modelli di IA testati, potevano ingannare il sistema portandolo ad accettare una risposta errata come se fosse corretta, o a rifiutare una risposta corretta come se fosse errata, semplicemente modificando l'immagine quel tanto che basta per ingannare il misuratore di confidenza.

La parte più sorprendente della loro scoperta è che non si tratta solo dell'immagine in sé. I ricercatori hanno dimostrato che potevano anche "spingere" direttamente il cervello interno dell'IA (i suoi stati nascosti), come se stessero dando una piccola spinta a un pensiero in una direzione specifica, ottenendo lo stesso risultato senza nemmeno toccare l'immagine. Ciò suggerisce che il problema non è solo un glitch nel modo in cui l'IA vede le immagini, ma un problema più profondo nel modo in cui l'IA calcola la propria certezza.

Hanno anche testato diverse strategie di "difesa" — modi per cercare di rendere il punteggio di confidenza più robusto, come aggiungere rumore all'immagine o addestrare l'IA a essere meno sensibile ai cambiamenti. Sfortunatamente, nessuna di queste difese ha funzionato abbastanza bene da fermare l'inganno. Nelle loro simulazioni, quando hanno usato questi punteggi di confidenza manipolati per prendere decisioni nel mondo reale, il sistema si è comportato in realtà peggio rispetto a se avessero semplicemente ignorato il punteggio di confidenza e avessero accettato ogni risposta.

Quindi, cosa significa questo per il futuro? L'articolo conclude che non possiamo fidarci ciecamente del punteggio di confidenza interno dell'IA come segnale di sicurezza, specialmente se la persona che fornisce i dati all'IA sta cercando di ingannarla. Il punteggio di confidenza è "sensibile all'integrità", il che significa che può essere facilmente corrotto. Gli autori suggeriscono che, se vogliamo usare questi punteggi di confidenza per prendere decisioni importanti, dobbiamo costruire nuovi modi esterni per verificarli, invece di affidarci all'IA per dirci quanto sia sicura. È un promemoria del fatto che, nel mondo dell'IA, solo perché un robot dice "sono sicuro", non significa che lo sia davvero.

Sintesi Tecnica: Confidenza del Modello sotto Attacchi di Preservazione della Risposta

Definizione del Problema
I modelli Vision-Language (VLM) implementati utilizzano spesso punteggi di confidenza interni per regolare le decisioni a valle, come l'accettazione di una risposta, il ricorso a un essere umano o l'astensione. Il caso critico di fallimento investigato in questo lavoro si verifica quando una perturbazione avversaria altera il punteggio di confidenza in modo sufficiente da invertire una decisione a valle, mentre la stringa della risposta generata rimane byte-identica all'originale. Il documento si chiede se i readout della confidenza interna del modello possano fornire una supervisione robusta quando il comportamento monitorato (la risposta) è mantenuto fisso ma l'input (l'immagine) è avversariamente perturbato. A differenza dei lavori precedenti sui classificatori che preservano un singolo token di predizione, questo studio affronta la preservazione di risposte complete e di lunghezza variabile.

Metodologia e Modello di Minaccia
Gli autori valutano sette canali di confidenza su quattro VLM (InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B) e tre benchmark (GQA, VQAv2, POPE). Il modello di minaccia primario è white-box, image-only e di preservazione della risposta.

Vincoli dell'Attacco: Gli attacchi utilizzano la Projected Gradient Descent (PGD) sotto un budget $L_\infty$ (default 8/255) per perturbare l'immagine di input. L'ottimizzazione è vincolata in modo che il token emesso in ogni posizione della risposta rimanga l'argmax con un margine di sicurezza ( $\tau_{safe} = 1.0$ logit), e la risposta finale rigenerata tramite greedy decoding debba essere byte-identica alla risposta pulita.
Canali di Confidenza: Lo studio testa cinque canali principali:
1. Probabilità del token dell'intervallo di risposta (answer-span).
2. $P(IK)$ e SAPLMA (letti ai token finali del prompt e della risposta).
3. CCPS (misura la stabilità sotto perturbazione interna).
4. CCPS-D (un surrogato differenziabile addestrato sulle caratteristiche CCPS).
- La confidenza verbalizzata e la self-consistency sono riportate come supplementari ma escluse dai conteggi principali a causa della mancanza di attacchi mirati a stimatori specifici o di una debole discriminazione sul dato pulito.
Metriche di Valutazione: La metrica primaria è l'Area Under the Receiver Operating Characteristic (AUROC) per discriminare risposte corrette rispetto a errate. Lo studio misura anche il "rapporto di eccesso di distruzione" (quanto l'attacco degrada le prestazioni rispetto al pavimento teorico) e l'impatto sulle decisioni di deployment (tassi di accettazione/deferimento).

Contributi Teorici Chiave
Il documento deriva due endpoint teorici riguardanti la robustezza dei readout di confidenza sotto la preservazione della risposta:

Limite della Stringa di Risposta (Proposizione 1): Sotto l'Assunzione 1 (che gli intervalli di punteggio raggiungibili per diverse immagini che producono la stessa risposta si intersechino), qualsiasi readout "immovibile" (uno che non può essere perturbato) è effettivamente una funzione della stringa di risposta da sola. Di conseguenza, la sua discriminazione non può superare il prior della stringa di risposta ( $c^*$ ), definito come $Pr(Y=1 | A=a(x))$. Il valore operativo aggregato di questo prior attraverso i benchmark è 0.617.
Certificato di Ampiezza Uniforme (Proposizione 3): Senza fare affidamento sull'Assunzione 1, gli autori stabiliscono che se l'ampiezza manipolabile (lo spostamento massimo del punteggio) per ogni elemento è limitata da una soglia $\gamma$ , allora la discriminazione è garantita rimanere al di sopra del pavimento della stringa di risposta, a condizione che la separazione pulita tra coppie corrette e errate superi $2\gamma$ . La soglia mediana $\gamma^*$ attraverso lo studio è 0.065.

Risultati Sperimentali
La valutazione empirica smentisce la possibilità di readout immovibili e robusti sotto il budget studiato:

Confutazione del Certificato: Le perturbazioni fattibili per elemento prodotte da attacchi diretti o mirati al surrogato superano la soglia di ampiezza uniforme ( $\gamma^*$ ) in tutte le 84 combinazioni estimatore-per-cella. Ciò dimostra che nessuno dei readout testati soddisfa il richiesto limite uniforme.
Collasso del Pavimento: Attacchi coordinati e consapevoli dell'etichetta di correttezza portano l'AUROC avversaria al livello o al di sotto del pavimento della stringa di risposta in tutte le 60 celle dei canali implementati. Di 59 celle che partivano sopra il pavimento, tutte 59 sono crollate al di sotto o al livello del pavimento. L'AUROC pulita (0.72–0.78) è scesa a 0.13–0.26, con un rapporto mediano di eccesso di distruzione di 3.74.
Manipolazione a Livello di Rappresentazione: L'effetto non è unico per le immagini avversarie. Iniettare una direzione estratta dalla deriva dello stato latente indotta dall'attacco direttamente nella rappresentazione del modello (senza perturbazione dell'immagine) ha spostato con successo i punteggi di confidenza e preservato le risposte in almeno l'86% degli elementi. Ciò conferma che la vulnerabilità esiste a livello di rappresentazione.
Limiti della Difesa:
- Probe Restringibili: I probe limitati allo spazio sottospaziale "accoppiato alla risposta" (COUPLED) non hanno fornito robustezza quando attaccati direttamente, sebbene abbiano mostato una certa resistenza agli attacchi di trasferimento.
- Stabilità della Perturbazione: Misurare la confidenza tramite la stabilità (CCPS) non ha impedito la manipolazione del punteggio; gli attacchi mirati al surrogato hanno causato una significativa perdita di AUROC.
- Purificazione dell'Input e Smoothing: Il preprocessing JPEG e lo smoothing randomizzato non sono riusciti a stabilire un utile certificato uniforme o a prevenire il collasso della discriminazione.
- Monitor di Disaccordo: Un monitor di disaccordo basato su molteplici canali non ha fornito un segnale robusto costante, performando spesso peggio del prior della stringa di risposta.

Impatto sul Deployment
In una simulazione con gate di confidenza, gli attacchi hanno corrotto con successo le decisioni di accettazione:

Da Errata ad Accettata: Fino all'84.8% delle risposte errate precedentemente rifiutate è diventata accettata sotto un attacco di trasferimento della probabilità del token.
Da Corretta ad Abstain (Astensione): Fino al 27.4% delle risposte corrette precedentemente accettate è stata nuova mente differita.
Accuratezza Netta: Dopo il riponderamento sulla prevalenza naturale della correttezza, l'accuratezza accettata del gate attaccato è scesa al di sotto della baseline "senza gate" (accettare tutte le risposte) in 8 delle 12 celle sotto attacchi di trasferimento e in tutte le 12 sotto attacchi diretti.

Significatività e Rivendicazioni
Il documento conclude che, sotto il modello di minaccia specifico di attacchi white-box, image-only e di preservazione della risposta, la confidenza interna del modello è un segnale sensibile all'integrità piuttosto che un meccanismo di supervisione intrinsecamente robusto.

Lo studio non afferma che la confidenza sia inutile, né esclude verificatori esterni addestrati indipendentemente o future costruzioni certificate.
Tuttavia, dimostra che i readout attualmente implementati nei VLM sono spostabili all'interno dell'insieme della preservazione della risposta.
Le conclusioni implicano che, affinché un sistema con gate di confidenza sia affidabile quando il percorso di input non è fidato, il punteggio stesso deve essere protetto, certificato o verificato indipendentemente, poiché il segnale interno da solo non può garantire la robustezza contro la manipolazione avversaria che preserva il testo in uscita.

Articoli simili