🤖 machine learning

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

Questo articolo introduce TRAPSBench e la metrica PECS per dimostrare che, sebbene i modelli visione-linguaggio possiedano la capacità interna di rilevare quando l'evidenza visiva è insufficiente per una decisione, essi falliscono costantemente nell'esprimere tale astensione epistemica, rivelando un collo di bottiglia critico nella generazione dell'output piuttosto che nella loro percezione.

Autori originali: Fnu Pramono, John Cai, Sourabh Kulkarni

Pubblicato 2026-08-14

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Fnu Pramono, John Cai, Sourabh Kulkarni

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come giocare a biliardo. Gli mostri un video delle palle che rotolano e gli chiedi: "In quale buca finirà la palla nera?". Se il video è chiaro, il robot dovrebbe calcolare la fisica e darti la risposta. Ma cosa succede se copri il tavolo con un enorme telo opaco a metà del video, o se le palle rimbalzano così selvaggiamente che nessuno potrebbe prevedere dove atterreranno? Un robot davvero intelligente non dovrebbe solo tirare a indovinare; dovrebbe alzare la mano e dire: "Non vedo abbastanza per saperlo". Questa capacità di sapere ciò che non sai è chiamata astinenza epistemica (epistemic restraint). È la differenza tra un bugiardo sicuro di sé e un esperto cauto. Nel mondo dell'Intelligenza Artificiale, specificamente dei Modelli Vision-Language (VLM) — computer che possono vedere video e parlarne — i ricercatori si sono chiesti: questi modelli sanno davvero quando sono al buio, o fingono solo di vedere attraverso i muri?

Questo articolo, intitolato TRAPSBench, approfondisce proprio questa domanda. I ricercatori hanno costruito un videogioco speciale per l'IA chiamato TRAPSBench, che presenta 1.404 coppie di scenari fisici. In ogni coppia, un video è un "controllo" in cui l'esito è chiaro e facile da prevedere, e l'altro è un "vuoto" in cui la risposta è impossibile da conoscere perché c'è un muro nascosto, un caos totale o una domanda che non ha senso. Hanno poi testato 16 diversi modelli di IA per vedere se avrebbero ammesso la sconfitta quando la risposta era nascosta.

Ecco il colpo di scena: i modelli sono in realtà molto bravi a sapere che la risposta è nascosta, ma sono terribili nel dire di non sapere. È come uno studente che affronta un test e sa segretamente di non avere la risposta corretta, ma poiché è così desideroso di compiacere l'insegnante, scrive comunque una risposta inventata con sicurezza. I ricercatori hanno scoperto che, quando hanno sondato il "cervello" interno dell'IA (i suoi stati nascosti), potevano rilevare con alta precisione (fino al 91% su una scala chiamata AUROC) se il modello si rendeva conto che l'evidenza mancava. Tuttavia, quando il modello esprimeva la sua risposta, ignorava quell'avvertimento interno e si limitava a tirare a indovinare.

Lo studio ha anche scoperto uno squilibrio curioso: questi modelli di IA sono molto più bravi a individuare quando una domanda è un non-sense nel testo (come chiedere "Qual è il peso del colore blu?") rispetto a quando manca l'evidenza visiva. Possono rilevare un'impossibilità basata sul testo circa quattro volte più velocemente di una visiva. Inoltre, i ricercatori hanno provato a "guidare" l'IA dando una spinta ai suoi segnali interni. Hanno scoperto che, se spingevano l'IA in una direzione specifica, potevano costringerla a smettere di indovinare e dire "Non lo so", dimostrando che la capacità di trattenersi era già presente, solo che era bloccata dietro una porta che il modello si rifiuta di aprire da solo.

In breve, l'articolo suggerisce che il problema non è che questi modelli di IA siano ciechi o stupidi; è che sono troppo impetuosi. Codificano la verità del fatto che non sono sicuri, ma il loro output è bloccato da un "cancello" che li costringe a rispondere comunque. I ricercatori concludono che, per rendere questi sistemi di IA veramente affidabili, probabilmente dobbiamo riparare la parte del sistema che decide cosa dire, piuttosto che cercare di insegnare loro come vedere meglio.

Riepilogo Tecnico: TRAPSBench: I Modelli Vision-Language Codificano ma Non Riescono a Esprimere la Restrizione Epistemica

Definizione del Problema

I modelli Vision-Language (VLM) hanno ottenuto progressi significativi nella comprensione del video e nel ragionamento fisico. Tuttavia, per l'impiego in domini ad alto rischio, la capacità di un modello di riconoscere quando le informazioni sensoriali sono insufficienti per una previsione deterministica è critica quanto la sua capacità di rispondere correttamente. Gli attuali benchmark valutano il ragionamento fisico ma non riescono a testare l'astensione selettiva in condizioni di evidenza insufficiente. Le metriche esistenti spesso premiano l'astensione indiscriminata o ignorano interamente la dimensione epistemica, fallendo nel distinguere tra un modello che sa di non sapere e uno che si limita a indovinare.

Questo articolo affronta il divario tra la conoscenza interna dell'incertezza di un modello e la sua espressione esterna di tale incertezza. Nello specifico, investiga se i VLM possano distinguere internamente tra scenari fisici rispondibili e non rispondibili, e se sì, perché falliscono nell'esprimere questa distinzione nei loro output autoregressivi.

Metodologia

1. Benchmark TRAPSBench

Gli autori introducono TRAPSBench (Testing Restraint in Ambiguous Physical Scenarios), un benchmark video generato proceduralmente che consiste in 1.404 coppie fisiche accoppiate.

Generazione: Utilizzando MuJoCo, il benchmark crea video "controllo" dove gli esiti sono deterministici e video "vuoti" (void) dove l'esito è reso incomputabile mediante una singola modifica mirata.
Tassonomie di Incertezza:
- Occlusione: I dati visivi chiave sono bloccati da un occludente opaco ( $N=202$ ).
- Sensibilità Caotica: Sistemi deterministici con estrema sensibilità alle condizioni iniziali, troncati prima della risoluzione ( $N=500$ ).
- Domande Mal Poste: I video di controllo vengono riutilizzati, ma la domanda contiene una premessa falsa o chiede dettagli inosservabili ( $N=702$ : 202 occlusione mal posta + 500 caotica mal posta).
Valutazione: Un panel di giudici basato solo sul testo (tre modelli) valuta le risposte. Per i video di controllo, la correttezza è misurata rispetto alla verità di base (ground truth) di MuJoCo. Per i video vuoti, il giudice rileva se il modello si è asteso.

2. Punteggio di Calibrazione Epistemica Penalizzato (PECS)

Per valutare le prestazioni, gli autori propongono il PECS, una metrica di congiunzione definita come:
$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$
Dove:

Acc: Accuratezza sui video rispondibili (controllo).
AbsRec: Recall dell'Astensione (astensione corretta sui video vuoti).
FalseAbs: Falsa Astensione (astensione errata sui video di controllo).
Significato: La metrica utilizza lo statistico J di Youden ( $\text{AbsRec} - \text{FalseAbs}$ ) per penalizzare le strategie indiscriminate. Un modello che astiene sempre o che non si astiene mai riceve un PECS di 0. Alti punteggi richiedono sia un'alta accuratezza nei compiti rispondibili, sia un'astensione selettiva in quelli non rispondibili.

3. Analisi Meccanicistica

L'articolo impiega due tecniche per sondare le rappresentazioni interne:

Linear Probing (Sondaggio Lineare): Addestramento di sonde di regressione logistica sugli stati nascosti di VLM congelati per predire le etichette "vuoto" vs "controllo". Questo testa se il modello codifica la distinzione.
Activation Steering (Guida delle Attivazioni): Manipolazione causale degli stati nascosti aggiungendo un vettore di "direzione vuoto" ( $v_\ell$ ) durante la generazione per testare se la rappresentazione controlla causalmente il comportamento di astensione.

Contributi Chiave

TRAPSBench e PECS: Un benchmark su larga scala e una metrica robusta progettate specificamente per valutare la calibrazione epistemica nella comprensione del video, azzerando le strategie degenerate come "astieni sempre" o "non astenerti mai".
Il Divario tra Rappresentazione e Output: L'articolo stabilisce che i VLM codificano internamente l'incertezza epistemica ma falliscono nell'esprimerla. Ciò è dimostrato attraverso:
- Prompting Guidato: L'istruzione esplicita di astenersi ("Non lo so") sblocca le capacità latenti, migliorando significativamente il recall dell'astensione senza sacrificare l'accuratezza.
- Linear Probing: Le sonde decodificano il segnale di rispondibilità dagli stati nascosti con un AUROC elevato (fino a 0,91) attraverso i domini fisici.
- Activation Steering: L'iniezione di una singola "direzione vuoto" induce causalmente l'astensione nei campioni di controllo e la sopprime in quelli vuoti.
Asimmetrie dei Modi di Fallimento:
- Visivo vs Testuale: I modelli rilevano la impossibilità testuale (domande mal poste) circa 4 volte più facilmente rispetto alle lacune di informazioni visive.
- Effetti del Ragionamento: Il Chain-of-Thought (CoT) non migliora uniformemente la calibrazione. In alcuni modelli (es. Qwen3-VL Think), le tracce di ragionamento esprimono dubbio che viene poi sovrascritto dall'output finale, portando a un aumento della confabulazione rispetto alle varianti senza pensiero.
Analisi Meccanicistica Causale: La geometria del segnale "vuoto" varia per dominio. Le direzioni della famiglia dell'occlusione codificano un segnale di "mancanza di evidenza" generalizzato al dominio che si trasferisce tra modalità e domini. Le direzioni della famiglia caotica sono specifiche del dominio e quasi ortogonali, suggerendo che la trasparenza epistemica governa la trasferibilità.

Risultati

L'Astensione Spontanea è Scarsa: Attraverso 16 VLM di cinque famiglie (Gemini, Q，wen, GPT-5, Gemma, LLaVA), il PECS spontaneo è basso. Il miglior PECS spontaneo è 0,292 (Gemini 2.5 Flash). La maggior parte dei modelli mostra un forte bias verso la risposta indipendentemente dalla qualità delle evidenze.
Il Prompting Guidato Sblocca la Latenza: Le istruzioni di prompting esplicite per l'astensione aumentano il Recall dell'Astensione di un fattore mediano di 1,9× nei modelli nativi del video, con un miglioramento significativo del PECS (es. Gemini 3.1 Pro R-Low raggiunge 0,568). Tuttavia, anche con la guida, i modelli non raggiungono la saturazione, indicando un collo di bottiglia persistente.
Codifica Interna vs Soppressione dell'Output:
- I probe lineari raggiungono un AUROC fino a 0,91 nel trasferimento cross-dataset, provando che il modello "sa" che l'esito è incalcolabile.
- Crucialmente, questo segnale persiste anche quando limitato ai campioni in cui il modello ha confabulato (ha fallito l'astensione) sotto prompting standard.
- L'activation steering conferma che questo segnale è causale: aggiungere la direzione vuota agli stati nascosti forza l'astensione.
Prompt Gating: In Qwen3-VL-8B, il prompting standard impone un vincolo unidirezionale contro l'astensione. Sebbene lo steering possa forzare la confabulazione (sopprimendo l'astensione) sotto prompt standard, non può indurre l'astensione a meno che non venga usato il prompt "guidato". Ciò suggerisce che il collo di bottiglia sia un gate di fase di output, non una mancanza di rappresentazione interna.
Ragionamento e Confabulazione: L'analisi dei modi di confabulazione rivela che l'87–99% dei fallimenti coinvolge premesse allucinate (fabricazione di osservazioni visive). In Qwen3-VL Think, la traccia di ragionamento spesso esprime dubbio, ma l'output finale lo sovrascrive per fornire una risposta certa e fabbricata.

Significato e Rivendicazioni

L'articolo sostiene che il principale collo di bottiglia per l'affidabilità del deployment dei VLM nel ragionamento fisico sia espressivo, non percettivo.

Divario Rappresentazione-Output: I VLM possiedono i segnali epistemici interni necessari per distinguere scenari rispondibili da non rispondibili. Il fallimento risiede nel processo di generazione autoregressiva, che sopprime questi segnali in favore di risposte fluide e impegnative.
Specificità della Modalità: Il divario è più pronunciato per l'incertezza visiva rispetto a quella testuale. I modelli sono significativamente più bravi a rilevare impossibilità semantiche (testo) rispetto a lacune di informazioni fisiche (video).
Necessità di Intervento: Colmare questo divario richiede probabilmente interventi nella fase di output (es. vincoli di decodifica, steering o obiettivi di addestramento specializzati) piuttosto che il semplice aumento della dimensione del modello o il miglioramento della percezione visiva.
Generalizzabilità: Le scoperte si replicano in tre famiglie di modelli open-weight (Qwen, Gemma, LLaVA) senza pipeline di addestramento condivise, suggerendo che questa sia una proprietà fondamentale delle attuali architetture VLM piuttosto che un artefatto di un modello specifico.

Gli autori concludono che TRAPSBench fornisce uno strumento necessario per valutare e migliorare la calibrazione epistemica dei sistemi AI, sottolineando che "sapere quando non rispondere" rimane una sfida critica e non ancora risolta per gli agenti autonomi.