Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

Sintesi Tecnica: Witness Evidence Portfolios (WEP)

Definizione del Problema
L'impiego affidabile di Modelli Linguistici Multimodali Grandi (MLLM) richiede meccanismi per determinare se una risposta visiva sicura debba essere considerata attendibile, revisionata o instradata verso un sistema più potente. Sebbene i punteggi di confidenza standard (basati sui margini dei candidati) indichino quanto una risposta prevista sia distante dai suoi competitor, essi non riescono a rivelare la fonte della decisione. Un modello può produrre un "no" ad alta confidenza a una domanda come "Ci sono carote in questa immagine?" anche quando le letture visive interne che supportano tale decisione sono concentrate su regioni irrilevanti (ad es. titoli di grafici o sfondi) piuttosto che sull'effettiva evidenza visiva. Gli esistenti metodi per il rilevamento delle allucinazioni o la valutazione del rischio si basano spesso su stati interni generici, richiedono perturbazioni dell'immagine, passaggi di decodifica aggiuntivi o verificatori esterni, lasciando un vuoto nel rilevamento di decisioni non supportate utilizzando solo il percorso di inferenza originale.

Metodologia: Witness Evidence Portfolios (WEP)
WEP è un framework di rilevamento del rischio white-box progettato per MLLM a risposta chiusa. Opera durante un singolo passaggio di prefill, utilizzando lo stesso percorso forward che genera la risposta, senza richiedere passaggi backward, perturbazioni dell'immagine o modelli esterni.

1. Mappe di Testimonianza Vincolate alla Domanda (Question-Bound Witness Maps):
   Il metodo identifica prima i "testimoni" (witnesses) nello spazio visivo vincolati alla domanda. Per un token della domanda $j$, viene calcolata una distribuzione di legame $B_j(v)$ sui token visivi $v$. Questi vengono aggregati in una mappa di testimonianza della domanda $P_Q(v)$, pesata in base all'importanza del token per la decisione finale. Questo distingue le regioni rilevanti per la domanda dalle regioni di salienza generica. Viene inoltre definita una referenza visiva uniforme $U(v)$ per controllare la sovrapposizione visiva generale.

2. Stima dell'Evidenza Decisionale Firmata (Estimated Signed Decision Evidence):
   WEP stima il contributo dei token visivi interni al margine del candidato previsto. Per un candidato $y$, viene definita una direzione di lettura $d_y$ basata sulla matrice di unembedding e sui logit dei competitor. Il contributo $C_{\ell,y}(s)$ di un token sorgente $s$ al livello $\ell$ viene calcolato proiettando i vettori di valore interni su questa direzione. Tali contributi vengono trasportati nello spazio visivo per formare mappe di evidenza firmata $E_{\ell,y}(v)$, dove i valori positivi supportano la previsione e quelli negativi la contraddicono.

3. Famiglie di Percorsi (Route Families):
   WEP riassume queste mappe di evidenza in due famiglie di percorsi interpretabili:

   • Percorsi di Provenienza (Provenance Routes): Misurano la sovrapposizione tra l'evidenza firmata e i testimoni vincolati alla domanda ($P_Q$) rispetto alla referenza uniforme ($U$). Tracciano specificamente se l'evidenza si allinea con le entità specifiche richieste (ad es. "carote") o con regioni generiche dell'immagine. Un punteggio residuo cattura l'eccesso di allineamento con i testimoni specifici della domanda.
   • Percorsi di Concentrazione (Concentration Routes): Misurano la distribuzione spaziale dell'evidenza firmata. Calcolano l'entropia normalizzata per determinare se l'evidenza di supporto è strettamente concentrata (potenzialmente dipendente da una scorciatoia/shortcut) o se l'evidenza contraddittoria è diffusamente distribuita.

4. Validazione Annidata e Fusione del Portfolio (Nested Validation and Portfolio Fusion):
   Per evitare l'overfitting e selezionare il segnale più affidabile, WEP impiega un processo di validazione raggruppata annidato. Un fold interno seleziona la famiglia di percorsi superiore (Provenienza o Concentrazione) in base alle prestazioni di ranking dell'errore senza accedere alle etichette del fold esterno. Un portfolio sparse top-$k$ di percorsi della famiglia selezionata viene quindi adattato sul set di calibrazione. Infine, questi punteggi di percorso selezionati vengono standardizzati e fusi con la confidenza del margine del candidato basale per produrre il punteggio di rischio finale.

Contributi Chiave

• Prospettiva dell'Evidenza Decisionale Firmata: Il paper introduce una nuova prospettiva sul ranking del rischio che valuta se i contributi visivi interni supportino o contraddicano l'attuale margine del candidato, andando oltre i semplici metriche di confidenza.
• Decomposizioni Complementari: Propone due decomposizioni complementari dell'evidenza visiva firmata: provenienza (allineamento specifico alla domanda) e concentrazione (distribuzione spaziale), accoppiate a un selettore a bassa capacità per scegliere la famiglia ottimale.
• Rilevamento White-Box Efficiente: WEP raggiunge il rilevamento del rischio utilizzando un singolo passaggio di prefill strumentato con ricalcolo sparso della riga di lettura, senza richiedere perturbazioni dell'immagine, passaggi backward o verificatori esterni.

Risultati
Il metodo è stato valutato su tre backbone MLLM (Qwen3-VL-8B, LLaVA-1.5-7B, InternVL3.5-8B) e quattro benchmark a risposta binaria (AMBER-D, Causal-HalBench, VSR, HallusionBench).

• Performance: WEP ha migliorato la media dell'Average Precision (AP) dell'errore di 0.134 in tutti i 12 accoppiamenti modello-dataset. Tutti i 12 accoppiamenti hanno mostrato guadagni positivi, e 10 di 12 intervalli bootstrap dei cluster di immagini sono stati strettamente positivi.
• Utilità di Triage: Ai bassi budget di revisione (1%, 5%, 10%), WEP ha migliorato significativamente la precisione del rilevamento degli errori rispetto ai baseline di confidenza, concentrando efficacementamente gli errori nella parte alta della coda di revisione.
• Ablazioni:
  • L'evidenza non firmata e la media dei percorsi uniformi hanno prodotto guadagni minimi.
  • Le famiglie Provenienza e Concentrazione hanno singolarmente performato bene, ma sono state superate dalla strategia di selezione annidata, che sceglieva adattivamente la migliore famiglia per ogni contesto.
  • I controlli con percorsi extra (ad es. Visual Contrastive Decoding) hanno performato peggio di WEP sul sottoinsieme a stretta stessa-predizione, evidenziando l'efficienza di WEP.
  • I controlli di shuffling dell'evidenza hanno confermato che i guadagni dipendono dall'evidenza interna corrispondente piuttosto che da spostamenti nella distribuzione dei punteggi.

Significatività e Rivendicazioni
Il paper sostiene che WEP stabilisce la provenienza visiva correlata alla domanda come un segnale pratico ed efficace per decidere quali risposte multimodali chiuse meritino una revisione o un instradamento. Aumentando la confidenza del candidato con la provenienza e la concentrazione dell'evidenza firmata, WEP fornisce un meccanismo ispezionabile e a basso overhead per un dispiegamento affidabile degli MLLM. Gli autori sottolineano che il metodo non sostituisce lo strato di controllo del rischio del routing selettivo, ma lo aumenta con segnali interpretabili e allineati alla domanda derivati direttamente dal percorso di inferenza esistente del modello. I risultati suggeriscono che l'analisi della sorgente e della distribuzione dell'evidenza visiva interna offre una visione complementare ai punteggi di confidenza per il rilevamento di risposte non supportate o allucinate.