Sintesi Tecnica: Probing dello Stato Decisionale nei Modelli di Linguaggio Multimodali

Definizione del Problema

I Modelli di Linguaggio Multimodali (MLLM) vengono valutati prevalentemente attraverso comportamenti esternamente osservabili, come la selezione della corrispondenza corretta tra immagine e testo o la risposta accurata a query visive. Sebbene i benchmark come MMBench e MM-Vet misurino efficacemente questi output, l'articolo sostiene che il comportamento esterno corretto non garantisce la stabilità interna. Un modello può selezionare costantemente la didascalia corretta (comportamento di correttezza rigorosa o strict-correct) pur presentando una significativa instabilità o "sensibilità allo stress" dello stato decisionale interno quando esposto a perturbazioni semantiche strutturate. Ciò crea un punto cieco nella valutazione dove le metriche basate solo sul comportamento riportano successo, mascherando un segnale nascosto di sensibilità allo stress dello stato decisionale interno.

Metodologia: Framework S3E

Gli autori introducono S3E (Structured Semantic Stress Evaluation), un framework progettato per analizzare il disaccoppiamento tra comportamento esterno e stati decisionali interni.

1. Protocollo di Valutazione

• Scelta Forzata A/B con Ancoraggio Positivo: La valutazione presenta un'immagine, una didascalia positiva ($c^+$) supportata dall'immagine, e una didascalia candidata ($c$). Il modello deve scegliere quale didascalia si adatta meglio all'immagine.
• Bilanciamento dell'Ordine: Per eliminare il bias di posizione, i tentativi sono valutati sia nell'ordine originale ($[c^+, c]$) che in quello invertito ($[c, c^+]$).
• Filtraggio della Correttezza Rigorosa (Strict-Correct Filtering): L'analisi si condiziona sui tentativi "strict-correct", in cui il modello seleziona la didascalia positiva $c^+$ in entrambi gli ordini di opzione rispetto alla candidata. Ciò assicura che l'analisi interna si concentri sui casi in cui il comportamento esterno è stabile e corretto.

2. Condizioni delle Candidate

Il framework utilizza un substrato "base–preserve–stress" derivato da benchmark pubblici (Winoground, SugarCrepe, ARO):

• Positiva ($c^+$): La didascalia gold-standard, supportata dall'immagine.
• Preserva ($c_{pres}$): Una riscrittura di $c^+$ che preserva il significato (testa la stabilità interna di riformulazioni corrette).
• Lessicale ($c_{lex}$): Un controllo superficiale distinto che preserva il significato (testa la variazione ordinaria a livello di parola).
• Stress ($c_{stress}$): Una candidata che cambia il significato introducendo un conflitto semantico (cambiamenti di oggetto, attributo, relazione o composizione).
• Casuale ($c_{rand}$): Una didascalia di mismatch generico proveniente da un elemento di origine diversa.

3. Probing dello Stato Decisionale

• Punto di Estrazione: Gli stati nascosti vengono estratti allo stato decisionale pre-risposta, immediatamente prima che il modello emetta il token di scelta forzata.
• Metrica: Gli autori utilizzano una distanza del coseno ancorata positivamente. Per una condizione candidata $k$, il punteggio $S^{(m,\ell)}_{i,o,k}$ è definito come $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$, dove $h^{(m,\ell)}_{i,o,+}$ è lo stato nascosto per la didascalia positiva.
• Contrasto Normalizzato al Controllo: La metrica primaria è lo spostamento in eccesso della condizione di stress rispetto ai controlli:
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (Stress semantico vs. variazione lessicale).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (Stress semantico vs. riformulazione che preserva il significato).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (Stress semantico vs. mismatch generico).

4. Profilo Diagnostico

I risultati sono riportati attraverso quattro dimensioni (CA, SO, SI, BE):

• CA (Compressione–Anisotropia): Rango effettivo e concentrazione della varianza.
• SO (Organizzazione Strutturale): Drift per livello e localizzazione del picco di layer.
• SI (Selettività–Identificabilità): Specificità del segnale di stress rispetto ai controlli.
• BE (Esposizione Comportamentale): Accuratezza e tassi di correttezza rigorosa (strict-correct).

Risultati Chiave

Lo studio è stato condotto su cinque modelli open-source: Qwen3VL (2B, 4B, 8B), Gemma3-4B e InternVL3-2B.

1. Esistenza di una Sensibilità allo Stress Nascosta: In tutti i modelli testati, lo stress semantico ha prodotto costantemente uno spostamento in eccesso positivo nel layer selezionato ($\Delta_{lex}$) rispetto ai controlli lessicali, anche quando il modello prendeva la decisione corretta nella scelta forzata.

   • Per Qwen3VL-8B, la dimensione dell'effetto standardizzata accoppiata ($d_p$) era 2.85 con un $\Delta_{lex}$ di 0.1293.
   • Per Gemma3-4B, $\Delta_{lex}$ era 0.0093 con un $d_p$ di 5.45.
   • Gli intervalli di confidenza per $\Delta_{lex}$ escludevano lo zero per tutte le esecuzioni ad alto supporto.

2. La Scala Non Elimina il Gap: L'aumento della scala del modello (Qwen3VL 2B $\to$ 8B) non ha ridotto il disaccoppiamento tra comportamento e interno. Al contrario, il contrasto semantico-specifico è cresciuto con la scala (0.0190 $\to$ 0.1293), suggerendo che i modelli più grandi possano esibire strutture dello stato decisionale più forti o più identificabili rispetto allo stress semantico, anche quando sono esternamente corretti.

3. Specificità del Segnale:

   • L'effetto è semantico-specifico: $\Delta_{lex}$ è stato costantemente positivo, indicando che lo spostamento non è dovuto semplicemente alla variazione lessicale o superficiale.
   • L'effetto non è un mismatch generico: $\Delta_{rand}$ (stress vs. casuale negativo) è dipendente dal modello ed è spesso negativo o vicino allo zero, confermando che i negativi casuali fungono da riferimento di mismatch grezzo piuttosto che da primario baseline semantico.

4. Localizzazione nei Layer: La risposta allo stress è stata localizzata in specifici "layer di picco" (identificati tramite un profilo di specificità dello stress E3), ma era visibile anche in un controllo pre-specificato sui layer della metà superiore, suggerendo che la risposta non è confinata a un singolo layer isolato.

Significato e Rivendicazioni

L'articolo esprime rivendicazioni modeste e circoscritte riguardo alle proprie scoperte:

• Lente Diagnostica, Non Certificato di Fallimento: Gli autori dichiarano esplicitamente che S3E è un target diagnostico circoscritto, non un certificato di fallimento, allucinazione o sicurezza a valle. La presenza di uno spostamento in eccesso sotto un comportamento di correttezza rigorosa indica una "sensibilità allo stress dello stato decisionale", non necessariamente che il modello fallirà nella generazione a formato libero o in compiti successivi.
• Insufficienza della Correttezza nella Scelta Forzata: La conclusione principale è che la correttezza nella scelta forzata da sola non è un certificato sufficiente di invarianza della geometria decisionale interna. Un modello può essere comportamentalmente robusto pur essendo internamente sensibile allo stress semantico.
• Interpretazione del Segnale: Lo spostamento osservato è interpretato come un segnale di come la geometria decisionale pre-risposta del modello cambi quando una candidata introduce un conflitto semantico. Questo segnale sopravvive ai controlli per variazione lessicale, margine di risposta e sovrapposzione superficiale.
• Limitazioni: Gli autori riconoscono che il substrato è centrato sulla lingua inglese e derivato da benchmark pubblici, il che potrebbe limitarne la generalizzabilità. Notano inoltre che l'analisi si basa sull'accesso white-box (stati nascosti), limitandone l'applicabilità ai modelli a codice chiuso. La metrica $\Delta_{lex}$ è una risposta geometrica nello stato pre-risposta e non deve essere confusa con la calibrazione o il futuro fallimento comportamentale senza ulteriori prove.

In sintesi, S3E fornisce un metodo per rilevare lo "stress nascosto" negli MLLM, rivelando che gli stati decisionali interni possono essere instabili anche quando gli output esterni appaiono corretti, fornendo così una motivazione per futuri lavori su stime neutrali rispetto ai layer e test di robustezza.