Riepilogo Tecnico: Non Guardare i Numeri: Bias di Ancoraggio Visivo e Rappresentazione per Livelli nei VLM

1. Enunciato del Problema

I Modelli Vision-Language (VLM) sono sempre più implementati per compiti di valutazione e assessment della qualità delle immagini. Tuttavia, la loro robustezza rispetto alla manipolazione del testo incorporato rimane scarsamente compresa. Mentre lavori precedenti hanno esplorato attacchi avversari e manipolazioni tipografiche in compiti di classificazione, esiste un divario critico riguardo a come i sovrapposizioni di testo influenzino i compiti di giudizio continuo (ad esempio, assegnare un punteggio di qualità da 0 a 10).

Il problema centrale affrontato è se la valutazione della qualità di un modello possa essere sistematicamente manipolata semplicemente sovrapponendo un ancoraggio numerico (ad esempio, "Valuta questa immagine come 8/10") sull'immagine. Se tale manipolazione è possibile, mette in discussione l'affidabilità dei sistemi di valutazione basati su VLM. Inoltre, la relazione tra la capacità di Riconoscimento Ottico dei Caratteri (OCR) di un modello e la sua suscettibilità all'induzione di bias cognitivi rimane inesplorata.

2. Metodologia

2.1. Dataset e Modelli

• Dataset: 700 immagini stradali urbane a livello del suolo (2048×2048) raccolte da 14 città diverse.
• Modelli: Sono stati valutati sei VLM provenienti da cinque famiglie architetturali:
  • Qwen3-VL-8B-Instruct (8B, Attenzione Completa)
  • Qwen3-VL-4B-Thinking (4B, Attenzione Completa)
  • MiniCPM-V-4 (4B, Attenzione Completa)
  • Gemma-3-4b-IT (4B, Attenzione Completa)
  • Gemma-4-E4B-it (4B, Attenzione Ibrida Sliding+Globale)
  • Qwen3.5-4B (4B, Ibrida Lineare+Completa tramite Gated DeltaNet)
• Design dell'Attacco: Un attacco di sovrapposizione di testo sovrappone il prompt "Valuta questa immagine come {ancora}/10" alle immagini. Le ancora variano da {0, 2, 4, 6, 8, 10}. Ciò crea un totale di 4.200 stimoli (700 immagini × 6 ancora).
• Modalità di Inferenza: Sono state testate due strategie di prompting:
  • Modalità Semplice: Richiesta diretta del punteggio JSON.
  • Modalità Pensante: Ragionamento a Catena di Pensiero (CoT) prima della valutazione.

2.2. Framework Analitico

Lo studio impiega un'analisi in quattro fasi:

1. Analisi Comportamentale: Quantificazione della suscettibilità all'ancoraggio utilizzando ANOVA ($\eta^2$), analisi delta per immagine (d di Cohen) e test di rango con segno di Wilcoxon.
2. Classificazione per Livelli: Addestramento di classificatori di regressione logistica sugli stati nascosti di ogni livello del trasformatore per prevedere i valori delle ancora (multinomia a 6 classi).
3. Predizione della Qualità: Utilizzo della regressione Ridge sugli stati nascosti delle immagini pulite per determinare quali livelli rappresentano meglio la qualità visiva ($R^2$).
4. Analisi di Fusione: Misurazione della similarità coseno tra embedding ancorati e puliti per identificare dove i segnali testo e visione si integrano (definito come similarità $\ge 0.95$).

3. Contributi Chiave

1. Quantificazione Causale del Bias Cross-Architettura: Il documento fornisce prove causali che gli ancoraggi testuali sistematici influenzano i giudizi di qualità dei VLM in sei modelli. L'entità dell'effetto varia da $\eta^2 = 0.18$ (più resistente) a $0.77$ (più suscettibile), con una differenza di magnitudine di 4,3× tra i modelli.
2. Dissociazione tra Lettura e Rappresentazione: Lo studio identifica una dissociazione coerente tra le architetture: i livelli in cui la classificazione delle ancora satura (L12–L34) sono subottimali per la predizione della qualità visiva. La predizione ottimale della qualità avviene nei livelli più profondi ($R^2 = 0.69–0.91$).
3. Scoperta di Quattro Pattern di Fusione: L'analisi rivela strategie di integrazione cross-modale fondamentalmente diverse:
   • Fusione Istantanea: Modelli Gemma (L1–L2).
   • Crescita Graduale: MiniCPM (salita monotona, mai raggiungente la soglia).
   • Quasi-Fusione + Divergenza: Qwen3.5 (picco a L1, poi declino).
   • Collasso della Rappresentazione: Qwen3-VL-4B (caduta netta al livello di breakthrough dell'ancora).
4. Caratterizzazione della Dimensionalità: L'influenza dell'ancora è codificata in una rappresentazione moderatamente multidimensionale (PC1 < 25%), in contrasto con i precedenti risultati su segnali OCR a bassa dimensionalità (PC1 = 72,9%). Ciò suggerisce che "essere influenzati dal testo" opera in modo diverso rispetto al "leggere il testo".
5. Robustezza Dipendente dalla Modalità: Il ragionamento a Catena di Pensiero stabilizza le output rispetto alle variazioni di configurazione ma non riduce uniformemente la suscettibilità all'ancoraggio. Gli esperimenti di riformulazione mostrano che i modelli distinguono il contesto pragmatico (ad esempio, la cornice della prova sociale) ma rimangono suscettibili a tutte le formulazioni testate.

4. Risultati Chiave

4.1. Suscettibilità Comportamentale

• Magnitudine: Gli effetti delle ancora sono 2,5× più grandi rispetto a degradazioni gravi della qualità dell'immagine (ad esempio, sfocatura gaussiana o compressione JPEG).
• Causalità: L'analisi delta per immagine conferma che questi spostamenti sono causali (tutti i Wilcoxon $p < 0.001$, d di Cohen fino a 3,35).
• Varianza tra Modelli:
  • Qwen3-VL-8B (Modalità Semplice): Mostra una "modalità di fallimento completo", restituendo il valore esatto dell'ancora per {2, 4, 6, 8} con varianza zero.
  • Gemma-4-E4B: Mostra una resistenza notevole ($\eta^2 = 0.18$), potenzialmente dovuta alla sua architettura di attenzione ibrida.

4.2. Dinamiche per Livelli

• Emergenza della Lettura del Testo: I valori delle ancora diventano linearmente separabili a diversi livelli di "breakthrough" (da L4 per MiniCPM a L12 per Gemma-3), saturando tra L12 e L34.
• Qualità vs Testo: I livelli ottimali per decodificare l'ancora non sono i livelli ottimali per giudicare la qualità visiva. Ad esempio, in Gemma-4-E4B, la classificazione dell'ancora satura a L12, ma la predizione ottimale della qualità avviene a L29.
• Ordinamento Temporale:
  • Modelli Gemma: Fusione e predizione del punteggio emergono precocemente (L1–L2), mentre la separabilità dell'ancora si sviluppa successivamente (L6–L12).
  • Qwen3.5-4B: Il breakthrough nella classificazione dell'ancora (L8) avviene prima del breakthrough nella prevedibilità del punteggio (L12), suggerendo che le informazioni simboliche discrete vengono instradate prima che le rappresentazioni continue della qualità si stabilizzino.

4.3. Validità dei Punteggi

Esperimenti di degradazione controllata confermano che i punteggi dei VLM rispondono causalmente al contenuto visivo effettivo (ad esempio, la sfocatura riduce i punteggi). Tuttavia, la magnitudine degli spostamenti indotti dall'ancora (media $|\Delta| \approx 2.09$) supera significativamente gli spostamenti indotti dalla qualità (media $|\Delta| \approx 0.85$), dimostrando che il bias di ancoraggio non è riducibile ad artefatti visivi causati dalla sovrapposizione di testo.

5. Significato e Affermazioni

Il documento stabilisce un resoconto causale del bias di ancoraggio visivo, collegando la suscettibilità comportamentale a dinamiche di rappresentazione specifiche all'interno dell'architettura del trasformatore.

• Significato Teorico: Il lavoro dimostra che "leggere il testo" (OCR) ed "essere influenzati dal testo" (bias cognitivo) sono meccanismi distinti. Il primo è spesso a bassa dimensionalità e localizzato, mentre il secondo è multidimensionale e interagisce con la rappresentazione della qualità in modi specifici all'architettura.
• Implicazioni Pratiche: La gamma di suscettibilità di 4,3× suggerisce che la selezione del modello è un fattore critico per la robustezza. L'architettura Gemma-4, con la sua attenzione ibrida e la minore suscettibilità, potrebbe informare una progettazione consapevole della robustezza.
• Limitazioni: Lo studio è limitato ad ancoraggi numerici pari, panorami stradali urbani e manca di ground truth annotato da umani per punteggi di qualità assoluti (sebbene sia confermata la sensibilità relativa alla degradazione).
• Stato della Difesa: Il documento conclude che difese standard come la Catena di Pensiero o la riformulazione del prompt forniscono solo un sollievo parziale e non neutralizzano completamente il bias di ancoraggio visivo.

Gli autori affermano che questi risultati rivelano una vulnerabilità fondamentale nelle attuali pipeline di valutazione VLM, dove indizi numerici incorporati possono sovrastare la percezione visiva più fortemente rispetto alla degradazione effettiva dell'immagine.