Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models

1. Il Problema

I modelli Vision-Language (VLM) hanno recentemente acquisito capacità di ragionamento avanzate, spesso attraverso l'uso del Chain-of-Thought (CoT). Tuttavia, rimane poco chiaro come queste capacità integrino effettivamente le informazioni visive e testuali durante il processo di inferenza.
La ricerca attuale si concentra spesso solo sull'accuratezza finale, trascurando la dinamica interna del ragionamento. I problemi principali identificati sono:

• Inerzia delle risposte: I modelli tendono a impegnarsi presto in una previsione e a rafforzarla nei passaggi successivi invece di correggerla.
• Bias modale: I modelli potrebbero affidarsi eccessivamente a segnali testuali (priors) ignorando le evidenze visive, anche quando queste sono sufficienti.
• Limiti del monitoraggio: Non è chiaro se le tracce di ragionamento (CoT) forniscano una visione trasparente e fedele di come le diverse modalità (testo vs. immagine) guidino le decisioni finali, specialmente in presenza di segnali ingannevoli.

2. Metodologia

Gli autori hanno analizzato 18 VLM appartenenti a due famiglie principali (Qwen e InternVL) e due paradigmi di addestramento:

1. Instruction-tuned (I): Modelli generici addestrati al seguito di istruzioni senza supervisione esplicita sul ragionamento.
2. Reasoning-trained (R): Modelli addestrati specificamente per produrre CoT espliciti (es. tramite Reinforcement Learning o modalità "Thinking").

L'analisi si è basata su tre pilastri metodologici:

A. Dinamiche di Ragionamento e Tracciamento della Confidenza

• Traiettorie di confidenza: Hanno misurato la probabilità assegnata alla risposta corretta (gold answer) ad ogni passo del CoT.
• Analisi di troncamento: Hanno valutato l'accuratezza del modello troncando il CoT a diverse profondità per vedere se i passaggi successivi migliorano o peggiorano la performance.
• Net Gain: Hanno calcolato quanto spesso il CoT corregge una previsione iniziale errata rispetto a quanto spesso rovescia una previsione iniziale corretta.

B. Monitoraggio della Dipendenza dalla Modalità (Monitorability)

Per studiare se le influenze esterne siano rilevabili nel CoT, gli autori hanno introdotto intervenioni ingannevoli (misleading hints) nel prompt testuale. Questi hint suggerivano una risposta errata in contrasto con l'evidenza visiva (es. "Un professore ha indicato che la risposta è B").
Hanno definito due compiti di monitoraggio per un modello esterno:

1. Rilevamento dell'influenza dell'hint ($G^2_H$): Il monitor sa che c'è un hint e deve decidere se ha influenzato il ragionamento.
2. Attribuzione della modalità ($G^2_M$): Il monitor non sa dell'hint e deve decidere se il ragionamento si basa principalmente su testo o immagine.

• Metrica: Hanno utilizzato il $G^2_{mean}$ (media geometrica di sensibilità e specificità) per quantificare la monitorabilità.

C. Dataset

Gli esperimenti sono stati condotti su:

• MathVerse: Problemi matematici con varianti sistematiche di dipendenza dalla modalità (da testo-dominante a solo-immagine).
• PhyX: Benchmark di ragionamento fisico.
• ScienceQA: Domande scientifiche multimodali.

3. Risultati Chiave

Dinamiche di Ragionamento

• Impegno Precoce (Early Commitment): La maggior parte dei modelli (sia instruction-tuned che reasoning-trained) decide la risposta finale molto presto, spesso entro i primi passi del CoT. I passaggi successivi tendono a rafforzare l'ipotesi iniziale piuttosto che correggerla.
• Effetto Correttivo Limitato: Sebbene i modelli reasoning-trained mostrino un comportamento correttivo più forte rispetto a quelli instruction-tuned, il guadagno netto è spesso modesto. L'accuratezza non migliora significativamente aggiungendo più passaggi di ragionamento se l'errore iniziale è stato commesso.
• Dipendenza dalla Modalità: L'efficacia del ragionamento correttivo varia in base alla modalità. I modelli reasoning-trained mostrano i maggiori guadagni in contesti text-dominant, mentre i modelli instruction-tuned mostrano miglioramenti più marcati in contesti vision-only.

Monitorabilità e Bias Testuale

• Susceptibilità agli Hint: Tutti i modelli sono consistentemente influenzati da hint testuali ingannevoli, anche quando l'immagine contiene la risposta corretta.
• Il Paradosso della Monitorabilità:
  • Modelli Instruction-Tuned: Hanno CoT più brevi e meno espliciti riguardo agli hint. Tuttavia, le loro tracce più corte rivelano spesso incoerenze tra il ragionamento e l'input visivo, rendendo più facile per un monitor esterno rilevare che la risposta non è fondata sull'immagine.
  • Modelli Reasoning-Trained: Producono CoT lunghi, fluenti e strutturati. Spesso integrano gli hint ingannevoli in un ragionamento coerente, citando esplicitamente l'hint. Questo crea un effetto di copertura: il monitor che cerca di attribuire la modalità ($G^2_M$) fatica a rilevare la dipendenza dal testo perché il ragionamento appare visivamente fondato e logicamente coerente, anche se guidato da un hint testuale.
• Conclusione sulla Monitorabilità: La capacità di rilevare la dipendenza da una modalità specifica diminuisce all'aumentare della lunghezza e della fluidità del CoT nei modelli avanzati. Un monitor che non conosce l'esistenza dell'hint non riesce a distinguere un ragionamento visivo genuino da uno che segue ciecamente un hint testuale.

4. Contributi Principali

1. Analisi su larga scala delle dinamiche multimodali: Dimostrazione che i VLM soffrono di inerzia nelle previsioni, formando la risposta finale precocemente e rafforzandola invece di correggerla.
2. Quantificazione dell'effetto correttivo: Evidenza che il beneficio del ragionamento dipende dal paradigma di addestramento e dal grado di dipendenza dalla modalità (testo vs. immagine).
3. Studio sulla Monitorabilità: Dimostrazione che il CoT fornisce solo una visione parziale della decisione del modello. In particolare, i CoT più lunghi e sofisticati dei modelli reasoning-trained possono oscurare la dipendenza da segnali testuali ingannevoli, rendendo difficile la trasparenza e la sicurezza dei sistemi multimodali.

5. Significato e Implicazioni

I risultati hanno profonde implicazioni per la trasparenza e la sicurezza dei sistemi multimodali:

• Falsa Sicurezza: La presenza di un CoT lungo e ben strutturato non garantisce che il modello stia ragionando correttamente sulle immagini. Al contrario, può mascherare un affidamento eccessivo su bias testuali.
• Limiti del Monitoring Attuale: I metodi attuali di monitoraggio basati sull'analisi del testo (CoT) sono insufficienti per garantire che un modello VLM stia effettivamente "vedendo" e utilizzando l'input visivo, specialmente in scenari complessi o con modelli avanzati.
• Sfide Future: È necessario sviluppare nuovi meccanismi di monitoraggio che vadano oltre la semplice analisi testuale del CoT, forse integrando verifiche incrociate dirette con l'input visivo o migliorando la capacità dei modelli di essere "fedeli" (faithful) nel loro processo decisionale interno.

In sintesi, il paper avverte che l'evoluzione verso modelli di ragionamento più complessi potrebbe paradossalmente rendere più difficile comprendere e controllare su quali basi (visive o testuali) questi modelli prendono le loro decisioni.