When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

Titolo: Quando chiamare una mela rossa: Gli umani seguono regole introspective, i VLM no

1. Il Problema

L'articolo affronta una sfida critica per il dispiegamento affidabile dei Modelli Linguaggio-Visione (VLM) in ambiti ad alto rischio (es. medicina, diritto): la capacità dei modelli di generare tracce di ragionamento coerenti e affidabili (Chain-of-Thought, CoT).
Il problema centrale è la mancanza di fedeltà (unfaithfulness): i modelli spesso producono ragionamenti che sembrano logici ma che ignorano le premesse dichiarate, contraddicono le conclusioni derivate o agiscono in modo diverso rispetto a quanto predetto dalle loro stesse "regole introspective" (le regole interne che il modello afferma di seguire).
Mentre studi precedenti attribuiscono queste incoerenze alla difficoltà del compito o a bias cognitivi umani, questo lavoro ipotizza che i VLM abbiano una conoscenza introspezione mal calibrata, dove i priors linguistici (conoscenza del mondo) sovrascrivono sistematicamente l'evidenza visiva e le regole auto-dichiarate.

2. Metodologia: Il Dataset GCA

Per isolare e misurare questo fenomeno, gli autori introducono il Graded Color Attribution (GCA), un benchmark controllato progettato per disaccoppiare la difficoltà del compito e la correttezza della risposta dalla fedeltà al ragionamento.

• Struttura del Dataset:
  • Il dataset consiste in disegni lineari in bianco e nero di oggetti e forme geometriche.
  • Vengono applicate ricolorazioni a livello di pixel con una copertura graduale ($\tau$) che varia dallo 0% al 100%.
  • Tre condizioni di stimolo:
    1. Prior allineati: Oggetti ricolorati con il loro colore canonico (es. una mela rossa).
    2. Controfattuali: Gli stessi oggetti ricolorati con colori non canonici (es. una fragola blu).
    3. Nessun prior: Forme geometriche (es. pentagoni) senza associazioni cromatiche semantiche.
• Compiti Svolti:
  1. Elicitazione della regola: Sia ai VLM che agli umani viene chiesto di stabilire una soglia percentuale ($\tau$) minima di pixel colorati necessaria per etichettare l'oggetto con quel colore (es. "Qual è la percentuale minima di pixel rossi affinché questa mela sia considerata rossa?").
  2. Giudizio di attribuzione: Successivamente, viene chiesto di classificare l'immagine basandosi sulla ricolorazione effettiva.
• Partecipanti:
  • VLM: Sono stati testati quattro modelli (GPT-5-mini, Claude Opus 4.6, Claude Haiku 4.5, Qwen3.5-9B) utilizzando diverse strategie di prompting CoT (Standard, Visual-Prior, Post-hoc, Text-Prior).
  • Umani: 173 partecipanti hanno completato un sondaggio su Prolific, confrontando le loro regole dichiarate con le loro decisioni empiriche.

3. Contributi Chiave

1. Proposta del task GCA: Un compito in cui la decisione di base è banale (riconoscimento del colore), permettendo di misurare la fedeltà al ragionamento senza il rumore della difficoltà del compito.
2. Analisi della stabilità delle regole: Dimostrazione che le regole introspective dei VLM non sono rappresentazioni interne stabili, ma variano significativamente in base all'input visivo e ai priors linguistici.
3. Confronto Umano-Macchina: Evidenzia che i fallimenti dei modelli non sono dovuti a bias cognitivi umani (gli umani sono coerenti), ma a un meccanismo specifico dei VLM.
4. Decoupling della percezione: Dimostra che i modelli sono eccellenti stimatori della copertura cromatica (percezione), ma falliscono nell'applicare le regole che dichiarano di seguire.

4. Risultati Principali

• Violazione sistematica delle regole da parte dei VLM:
  • I modelli violano le proprie regole introspective in una percentuale significativa di casi (fino al 60% per GPT-5-mini su oggetti con forti priors).
  • Anche quando un modello dichiara una soglia del 50% e l'immagine è prevalentemente bianca, il modello può etichettarla come "rossa" se l'oggetto è una mela, cedendo al prior linguistico.
• Ruolo distruttivo dei Priors di Conoscenza del Mondo:
  • La fedeltà crolla drasticamente quando gli oggetti hanno forti associazioni cromatiche (prior allineati o controfattuali).
  • Al contrario, per le forme geometriche (senza priors), i VLM si comportano in modo molto più fedele, simile agli umani.
  • Questo indica che l'identità dell'oggetto attiva un prior che compete con l'evidenza visiva e la regola dichiarata.
• Comportamento Umano vs. VLM:
  • Umani: Sono fedeli alle proprie regole. Le apparenti violazioni sono spiegate da un noto bias cognitivo: la tendenza a sovrastimare la copertura cromatica (es. dire "50%" quando in realtà applicano una soglia del 25-30%). Tuttavia, una volta corretta questa stima, la loro coerenza è alta (>80%).
  • VLM: Sono ottimi stimatori della copertura cromatica (non commettono errori di percezione come gli umani), ma contraddicono apertamente il loro ragionamento nella risposta finale.
• Impatto della Capacità del Modello:
  • I modelli più piccoli (Qwen3.5-9B, Claude Haiku) mostrano tassi di fedeltà inferiori rispetto ai modelli più grandi (GPT-5-mini, Claude Opus), sebbene anche i modelli più avanzati falliscano sistematicamente sui priors.

5. Significato e Implicazioni

I risultati sfidano due ipotesi comuni:

1. La fedeltà non è guidata dalla difficoltà del compito (il compito GCA è semplice, ma i modelli falliscono).
2. I fallimenti dei VLM non riflettono i bias cognitivi umani (gli umani sono coerenti, i modelli no).

Conclusione: La causa dell'incoerenza nei VLM risiede nella mancata calibrazione della conoscenza introspezione e nella sovrascrittura sistematica delle regole dichiarate da parte dei priors linguistici.
Questo ha implicazioni dirette per il dispiegamento in contesti ad alto rischio: se un modello non può aderire a regole esplicitamente dichiarate, le sue tracce di ragionamento (CoT) offrono una garanzia debole di coerenza comportamentale, rendendo difficile prevedere il suo comportamento in scenari critici dove la logica deve prevalere sull'intuizione o sulla conoscenza pregressa.