Sintesi Tecnica: Ill-Posed by Design: Probing Evidence Use in VLMs

Definizione del Problema

L'analisi controfattuale è uno strumento standard per studiare l'uso delle evidenze nei modelli vision-language (VLM), ma il suo valore diagnostico è limitato nei compiti ben posti (well-posed). In compiti come il riconoscimento di oggetti, molteplici indizi visivi spesso supportano indipendentemente la stessa risposta; mascherare un indizio può lasciare la predizione invariata, rendendo impossibile distinguere tra un indizio non utilizzato e uno semplicemente ridondante.

Questo articolo propone la stima della dimensione di un oggetto tramite visione monoculare come un setting diagnostico mal posto (ill-posed). Poiché la scala fisica non può essere determinata da una singola immagine non calibrata senza indizi stereoscopici o riferimenti noti, il compito è fondamentalmente sottodeterminato. I modelli devono fare affidamento su indizi imperfetti e potenzialmente conflittuali, come i priori di categoria, l'aspetto del target, il contesto locale, la dimensione apparente dell'immagine e la geometria della scena. Le metriche di accuratezza standard collassano queste strategie in un unico punteggio, oscurando quale specifico canale di evidenza il modello utilizzi o non riesca a utilizzare.

Metodologia

Benchmark: Metric VQA

Gli autori introducono Metric VQA, un benchmark composto da 10.813 query dimensionali accoppiate con misurazioni reali (ground-truth), suddivise in due dataset complementari:

1. Split derivato da Objectron (10.482 query): Frame curati dal dataset Objectron con ground-truth di bounding box 3D, che copre nove categorie di oggetti quotidiani.
2. Split In-the-Wild (ITW) (331 query): Scene reali e disordinate con ground-truth misurato con nastro metrico, contenenti molteplici oggetti con arbitrarie occlusioni e illuminazione.

Interventi Controfattuali

La metodologia centrale prevede l'applicazione di sei interventi a livello di immagine mantenendo fissa la query in linguaggio naturale. Questi interventi sondano sei distinti canali di evidenza:

1. Solo testo (Text-only): Rimozione della modalità immagine (o sostituzione con un'immagine grigia) per misurare l'affidamento ai priori linguistici.
2. Pixel del Target (Target Pixels): Mascheramento dell'intera scena eccetto l'oggetto target (object_only).
3. Identità del Target (Target Identity): Sostituzione dell'oggetto target con un oggetto diverso nella stessa scena (wrong_object), preservando posizione e statistiche della scena.
4. Contesto Locale (Local Context): Mantenimento del target e di un sottile anello di contesto circostante (object_ring).
5. Dimensione Apparente (Apparent Size): Rimodulazione della scala dell'oggetto target all'interno dell'immagine (zoom-in 1.4× e zoom-out 0.6×) per testare la sensibilità alla impronta dei pixel.
6. Geometria Globale della Scena (Global Scene Geometry): Applicazione di distorsione radiale della lente (a barilotto e a cuscinetto) per perturbare le strutture del punto di fuga preservando l'identità dell'oggetto.

Setup di Valutazione

Lo studio valuta 12 VLM open-weight con parametri che vanno da 3B a 397B (inclusi le famiglie Qwen, InternVL, LLaVA e Molmo). La performance è misurata rispetto a:

• Un LLM di frontiera text-only (ChatGPT 5.5) interrogato senza immagini.
• Un baseline umano sullo split ITW.
• Acc@10% (frazione di predizioni entro il 10% dal ground-truth) come metrica primaria.

Gli autori analizzano anche il fine-tuning LoRA come intervento azionabile, addestrando gli adapter sullo split Objectron per osservare come l'apprendimento supervisionato alteri i pattern di selezione delle evidenze.

Risultati Chiave

1. I Priori Linguistici Dominano "In the Wild"

Anche i più grandi VLM open testati (Qwen3.5-397B, InternVL3.5-241B) restano indietro rispetto a un LLM di frontiera text-only sullo split in-the-wild di Metric VQA. Ciò indica che, per la stima metrica, forti priori linguistici a livello di categoria spiegano spesso più della varianza delle performance rispetto alle evidenze visive in ambienti non strutturati.

2. Uso delle Evidenze Stratificato

Le firme controfattuali rivelano un pattern gerarchico di affidamento sulle evidenze:

• L'Identità del Target è Portante (Load-Bearing): La sostituzione dell'oggetto target causa i cali di accuratezza più consistenti e significativi tra i modelli, indicando che i modelli condizionano pesantemente le stime su cosa sia visibile.
• I Pixel del Target e il Contesto Locale sono Selettivi: Solo un sottoinsieme di modelli più grandi sfrutta i pixel grezzi del target per la stima metrica. Il contesto locale fornisce un beneficio minore e dipendente dal modello, e per alcuni modelli, il disordine della scena agisce come distruttore piuttosto che come indizio.
• La Dimensione Apparente è Non Direzionale: Sebbene le predizioni cambino quando la dimensione dell'oggetto cambia, i cambiamenti non sono direzionalmente consistenti (ad esempio, lo zoom-in non aumenta sistematicamente la dimensione predetta). La dimensione apparente agisce come un segnale destabilizzante per molti modelli piuttosto che come un indizio metrico affidabile.
• La Geometria della Scena è Largamente Non Utilizzata: La geometria globale della scena (prospettiva/punti di fuga) è il canale più debole; solo un modello ha mostrato un calo di accuratezza affidabile sotto distorsione della lente, e nessun modello ha esibito un comportamento direzionalmente consistente.

3. Limitazioni del Fine-Tuning LoRA

Il fine-tuning supervisionato LoRA migliora l'accuratezza complessiva nel compito di stima metrica. Tuttavia, l'analisi mostra che i modelli non imparano a sfruttare la geometria della scena né sviluppano una nuova comprensione visivo-geometrica. Inveve, il fine-tuning migliora i canali specifici che il modello base già utilizza parzialmente (ad esempio, stabilizzando i priori linguistici, approfondendo la sensibilità all'identità del target o utilizzando il contesto locale). Il compito è apprendibile, ma il meccanismo consiste nel riparare i canali deboli esistenti piuttosto che nell'acquisire nuove capacità geometriche.

Significato e Rivendicazioni

L'articolo sostiene che i compiti mal posti (ill-posed) fungano da strumento diagnostico superiore per i sistemi multimodali rispetto ai benchmark ben posti. Costringendo i modelli a scegliere tra fonti di evidenza imperfette e non ridondanti, gli interventi controfattuali isolano i pattern di uso degli indizi che le metriche di accuratezza aggregate nascondono.

Punti Chiave:

• Diagnosi sopra il Ranking: Lo studio privilegia la comprensione di come i modelli ragionano (selezione delle evidenze) piuttosto che il semplice ranking basato sull'accuratezza.
• L'Illusione della Misurazione Visiva: La stima in centimetri di un VLM non deve essere trattata come una misura affidabile. È meglio intesa come un prior di categoria con una modulazione visiva selettiva e dipendente dal modello.
• Limitazioni dell'Addestramento Corrente: Il fine-tuning standard basato sulla loss del next-token (LoRA) non riesce a indurre una reale comprensione della geometria della scena, suggerendo che i paradigmi di addestramento attuali potrebbero non essere sufficienti a colmare il divario tra i priori linguistici e il ragionamento fisico.

Gli autori rilasciano Metric VQA (dati, varianti di intervento, predizioni e codice) per supportare l'analisi diagnostica riproducibile dell'uso delle evidenze nei futuri sistemi multimodali.