Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

Il paper propone VLC, un metodo neuro-simbolico che combina il riconoscimento dei concetti basato su VLM con un ragionamento simbolico basato su circuiti, dimostrando una capacità di ragionamento robusto e generalizzabile sotto spostamenti di distribuzione in compiti di deduzione visiva dove i modelli tradizionali falliscono.

L'essenziale

Immagina di avere un genio visivo (il modello VLM) che è bravissimo a guardare le foto e dire "Quello è un gatto", "Quello è un numero 7", "Quella è una mela rossa". È come un osservatore super-attento.

Tuttavia, il paper si pone una domanda fondamentale: questo genio è anche un bravo "ragionatore"? Se gli mostri una foto con 3 mele e gli chiedi di sommarle, e poi gli mostri una foto con 100 mele chiedendogli di fare la stessa somma, riesce a farlo?

Il Problema: Il Genio che "Impara a memoria"

Gli autori hanno scoperto che quando addestrano questi modelli con il metodo classico (fargli vedere migliaia di esempi e correggerli finché non sbagliano più), loro imparano a memorizzare i pattern, non a capire la logica.

È come se un bambino imparasse a memoria la tabellina del 3 solo per i numeri piccoli (3x1, 3x2, 3x3). Se gli chiedi 3x100, va nel panico perché non ha mai visto quel numero prima, anche se la regola della moltiplicazione è la stessa.
Nel paper, quando cambiavano il numero di oggetti nell'immagine (ad esempio, da 3 a 7), i modelli addestrati in modo classico fallivano miseramente. Erano bravi nel "vedere", ma pessimi nel "ragionare" in modo robusto.

La Soluzione: VLC (Il Genio + L'Architetto)

Per risolvere questo problema, gli autori hanno creato un nuovo metodo chiamato VLC. Immaginalo come una squadra di due persone con abilità diverse che lavorano insieme:

1. L'Osservatore (Il VLM): È il genio visivo. Il suo unico compito è guardare la foto e dire: "Vedo un numero 5, un numero 2 e un numero 9". Non deve fare calcoli, deve solo riconoscere gli oggetti.
2. L'Architetto (Il Circuito Simbolico): È un calcolatore infallibile e rigido. Una volta che l'Osservatore gli passa i numeri ("5, 2, 9"), l'Architetto applica una regola fissa (come una ricetta di cucina o un circuito elettrico) per dare la risposta.

L'analogia della ricetta:

• Metodo vecchio (Fine-tuning end-to-end): È come dare al cuoco (il modello) un libro di ricette e fargli leggere tutto. Dopo un po', il cuoco impara a memoria i piatti che ha visto, ma se gli dai ingredienti diversi o una quantità nuova, si confonde e brucia il cibo.
• Metodo VLC: È come avere un sommelier (l'Osservatore) che ti dice esattamente quali ingredienti hai sul tavolo, e un chef robotico (l'Architetto) che segue una ricetta scritta a mano, passo dopo passo, senza mai sbagliare un calcolo. Se il sommellier dice "Ho 5 mele", il robot sa esattamente come calcolare il totale, indipendentemente dal fatto che siano 5 o 500 mele.

Cosa hanno scoperto?

1. I modelli classici falliscono: Se cambi la quantità di oggetti nell'immagine (un "cambiamento di distribuzione"), i modelli che ragionano da soli crollano.
2. I metodi intermedi non bastano: Anche metodi che usano intelligenze artificiali più grandi per "pensare" (come Prism o ViperGPT) falliscono a volte, perché affidano il ragionamento a una "scatola nera" che non è sempre affidabile.
3. VLC vince: Separando il "vedere" dal "pensare" e usando un sistema matematico rigido per il ragionamento, il sistema è robusto. Funziona bene anche con immagini che non ha mai visto prima, perché la logica è scritta nel codice, non imparata a memoria.

In sintesi

Il paper ci dice che per far ragionare bene le macchine, non basta farle diventare più grandi o più intelligenti. Dobbiamo separare i compiti:

• Lascia che l'intelligenza artificiale faccia quello che sa fare meglio: guardare e riconoscere.
• Usa la logica matematica classica (simbolica) per eseguire le regole.

È come dire: "Non chiedere al tuo amico più intelligente di fare i calcoli a mente se hai una calcolatrice. Usa il cervello per vedere l'immagine e la calcolatrice per fare la somma". In questo modo, il ragionamento diventa sicuro e affidabile, anche quando le cose cambiano.

Sommario tecnico

1. Il Problema

Il lavoro investiga la capacità dei Modelli Vision-Language (VLM) di eseguire ragionamenti robusti in presenza di spostamenti di covariata (covariate shifts).

• Definizione: Uno spostamento di covariata si verifica quando la distribuzione degli input percettivi (es. il numero di oggetti in un'immagine) cambia, mentre le regole sottostanti per la predizione (la funzione di ragionamento) rimangono invariate.
• Limitazione attuale: Sebbene i VLM siano stati applicati con successo a compiti di ragionamento astratto, temporale e relazionale, non è chiaro se possano generalizzare quando la complessità percettiva cambia (es. passare da immagini con 3 oggetti a immagini con 7 oggetti) mantenendo la stessa logica.
• Ipotesi di partenza: L'addestramento end-to-end tramite fine-tuning basato su gradienti permette ai modelli di raggiungere alta accuratezza sui dati di distribuzione interna (in-distribution), ma fallisce nel generalizzare ai dati fuori distribuzione (out-of-distribution o OOD), suggerendo che il modello non impara la funzione di ragionamento sottostante, ma memorizza pattern statistici superficiali.

2. Metodologia: VLC (Vision-Language Circuit)

Per affrontare questo problema, gli autori propongono VLC, un approccio neuro-simbolico che disaccoppia la percezione dal ragionamento. L'architettura si articola in due fasi sequenziali:

Fase I: Riconoscimento dei Concetti basato su VLM

• Un modello VLM (in questo caso Qwen2.5-VL-7B) agisce come modulo neurale.
• Utilizzando prompting e in-context learning (esempi few-shot), il VLM identifica i concetti degli oggetti nell'immagine (es. cifre, colori, forme) e restituisce una descrizione testuale strutturata.
• L'output del VLM viene estratto e convertito in valori binari o discreti che fungono da input per la fase successiva.

Fase II: Ragionamento Simbolico basato su Circuiti

• Le regole logiche del compito vengono compilate in un programma simbolico, specificamente un circuito booleano (nello specifico, Sentential Decision Diagrams o SDD, tramite il compilatore pySDD).
• A differenza dei modelli neurali che approssimano le regole, il circuito esegue le regole in modo esatto e deterministico.
• Il circuito riceve i concetti riconosciuti dal VLM, applica le regole logiche compilate e produce l'output finale.

Vantaggio chiave: Questa architettura garantisce che la funzione di ragionamento sia esplicitamente codificata nel sistema, rendendo il processo interpretabile e teoricamente immune agli errori di generalizzazione legati alla variazione della distribuzione dei dati percettivi.

3. Contributi Chiave

1. Proposta di VLC: Un nuovo paradigma neuro-simbolico che combina la potenza di riconoscimento dei VLM con l'affidabilità del ragionamento simbolico tramite circuiti.
2. Analisi Empirica del Fine-tuning: Dimostrazione che il fine-tuning end-to-end dei VLM non induce l'apprendimento della funzione di ragionamento sottostante, fallendo nella generalizzazione OOD anche su compiti semplici.
3. Valutazione di Approcci Ibridi: Analisi di metodi neuro-simbolici esistenti (come Prism e ViperGPT), mostrando che affidarsi a componenti "black-box" (LLM o generatori di codice) per la fase di ragionamento porta a una robustezza inconsistente e dipendente dalle capacità specifiche del modello black-box.
4. Scalabilità: Indagine sull'impatto dell'aumento delle dimensioni del modello (scaling), rivelando che aumentare la dimensione del VLM o dell'LLM migliora il riconoscimento dei concetti ma non garantisce un miglioramento del ragionamento logico per certe funzioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre compiti di ragionamento deduttivo visivo generati tramite il benchmark rsbench:

• MNAdd: Somma di due numeri multi-cifra (aritmetica).
• MNLogic: XOR logico di una sequenza di cifre binarie.
• KandLogic: Controllo relazionale (tutti gli oggetti con la stessa forma hanno lo stesso colore?).

Setup: Addestramento su immagini con pochi oggetti (es. 3) e test su immagini con più oggetti (5 e 7) per simulare lo spostamento di covariata.

Risultati Principali:

• Fallimento del Fine-tuning End-to-End: I VLM fine-tunati ottengono alta accuratezza sui dati di training (3 oggetti) ma crollano drasticamente sui dati OOD (5 e 7 oggetti), confermando l'incapacità di generalizzare la logica.
• Limiti degli Approcci Black-Box:
  • Prism (che usa un LLM per il ragionamento) mostra performance variabili: funziona bene su compiti aritmetici ma fallisce su quelli logici complessi.
  • ViperGPT (che genera codice) è altamente sensibile agli errori dei modelli di rilevamento sottostanti; un errore di rilevamento si propaga, distruggendo l'accuratezza finale.
• Successo di VLC:
  • VLC ha mostrato robustezza costante su tutti i compiti e tutte le dimensioni dei dataset (3, 5, 7 oggetti).
  • L'accuratezza di VLC è strettamente correlata all'accuratezza del riconoscimento dei concetti da parte del VLM, ma non degrada quando la complessità percettiva aumenta, poiché la logica è gestita dal circuito simbolico.
  • L'addestramento del VLM solo per il riconoscimento (non per il ragionamento) ha ulteriormente migliorato le prestazioni di VLC, portandolo a essere il metodo più performante in assoluto.

5. Significato e Implicazioni

Il paper offre prove convincenti che i modelli puramente neurali, anche se potenti nel riconoscimento visivo, faticano a imparare e applicare regole logiche astratte in modo robusto quando cambiano le condizioni percettive.

• Importanza del Disaccoppiamento: Separare la percezione (gestita dai VLM) dal ragionamento (gestito da programmi simbolici) è una strategia efficace per garantire robustezza e interpretabilità.
• Limiti dello Scaling: Aumentare semplicemente la dimensione del modello non risolve i problemi di ragionamento deduttivo; è necessaria un'integrazione strutturale di regole simboliche.
• Futuro della Ricerca: Il lavoro suggerisce che per costruire sistemi di IA affidabili in scenari reali (dove le distribuzioni dei dati cambiano), è cruciale incorporare vincoli logici espliciti nei pipeline di apprendimento profondo, piuttosto che affidarsi esclusivamente all'apprendimento statistico end-to-end.

In sintesi, VLC dimostra che un approccio neuro-simbolico semplice, che compila le regole in circuiti eseguibili, supera significativamente le metodologie tradizionali e ibride attuali nella capacità di ragionamento deduttivo visivo robusto.