Sintesi Tecnica: Bongard al Confine tra Percezione e Ragionamento: Programmi o Linguaggio?

Definizione del Problema

Il documento affronta la sfida di risolvere i Problemi di Bongard (BP), un classico insieme di 100 enigmi di ragionamento visivo a pochi campioni (few-shot) introdotti nel 1970. Ogni problema consiste in 12 immagini: sei che rappresentano un concetto "positivo" e sei che rappresentano un concetto "negativo". A differenza di compiti come le Matrici Progressive di Raven, che si basano su sequenze logiche fisse, i BP richiedono al risolutore di percepire nuove caratteristiche visive sul momento e di definire fluidamente nuovi primitivi percettivi per distinguere tra le due categorie. La difficoltà principale risiede nel confine tra percezione (identificare caratteristiche come "collo", "concavità" o "circolarità") e ragionamento (formulare una regola che separi le classi). Sebbene i Modelli Vision-Language (VLM) eccellano nei compiti visivi quotidiani, faticano nella generalizzazione radicale richiesta dai BP, spesso fallendo nel sintetizzare le precise regole geometriche o concettuali necessarie per una soluzione.

Metodologia

Gli autori propongono un approccio neurosimbolico che combina il ragionamento concettuale di alto livello dei Large Language Models (LLM) con la precisione dell'esecuzione programmatica. Il sistema opera attraverso due compiti primari: Verifica (classificare un'immagine non utilizzata per l'addestramento dato una regola di verità fondamentale) e Soluzione (generare la regola da zero).

Architettura del Sistema

Il sistema comprende due componenti principali: un Generatore di Ipotesi e un Verificatore.

1. Generatore di Ipotesi:

   • Utilizza un VLM per generare regole candidate in linguaggio naturale.
   • Per migliorare diversità e rilevanza, il generatore utilizza la Generazione Aumentata dal Recupero (RAG). Campiona le regole basandosi su esempi in contesto tratti da precedenti problemi di Bongard (sfruttando il naturale curriculum del dataset) e problemi casuali.
   • Per il compito di Soluzione, il generatore produce molteplici regole candidate; per il compito di Verifica, riceve come input la regola di verità fondamentale.

2. Verificatore:

   • Il verificatore valuta le regole candidate utilizzando una strategia ibrida che alterna l'Induzione di Programmi alla Trasduzione (Chain-of-Thought).
   • Induzione di Programmi: Per una data regola, il VLM tenta di sintetizzare un programma Python parametrizzato (specificamente un metodo classify_image) che implementi la regola.
     • Programmi Parametrizzati: Riconoscendo che le soglie numeriche esatte (ad esempio, definire "allungato" rispetto a "compatto") sono difficili da indovinare per gli LLM, il sistema tratta certi valori come parametri.
     • Ottimizzazione Bayesiana: Il sistema esegue 15 passi di ottimizzazione bayesiana per trovare i valori dei parametri che massimizzano l'accuratezza del programma sugli esempi di addestramento.
     • Scoring: Un programma è accettato se raggiunge un punteggio $\ge 0,9$ sul set di addestramento. Se più programmi hanno successo, l'etichetta di maggioranza sull'immagine di test determina l'output.
   • Trasduzione (CoT): Se nessun programma raggiunge il punteggio richiesto, il verificatore ricorre a un approccio Chain-of-Thought, istruendo il VLM a classificare direttamente l'immagine di test basandosi sugli esempi di addestramento e sulla regola proposta.

Configurazione Sperimentale

• Modelli: Lo studio valuta GPT-4o e Claude 3.7 Sonnet.
• Compiti:
  • Verifica: Classificare immagini data la regola di verità fondamentale.
  • Soluzione: Generare la corretta regola in linguaggio naturale per l'intero set di problemi.
  • Inversione: Un compito di controllo in cui i campioni positivi e negativi vengono scambiati per testare la memorizzazione.
• Baseline: Le prestazioni sono confrontate con i VLM base (senza sintesi di programmi) e i precedenti dati sulle prestazioni umane (Wüst et al., 2025).

Contributi Chiave

1. Valutazione dei VLM allo stato dell'arte: Il documento fornisce un rigoroso benchmark di GPT-4o e Claude 3.7 sui Problemi di Bongard, distinguendo tra la loro capacità di verificare le regole e di generarle da zero.
2. Modello Neurosimbolico Ibrido: Gli autori introducono un modello innovativo che sintetizza programmi parametrizzati insieme al ragionamento in linguaggio naturale. Questo approccio sfrutta la capacità dei VLM di generare concetti di alto livello e la capacità dei programmi di eseguire calcoli geometrici esatti e l'adattamento dei parametri.
3. Confronto Umano-Modello: Lo studio analizza i dati umani per confrontare i punti di forza e di debolezza dei VLM e del modello ibrido proposto rispetto al comportamento umano, identificando specifiche categorie in cui i modelli hanno successo o falliscono rispetto agli esseri umani.

Risultati

• Prestazioni di Verifica:
  • Claude 3.7 ha dimostrato prestazioni solide, raggiungendo un'accuratezza dell'86,5% combinando la verifica programmatica e il ragionamento CoT.
  • L'approccio ibrido ("+ entrambi") ha superato l'uso dei soli programmi o della sola CoT, particolarmente nelle categorie Spaziali e di Concetto. La verifica programmatica eccelleva nei problemi spaziali e basati sulla somiglianza, mentre la CoT era superiore per i problemi concettuali di alto livello e basati sui numeri.
  • GPT-4o ha mostrato un divario maggiore tra le prestazioni programmatiche e quelle CoT, con la CoT che generalmente superava la sintesi di programmi, suggerendo che l'efficacia dell'approccio ibrido dipenda dalle capacità di generazione di codice del modello sottostante.
• Prestazioni di Soluzione:
  • Il sistema completo utilizzando Claude 3.7 come generatore di ipotesi ha risolto 51 su 100 problemi.
  • Questo risultato supera la media delle prestazioni umane riportate da Wüst et al. (2025), che è di circa 47 soluzioni corrette.
  • GPT-4o ha risolto 31 problemi con il metodo ibrido, un miglioramento rispetto al suo baseline ma ancora al di sotto delle medie umane.
• Controllo della Memorizzazione: Il compito di "Inversione" ha mostrato che lo scambio di etichette positive e negative ha avuto un impatto minimo sulle prestazioni del modello, suggerendo che i modelli non stiano semplicemente memorizzando le soluzioni ai problemi specifici, ma stiano impegnando un vero ragionamento.

Significato e Rivendicazioni

Il documento afferma che combinare il linguaggio naturale e i programmi formali permette ai sistemi di IA di ragionare in modo più accurato sui concetti visivi rispetto a uno dei due media presi singolarmente. Generando concetti in linguaggio e implementandoli in codice, il sistema colma il divario tra la "percezione" (identificazione delle caratteristiche) e il "ragionamento" (applicazione della logica) richiesti dai Problemi di Bongard.

Gli autori dichiarano che il loro sistema, per quanto a loro conoscenza, ha superato l'accuratezza umana media nei Problemi di Bongard. Inquadrano questo risultato non come una soluzione definitiva al ragionamento visivo generale, ma come un passo verso sistemi di IA in grado di "acquisire e utilizzare nuovi concetti percettivi in modi simili a quelli umani". Il lavoro evidenzia come, nonostante i VLM possiedano una vasta conoscenza di pre-addestramento, abbiano bisogno della precisione dell'esecuzione programmatica per gestire le sfumature geometriche e parametriche degli enigmi visivi astratti. Lo studio conclude che la natura complementare dell'induzione (sintesi di programmi) e della trasduzione (CoT) è essenziale per affrontare compiti difficili di apprendimento concettuale al confine tra percezione e ragionamento.