COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

Il paper introduce COGITAO, un framework e benchmark open-source modulare che genera milioni di task visivi basati su regole per studiare la composizione e la generalizzazione, evidenziando come i modelli di visione attuali falliscano nel generalizzare a nuove combinazioni di elementi familiari.

L'essenziale

Immagina di voler insegnare a un robot a cucinare. Se gli dai solo la ricetta per fare una "pasta al pomodoro", il robot imparerà quella ricetta a memoria. Ma se poi gli chiedi di fare una "pasta al pomodoro con un tocco di menta" (una combinazione che non ha mai visto), il robot potrebbe andare in tilt e continuare a fare la pasta al pomodoro classica, o peggio, buttare tutto.

Questo è esattamente il problema che il paper COGITAO vuole risolvere.

1. Cos'è COGITAO? (Il "Cantiere delle Regole")

COGITAO è come un grande cantiere di costruzione digitale creato dai ricercatori.
Invece di usare foto reali o testi complessi, usa delle griglie semplici (come i vecchi giochi di puzzle o il Sudoku) con dei "mattoncini" colorati sopra.

• L'obiettivo: Creare un ambiente dove si possono generare milioni di compiti diversi combinando regole base.
• Le regole: Ci sono 28 "movimenti" base (come ruotare un mattoncino, spostarlo a destra, cambiarne il colore, duplicarlo).
• La magia: Il sistema può prendere questi 28 movimenti e combinarli in infinite sequenze. Ad esempio: "Sposta il mattoncino rosso in alto, poi ruotalo di 90 gradi, poi cambialo di colore".

È come avere un set di LEGO infinito dove puoi creare milioni di istruzioni diverse per costruire cose nuove.

2. Il Problema: I Robot sono "Memorizzatori", non "Pensatori"

Il paper ha testato i modelli di Intelligenza Artificiale più avanzati del mondo (come i Transformer, che sono i "cervelli" dietro ChatGPT e simili) su questo cantiere.

Ecco cosa è successo:

• Sul campo di allenamento (Dati noti): I robot erano bravissimi! Se vedevano la regola "Sposta in alto", lo facevano perfettamente.
• Sul campo di gara (Dati nuovi): Quando si chiedeva loro di combinare regole in modo nuovo (es. "Sposta in alto E poi ruota", una combinazione che non avevano mai visto insieme durante l'addestramento), fallivano miseramente.

L'analogia del "Cucinare a memoria":
Immagina un cuoco che ha imparato a fare la pizza con il pomodoro e la pasta con il pomodoro.

• Se gli chiedi una "pizza con il pomodoro", la fa perfetta.
• Se gli chiedi una "pasta con il pomodoro", la fa perfetta.
• Ma se gli chiedi di inventare una nuova ricetta combinando gli ingredienti in un modo mai visto prima, il cuoco non capisce il concetto di "combinare ingredienti". Si blocca o ripete le vecchie ricette.

I modelli di IA attuali, secondo questo studio, non capiscono la logica della combinazione. Si limitano a riconoscere pattern che hanno già visto. Non stanno "pensando" in modo sistematico come gli umani.

3. Cosa hanno scoperto? (Il "Test della Vera Intelligenza")

I ricercatori hanno usato COGITAO per dimostrare che:

1. L'IA attuale è fragile: Funziona bene solo se la situazione è quasi identica a quella che ha studiato. Appena cambi qualcosa di fondamentale (come l'ordine delle operazioni o il numero di oggetti), l'IA si perde.
2. Non basta essere grandi: Anche i modelli più grandi e potenti falliscono in questi test. Non è un problema di "quantità" di dati, ma di "qualità" del ragionamento.
3. La soluzione è difficile: Per avere un'IA che pensi davvero come un umano (capace di prendere concetti semplici e combinarli in modi nuovi per risolvere problemi mai visti), dobbiamo cambiare il modo in cui costruiamo i suoi "cervelli".

4. Perché è importante?

Immagina di voler creare un'auto a guida autonoma.

• Se l'auto è addestrata solo su strade di città con il sole, potrebbe non sapere cosa fare se piove e c'è un ostacolo nuovo.
• COGITAO ci dice: "Ehi, le nostre auto (IA) non stanno imparando le regole della strada, stanno solo memorizzando le foto delle strade che hanno già visto".

Questo studio ci offre un termometro preciso per misurare se un'IA sta davvero imparando a ragionare o se sta solo facendo il "pappagallo intelligente" che ripete ciò che ha sentito.

In sintesi

COGITAO è un gioco di puzzle digitale creato per mettere alla prova l'intelligenza delle macchine. Ha scoperto che, nonostante i grandi progressi, le nostre IA sono ancora come bambini che imparano a memoria le tabelline ma non sanno ancora come usarle per fare calcoli nuovi. Per costruire un'intelligenza artificiale davvero intelligente, dobbiamo insegnarle a combinare le idee, non solo a ricordarle.

Sommario tecnico

1. Il Problema

La capacità di combinare concetti appresi e applicarli in contesti nuovi (generalizzazione composizionale e sistematica) è un pilastro dell'intelligenza umana. Tuttavia, i modelli di machine learning (ML) più avanzati, inclusi i grandi modelli di fondazione (LLM) e le architetture Transformer, faticano notevolmente in questo compito.

• Limiti attuali: I benchmark visivi esistenti spesso mancano di flessibilità, confondono la complessità visiva con la struttura relazionale e offrono un controllo limitato sulla struttura composizionale.
• La sfida: I modelli tendono a memorizzare pattern o a riconoscere statistiche superficiali invece di apprendere regole astratte e riutilizzabili. Quando si presentano combinazioni di elementi familiari in configurazioni mai viste durante l'addestramento (Out-of-Distribution, OOD), le prestazioni crollano.

2. Metodologia: Il Framework COGITAO

Gli autori introducono COGITAO (Compositional Generalization In Transformations And Objects), un framework procedurale e centrato sugli oggetti progettato per generare dataset controllabili e sintetici per valutare la generalizzazione in domini visivi astratti.

Caratteristiche Principali del Generatore:

• Ambiente: Griglie basate su pixel (simili al benchmark ARC-AGI).
• Oggetti: Un set pre-generato di 23.000 oggetti con variazioni di dimensione, simmetria, connettività e pattern di colore. Gli oggetti non si sovrappongono e hanno confini chiari.
• Trasformazioni Atomiche: Il cuore del sistema è un set di 28 trasformazioni atomiche interoperabili (es. traslazioni, rotazioni, specchiature, ritagli, duplicazioni, cambi di colore).
  • Ogni trasformazione è progettata per essere componibile con tutte le altre.
  • Nessuna trasformazione è ridondante (non è equivalente a una combinazione di altre).
• Generazione Procedurale:
  • Il sistema assembla sequenze di trasformazioni applicate agli oggetti su una griglia.
  • Supporta profondità di composizione arbitraria (es. applicare 5 trasformazioni in sequenza).
  • Teoricamente, con 28 trasformazioni e una profondità $k$, è possibile generare $28^k$ task unici (milioni di regole), superando di ordini di grandezza i dataset esistenti.
• Estensibilità: Il framework include anche rendering RGB per il trasferimento verso la visione naturale e una versione sequenziale (Sequential-COGITAO) per la ricerca sui "World Models".

Configurazione degli Esperimenti

Lo studio valuta la generalizzazione lungo due assi principali:

1. Generalizzazione Composizionale (CompGen): Addestramento su sequenze di trasformazioni di una certa profondità e test su combinazioni nuove o più profonde (es. addestrare su "ruota + sposta" e testare su "sposta + ruota" o sequenze più lunghe).
2. Generalizzazione Ambientale (EnvGen): Addestramento su parametri specifici (es. numero di oggetti, dimensione della griglia, complessità degli oggetti) e test su parametri diversi (es. più oggetti o griglie più grandi).

3. Contributi Chiave

1. Framework Procedurale Flessibile: COGITAO permette di generare milioni di task unici con controllo preciso sulla difficoltà e sulla struttura composizionale, isolando il ragionamento dalla complessità visiva.
2. Dataset e Benchmark: Rilascio di dataset benchmark specifici per CompGen e EnvGen, con split rigorosi tra distribuzione di addestramento (ID) e test (OOD).
3. Estensioni per Visione Reale e World Models: Introduzione di rendering RGB e formati sequenziali per colmare il divario tra ambienti sintetici e visione naturale/interazione robotica.
4. Baseline Rigorose: Valutazione di architetture all'avanguardia (Vanilla Transformer, Grid-TF, Pondering Looped Transformer, LLaDA) per stabilire un punto di riferimento per la ricerca futura.

4. Risultati Sperimentali

Gli autori hanno testato diverse architetture (circa 1 milione di parametri ciascuna) su 100.000 campioni di addestramento.

• Performance In-Distribution (ID): La maggior parte dei modelli, specialmente quelli con bias induttivi specifici (come Grid-TF e PL-TF), ottiene prestazioni elevate sui task di addestramento, dimostrando di aver appreso le trasformazioni singole.
• Fallimento Out-of-Distribution (OOD):
  • Generalizzazione Composizionale: Tutti i modelli falliscono drasticamente quando devono combinare trasformazioni note in sequenze nuove o più profonde. Ad esempio, se un modello impara "ruota" e "sposta", spesso non riesce a eseguire correttamente "ruota e poi sposta" se non è stato esplicitamente addestrato su quella specifica combinazione.
  • Generalizzazione Ambientale: Le prestazioni crollano quando cambiano parametri come il numero di oggetti o la dimensione della griglia, anche se la logica della trasformazione rimane la stessa.
• Modelli Specifici:
  • PL-TF (Pondering Looped Transformer): Ha mostrato le prestazioni OOD migliori tra i modelli testati, grazie alla sua architettura ricorrente e al tempo di calcolo adattivo, che favorisce un ragionamento iterativo. Tuttavia, non ha risolto completamente il problema.
  • LLaDA (Diffusion-based): Ha mostrato buone prestazioni in alcuni setting ambientali ma ha fallito nella composizione complessa.
  • Vanilla TF e ResNet: Hanno mostrato un divario ID-OOD molto ampio, indicando una forte dipendenza dalla memorizzazione dei pattern.
• Analisi dei Fallimenti: I modelli tendono a mostrare un "bias ID" (applicano trasformazioni viste in addestramento anche quando il task richiede altro) o un "fallimento nella composizione strutturale" (non riescono a decomporre e ricomporre le sequenze atomiche).

5. Significato e Implicazioni

• Prova di Limiti Strutturali: Il paper dimostra che aumentare la scala dei dati o la dimensione del modello non risolve il problema della generalizzazione composizionale. Il fallimento è strutturale e legato alla mancanza di un ragionamento sistematico nelle attuali architetture.
• Nuovo Standard di Valutazione: COGITAO offre un ambiente controllato per diagnosticare precisamente dove e perché i modelli falliscono, distinguendo tra capacità di riconoscimento locale e capacità di ragionamento globale.
• Direzione Futura: Il lavoro suggerisce che per raggiungere una vera intelligenza artificiale capace di generalizzazione sistematica, sono necessarie nuove architetture che vadano oltre il semplice matching di pattern, incorporando bias induttivi più forti per la composizione, la ricorsione e la manipolazione simbolica degli oggetti.
• Rilevanza per la Robotica e i World Models: Poiché le operazioni su oggetti in COGITAO mimano le sfide della manipolazione robotica e della pianificazione, il framework è cruciale per lo sviluppo di agenti autonomi capaci di adattarsi a nuovi scenari.

In sintesi, COGITAO evidenzia che, nonostante i progressi nel deep learning, la capacità umana di combinare concetti in modo sistematico rimane una sfida aperta e irrisolta per le macchine, fornendo al contempo gli strumenti per misurare e affrontare questo problema in modo rigoroso.