🤖 AI

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

Il documento presenta LEGO-Puzzles, un benchmark che valuta le capacità di ragionamento spaziale multi-step dei Modelli Linguistici Multimodali Grandi (MLLM) attraverso compiti elementari e pianificazione di assemblaggio, rivelando che anche i modelli più forti sono significativamente meno performanti rispetto agli esseri umani e faticano a mantenere l'accuratezza all'aumentare della complessità della pianificazione.

Autori originali: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Pubblicato 2026-08-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come costruire un castello complesso usando dei blocchi, ma puoi parlare con lui solo attraverso la voce e mostrando delle immagini. Questo è il mondo dei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM). Pensa a questi modelli come a cervelli digitali super intelligenti che sanno leggere il testo e "vedere" le immagini, cercando di comprendere il mondo proprio come fanno gli esseri umani. Una delle cose più difficili da imparare per qualsiasi cervello è il ragionamento spaziale — la capacità di capire come gli oggetti si incastrano nello spazio 3D, sapere quale blocco va sopra l'altro, quale deve essere ruotato e come l'intera struttura cambia man mano che si aggiungono i pezzi. Sebbene questi modelli di IA stiano diventando bravi a chiacchierare e a descrivere immagini, gli scienziati si chiedono ancora: possono davvero pianificare una sequenza di mosse per costruire qualcosa? È una cosa dire, guardando una torre finita: "Quella è alta", ma è una sfida completamente diversa capire l'esatto ordine di 50 passaggi per costruirla da zero. Se vogliamo che i robot riparino le nostre auto o ci aiutino ad assemblare mobili, devono padroneggiare questo tipo di pensiero passo dopo passo.

Entra in scena LEGO-Puzzles, un nuovo "esame" progettato dai ricercatori per testare esattamente questa abilità. Invece di usare veri mattoncini di plastica, i ricercatori hanno creato un enorme parco giochi digitale usando le istruzioni LEGO per vedere quanto bene i modelli di IA più intelligenti del mondo possano gestire enigmi spaziali. Hanno suddiviso il test in due livelli principali. Il primo livello, il Set Elementare (Elementary Set), è come un riscaldamento. Chiede all'IA domande semplici su una singola immagine: "Quale blocco è più alto?" "Questi due pezzi si toccano?" o "Se ruoto questo pezzo, che aspetto ha visto di lato?". Questo testa la "comprensione spaziale" di base. Il secondo livello, il Set di Pianificazione (Planning Set), è la vera battaglia contro il boss. Qui, l'IA non deve solo rispondere a domande; deve agire come un maestro costruttore. Le viene dato un mucchio iniziale di blocchi e l'immagine dell'obiettivo finale, e deve generare un piano passo dopo passo per arrivarci. I ricercatori hanno testato 29 dei modelli di IA più avanzati disponibili, inclusi i nomi più grandi come GPT-5 e Gemini, e hanno persino chiesto a esperti umani di sostenere lo stesso test.

I risultati sono stati una scossa di realtà per il mondo dell'IA. Anche i modelli più forti hanno faticato sulle basi. Nelle domande elementari, i migliori modelli di IA sono rimasti indietro di almeno il 20% rispetto alle prestazioni umane. Ad esempio, quando gli veniva chiesto di giudicare l'altezza dei blocchi nello spazio 3D, molti modelli si confondevano, guardando l'immagine piatta 2D sullo schermo invece di immaginare la vera forma 3D. Ma i problemi sono peggiorati drasticamente man mano che i compiti diventavano più lunghi. Quando l'IA doveva pianificare una sequenza di passaggi utilizzando domande a scelta multipla, la loro precisione ha iniziato a scendere significativamente una volta che il piano superava i 3 passaggi, scendendo sotto il 50%. Al momento in cui il piano richiedeva 8 passaggi, l'accuratezza dei migliori modelli è scesa allo 0%. Al contrario, i partecipanti umani hanno risolto perfettamente ogni singolo compito di pianificazione, indipendentemente dalla lunghezza della catena di passaggi.

I ricercatori hanno anche provato qualcosa di ancora più difficile: chiedere all'IA di non limitarsi a descrivere i passaggi, ma di disegnare effettivamente le immagini intermedie del processo di costruzione. Volevano vedere se l'IA fosse in grado di immaginare come appare il castello dopo il passaggio 1, poi il passaggio 2, e così via. I risultati sono stati netti. Anche per un piano breve di soli 3 passaggi, i modelli sono falliti completamente nel generare la sequenza visiva corretta. Potevano talvolta disegnare un'immagine che sembrava un mattoncino LEGO, ma non riuscivano a posizionarlo nel posto giusto o a ottenere l'orientamento corretto. Il documento nota che, poiché i modelli sono falliti così malamente nella generazione di immagini a soli 3 passaggi, i ricercatori non hanno nemmeno testato orizzonti temporali più lunghi per questo compito specifico. Ciò suggerisce che, sebbene questi modelli siano bravi a riconoscere i pattern, mancano della capacità di "immaginare" le conseguenze delle loro azioni nel tempo. Non riescono a mantenere una mappa mentale del processo di costruzione nella loro testa senza perdere il filo.

In breve, LEGO-Puzzles rivela che, sebbene i nostri attuali modelli di IA siano impressionanti, sono ancora molto lontani dall'avere una vera intelligenza spaziale. Non possono pianificare in modo affidabile un assemblaggio multi-fase e falliscono miseramente quando viene chiesto loro di visualizzare gli stati futuri di un oggetto. Il documento conclude che abbiamo ancora molta strada da fare prima che l'IA possa davvero comprendere il mondo fisico abbastanza bene da aiutarci a costruire cose, riparare oggetti rotti o navigare in ambienti complessi in autonomia. Il divario tra l'intuizione umana e il calcolo delle macchine nel mondo fisico è ancora ampio, e questo nuovo benchmark fornisce una mappa chiara di dove i modelli stanno inciampando.

Riepilogo Tecnico: LEGO-Puzzles

Definizione del Problema

Sebbene i Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) abbiano dimostrato progressi nell'intelligenza spaziale, la loro capacità di ragionamento spaziale sequenziale multi-step rimane ampiamente inesplorata. I benchmark esistenti si concentrano spesso sulla comprensione spaziale statica (ad esempio, identificare attributi o relazioni tra oggetti in un'unica immagine) o sulla pianificazione di azioni a singolo step. Tuttavia, le applicazioni del mondo reale, come il controllo robotico, la guida autonoma e l'assemblaggio automatizzato, richiedono la capacità di percepire una scena, immaginare le conseguenze di azioni ipotetiche e applicare sequenzialmente la comprensione spaziale attraverso più passaggi. Le valutazioni attuali mancano di un framework sistematico per testare gli MLLM, dalla base percezione spaziale alla complessa pianificazione a lungo termine.

Metodologia

Gli autori introducono LEGO-Puzzles, un benchmark progettato per valutare le capacità di ragionamento spaziale degli MLLM attraverso un framework progressivo ispirato alla costruzione dei LEGO. Il benchmark consiste in due set primari di task derivati da progetti LEGO open-source con istruzioni di assemblaggio passo dopo passo:

1. Il Set Elementare

Questo set contiene oltre 1.100 coppie Visual Question-Answering (VQA) accuratamente selezionate che spaziano su 11 compiti distinti, organizzati in tre livelli di crescente complessità:

Livello 1: Comprensione Spaziale: Testa la percezione di base delle relazioni 3D, inclusa la distinzione dell'altezza, l'adiacenza, gli angoli di rotazione e la predizione multivista.
Livello 2: Ragionamento Sequenziale a Singolo Step: Richiede di ragionare su azioni di assemblaggio immediate, come determinare lo stato di rotazione, identificare le posizioni di assemblaggio corrette, predire lo stato successivo e identificare le dipendenze.
Livello 3: Ragionamento Sequenziale Multi-Step: Valuta la capacità di ragionare attraverso più sequenze, inclusi il ragionamento a ritroso (identificare i passaggi intermedi partendo da un obiettivo), l'ordinamento delle sequenze di assemblaggio e il rilevamento di anomalie in una sequenza.

2. Il Set di Pianificazione

Questo set valuta la capacità del modello di generare piani espliciti multi-step per assemblare una struttura target. Include due tipi di task:

Plan-k-Step-VQA: Un compito a scelta multipla in cui i modelli devono selezionare e ordinare $k$ passaggi intermedi corretti da un set di $2k$ opzioni (inclusi i distrattori) per passare da uno stato iniziale a uno stato target. L'orizzonte di pianificazione $k$ varia da 1 a 8.
Plan-k-Step-Generation: Un compito generativo in cui i modelli devono produrre immagini degli stati di assemblaggio intermedi passo dopo passo in un dialogo multi-turno, condizionati dagli output precedenti, per simulare una traiettoria di pianificazione completa.

Curatela dei Dati

Il dataset è stato costruito utilizzando una pipeline che prevede:

Raccolta dei Dati: Raccolta di diversi progetti LEGO open-source (animali, veicoli, mobili) e filtraggio per una complessità moderata.
Rendering e Trasformazione: Utilizzo di Studio1 per renderizzare i progetti in PDF con punti di vista della telecamera fissi, applicando al contempo trasformazioni (ad esempio, regolazioni dell'illuminazione, errori deliberati) per creare scenari di task specifici.
Estrazione e Unificazione dei Metadati: Estrazione di informazioni strutturate (pezzi, oggetti) e organizzazione degli asset per la generazione di QA.
Controllo Qualità: Un processo multi-stadio "human-in-the-loop" che include il filtraggio dei duplicati, la verifica della qualità delle immagini e la validazione delle annotazioni da parte di tre annotatori esperti.

Contributi Chiave

Framework di Valutazione Completo: Un benchmark che copre uno spettro che va dalla comprensione spaziale di base alla pianificazione multi-step con complessità progressivamente crescente.
Task Naturali ma Sfidanti: Compiti costruiti a partire da reali progetti LEGO progettati da esseri umani che pongono sfide significative per i modelli MLLM all'avanguardia, andando oltre gli ambienti semplificati o altamente astratti presenti nei lavori precedenti.
Valutazione della Generazione di Immagini Multi-Turn: Una nuova valutazione della capacità degli MLLM di generare stati intermedi di assemblaggio sotto forma di immagini, una capacità cruciale per applicazioni del mondo reale come la manipolazione robotica, ma precedentemente non testata nei benchmark di ragionamento spaziale.

Risultati Sperimentali

Gli autori hanno valutato 29 MLLM all'avanguardia, inclusi modelli proprietari (ad esempio, GPT-5, Gemini-2.5-Pro) e alternative open-source (ad esempio, serie Qwen, InternVL, LLaVA).

Performance del Set Elementare: Anche i modelli più forti (GPT-5) restano indietro rispetto alle prestazioni umane di almeno il 20% nei task elementari. Molti modelli open-source performano solo marginalmente meglio di un tentativo casuale. Fallimenti specifici includono:
- Task dell'Altezza: I modelli spesso si affidano a proiezioni 2D piuttosto che a una vera prospettiva 3D.
- Task della Rotazione: I modelli faticano a percepire in modo affidabile i cambiamenti di orientamento.
- Ragionamento Multi-Step: L'accuratezza diminuisce significativamente man mano che i task passano dal singolo step all'ordinamento o al ragionamento a ritroso.
Performance del Set di Pianificazione (VQA): All'aumentare dell'orizzonte di pianificazione $k$ $k$ , l'accuratezza degrada rapidamente.
- Per $k > 3$ , l'accuratezza per tutti i modelli scende sotto il 50%.
- A $k = 8$ , l'accuratezza si avvicina allo 0% per la maggior parte dei modelli, mentre i partecipanti umani raggiungono il 100% di accuratezza.
- I modelli proprietari mostrano un migliore "set match" (identificazione degli elementi corretti) rispetto ai modelli open-source, ma falliscono comunque nel coordinarli correttamente.
Performance del Set di Pianificazione (Generazione di Immagini): Passando dalla scelta multipla alla generazione di immagini, le prestazioni crollano.
- Anche per $k=3$ , l'accuratezza scende allo 0%.
- I modelli spesso generano immagini con un aspetto generale corretto, ma non riescono a posizionare i pezzi LEGO nelle posizioni o orientamenti corretti.
- Gli errori appaiono frequentemente già nel primo step di generazione, indicando una mancanza di immaginazione visiva coerente e di ragionamento temporale.

Significato e Rivendicazioni

Il paper sostiene che LEGO-Puzzles riveli limitazioni critiche nelle capacità di ragionamento spaziale degli attuali MLLM. Le scoperte evidenziano che:

Gli attuali modelli faticano con la pianificazione a lungo termine e il ragionamento spaziale sequenziale, fallendo nel tracciare e integrare le trasformazioni spaziali attraverso più passaggi.
Esiste un divario sostanziale tra comprensione visiva e generazione precisa; i modelli possono riconoscere le relazioni spaziali in immagini statiche ma non possono applicare in modo affidabile questo ragionamento per generare output visivi coerenti e passo dopo passo.
Il benchmark funge da proxy per la comprensione spaziale del mondo reale, validato da forti correlazioni positive (Pearson $r > 0.9$ ) tra le prestazioni su LEGO-Puzzles e i benchmark di immagini naturali (3DSRBench).

Gli autori concludono che sono necessari progressi sostanziali per colmare il divario tra gli attuali MLLM e l'intelligenza spaziale di livello umano, in particolare nei domini del ragionamento sequenziale e della pianificazione generativa.