Grid Spatial Understanding: A Dataset for Textual Spatial Reasoning over Grids, Embodied Settings, and Coordinate Structures

1. Il Problema

Con l'avvento di modelli linguistici su larga scala (LLM) e modelli visione-linguaggio (VLM), c'è un interesse crescente nel loro utilizzo per agenti incarnati (embodied agents) e compiti di ragionamento spaziale. Tuttavia, la capacità intrinseca di questi modelli di comprendere lo spazio fisico rimane ambigua.

• Limiti attuali: Molti approcci dipendono da input visivi (encoder visivi, nuvole di punti), ma è incerto se i modelli addestrati principalmente su testo non accoppiato comprendano realmente lo spazio 3D o se stiano solo imparando a correlare pattern visivi.
• Il gap: Esiste una distinzione tra la misurazione delle prestazioni (che può essere alta grazie all'input visivo) e la vera comprensione concettuale dello spazio. Inoltre, i modelli faticano spesso a gestire sistemi di riferimento rotanti (egocentrici) rispetto a quelli fissi (cardinali) e a comporre coordinate in forme strutturate.
• Obiettivo: È necessario un ambiente controllato per isolare il ragionamento spaziale dalla percezione visiva e valutare se i modelli possiedono rappresentazioni interne robuste dello spazio basate esclusivamente su descrizioni testuali.

2. Metodologia: Il Dataset GSU

Gli autori introducono GSU, un dataset sintetico composto esclusivamente da testo, progettato per valutare il ragionamento spaziale su griglie 2D e 3D senza input visivi. Il dataset si concentra su tre compiti principali:

A. Navigazione (Navigation)

Valuta la capacità di correlare direzioni linguistiche con traversate su griglie.

• Ruoli: Instructor (generare istruzioni da coordinate) e Follower (calcolare coordinate finali da istruzioni).
• Sistemi di Riferimento:
  • Cardinale: Le direzioni sono fisse rispetto agli assi della griglia (es. "avanti" è sempre +Y).
  • Egocentrico: Le direzioni ruotano con l'orientamento dell'agente. Se l'agente gira, "avanti" cambia asse. Questo è il compito più difficile e critico per gli agenti incarnati.
  • Card2Ego: Traduzione diretta da direzioni cardinali a egocentriche.

B. Localizzazione degli Oggetti (Object Localization)

Valuta la comprensione delle relazioni spaziali relative tra coordinate.

• Egocentrico: Dove si trova un oggetto target rispetto a un osservatore con una specifica orientazione (testa).
• Allocentrico: Dove si trova un oggetto target rispetto a un altro oggetto di riferimento (terza coordinata), simulando scenari collaborativi.

C. Composizione delle Strutture (Structure Composition)

Valuta la capacità di tradurre liste di coordinate in descrizioni di forme 3D.

• Tipologie:
  • Semplice: Una singola forma monocolore (es. una colonna).
  • Coesiva: Una singola forma con più colori (es. una riga con blocchi alternati).
  • Composita: Multiple forme adiacenti che devono essere descritte e localizzate l'una rispetto all'altra.

Metriche di Valutazione:
Oltre all'accuratezza esatta (per la navigazione), vengono utilizzate metriche di sovrapposizione terminale ($O_s$) per le relazioni spaziali, sovrapposizione di colori ($O_c$), sovrapposizione numerica ($O_n$) e sovrapposizione di forme ($O_f$), che permettono di assegnare crediti parziali per descrizioni simili ma non identiche.

3. Esperimenti e Modelli Testati

Gli autori hanno testato 5 categorie di modelli:

1. LLM piccoli (text-only): Mistral-7b, Llama-8b, Qwen-7b.
2. VLM (Vision-Language Models) di dimensioni simili: Pixtral-12b, LlamaVL-11b, QwenVL-7b.
3. Modelli più grandi: GPT-OSS-20b, Qwen-32b/72b, Olmo-32b.
4. Modelli Frontier: GPT-4o, Gemini-3-Pro.
5. Modelli piccoli finetunati: FlanT5-large (<1B parametri) e Llama-8b con LoRA.

4. Risultati Chiave

A. Difficoltà con i Sistemi di Riferimento Egocentrici

• I modelli, anche quelli avanzati, mostrano un calo significativo di prestazioni nel passaggio dal sistema Cardinale a quello Egocentrico.
• I modelli tendono a "dimenticare" di aggiornare l'orientamento dopo una rotazione, ricadendo inconsapevolmente nella logica della griglia fissa (Cardinale).
• Errori comuni includono l'inversione di "avanti/indietro" o "destra/sinistra" quando l'orientamento cambia.

B. L'Input Visivo non Garantisce Comprensione Spaziale

• Non c'è una correlazione chiara tra l'esposizione a una modalità visiva e un miglioramento nel ragionamento su coordinate testuali.
• In molti casi, i VLM (es. Qwen-VL) non superano i loro corrispettivi LLM puri (es. Qwen) su questi compiti, suggerendo che la conoscenza parametrica dello spazio non viene trasferita o utilizzata efficacemente dai moduli visivi per il ragionamento astratto.

C. Capacità dei Modelli Frontier

• Gemini-3-Pro e GPT-4o ottengono le prestazioni migliori, con Gemini-3-Pro che risolve quasi completamente i compiti base.
• Tuttavia, anche i modelli frontier mostrano debolezze in varianti più complesse (es. sequenze di navigazione molto lunghe o combinazioni di compiti), indicando che la comprensione spaziale non è ancora perfetta.

D. Il Potere del Finetuning su Modelli Piccoli

• Risultato Sorprendente: Un modello piccolo (<1B parametri, FlanT5) completamente finetunato, o un modello di medie dimensioni (Llama-8b) con LoRA (fine-tuning adattivo) e reasoning traces (tracce di ragionamento sintetiche), supera o eguaglia le prestazioni dei modelli frontier su molti compiti.
• Questo dimostra che il ragionamento spaziale testuale è un compito che può essere appreso efficacemente da modelli più piccoli se addestrati specificamente, rendendoli candidati ideali per agenti incarnati con vincoli computazionali.

5. Contributi e Significatività

1. Benchmark Isolato: GSU fornisce un ambiente controllato per valutare la "mente" spaziale dei modelli, rimuovendo il rumore della percezione visiva.
2. Sfida ai Sistemi di Riferimento: Il lavoro evidenzia che la capacità di gestire sistemi di riferimento rotanti (egocentrici) è un collo di bottiglia fondamentale per gli agenti incarnati, non risolvibile semplicemente aumentando le dimensioni del modello o aggiungendo input visivi.
3. Efficienza dei Modelli Piccoli: Dimostra che per compiti specializzati come la navigazione su griglia e la descrizione spaziale, non è necessario utilizzare modelli foundation massicci. Modelli leggeri, opportunamente finetunati, sono sufficienti e più pratici per l'implementazione su robot fisici (bassa latenza, privacy, hardware limitato).
4. Implicazioni per l'AI Incarnata: I risultati suggeriscono che per migliorare gli agenti robotici, l'attenzione dovrebbe spostarsi verso il rafforzamento delle rappresentazioni interne dello spazio attraverso l'addestramento specifico su dati testuali strutturati, piuttosto che affidarsi ciecamente alla multimodalità.

In sintesi, il paper stabilisce che mentre i modelli moderni stanno iniziando a comprendere lo spazio, la loro capacità di ragionare dinamicamente su sistemi di riferimento rotanti è fragile. Tuttavia, questo gap può essere colmato in modo efficiente tramite il fine-tuning mirato su modelli di dimensioni ridotte, aprendo la strada a agenti incarnati più agili e specializzati.