Sintesi Tecnica: Persi nell'Aggregazione: Un Benchmark Diagnostico Multi-Scala per la Navigazione Spaziale degli LLM

Problema

I Large Language Models (LLM) sono sempre più impiegati come pianificatori in compiti spaziali come la navigazione e la pianificazione di percorsi. Tuttavia, essi mostrano fragilità nel ragionamento spaziale sequenziale, spesso fallendo nel mantenere uno stato spaziale coerente su orizzonti temporali lunghi. Sebbene sia stabilito che gli LLM falliscano nella navigazione, il locus specifico del fallimento all'interno della pipeline di cognizione spaziale rimane poco chiaro. Non è noto se i deficit derivino da un'incapacità di percepire la geometria locale, di leggere le strutture topologiche nei punti di diramazione, di mantenere una direzione globale o di integrare queste competenze attraverso diverse scale durante piani sequenziali lunghi. I tassi di successo aggregati sono insufficienti per distinguere tra queste ipotesi, poiché implicano strategie di rimedio fondamentalmente diverse (ad esempio, migliore percezione vs. migliore ragionamento topologico vs. delega architettonica).

Metodologia

Gli autori introducono un benchmark diagnostico multi-scala progettato per scomporre la navigazione in labirinti in tre livelli cognitivi derivati dalla cognizione spaziale umana:

1. Fine (Fine): Passabilità locale (quali celle adiacenti sono aperte).
2. Meso: Mappatura topologica (scegliere la diramazione corretta in un bivio e riconoscere i vicoli ciechi).
3. Macro: Orientamento globale verso l'obiettivo (mantenere la direzione corretta verso la destinazione).

Il benchmark consiste in 1.050 labirinti annotati topologicamente generati utilizzando algoritmi di ricerca in profondità (depth-first-search) e Prim randomizzati. Questi labirinti sono alberi (aciclici), il che garantisce un percorso unico tra due punti, eliminando la ricerca del percorso minimo come variabile confondente. I labirinti coprono sette dimensioni effettive (da 3×3 a 30×30) e tre livelli di difficoltà.

La valutazione è organizzata in tre moduli che affrontano tre domande di ricerca (RQ):

• Modulo 1 (Acquisizione dell'Input): Confronta quattro formati di input (Parole in linguaggio naturale, Coordinate strutturate, Mappa ASCII, Immagine renderizzata) per determinare quale supporti meglio la navigazione degli LLM.
• Modulo 2 (Rappresentazione Multi-Scala): Esamina ciascun livello cognitivo in isolamento tramite task a scelta multipla a risposta singola e confronta questi risultati con le prestazioni di navigazione end-to-end "one-shot". Impiega anche un'analisi "multi-hot first-error" per localizzare il punto specifico in cui una traiettoria fallisce. Sono inclusi controlli non spaziali (ad esempio, il conteggio delle celle aperte) per escludere il degrado generico del contesto lungo.
• Modulo 3 (Pianificazione di Percorsi Gerarchica): Testa regimi di delega in cui un "camminatore" deterministico gestisce l'esecuzione a basso livello (attraversamento di corridoi, ritirata dai vicoli ciechi) e l'LLM viene interrogato solo ai bivio. Questo confronta un regime "Topology-blind" (prompt generici) con un regime "Topology-aided" (prompt espliciti sul tipo di cella e ritirata algoritmica).

Sono stati valutati tre modelli istruiti per il dialogo (GPT-4o, DeepSeek-V3, Llama-3.3-70B) utilizzando il prompting chain-of-thought con una temperatura fissa di 0.

Risultati Chiave

1. Formato di Input (RQ1)

Il testo con coordinate strutturate è il formato di input più navigabile, superando significativamente le immagini renderizzate e le mappe ASCII. Per il modello più forte (DeepSeek-V3), l'input di coordinate ha raggiunto un tasso di successo del 70% sui labirinti piccoli, rispetto al 5% per le immagini renderizzate. Fondamentalmente, anche quando i tassi di successo end-to-end crollavano quasi a zero, il Rapporto di Movimento Valido (VMR) rimaneva alto (>0,62), indicando che i modelli possono generare mosse localmente legali ma falliscono nella composizione del percorso globale.

2. Il Deficit di Aggregazione (RQ2)

La scoperta principale è che lo scaling del fallimento è un fallimento di aggregazione cross-scala, non un deficit nelle singole competenze percettive o direzionali.

• Competenza Isolata: Quando interrogati in isolamento, i modelli mantenevano un'alta accuratezza nei compiti Fine (32–56%), Meso (50–64%) e Macro (42–67%) anche a grandi dimensioni (30×30), superando di gran lunga il livello del caso.
• Collasso End-to-End: Il successo della navigazione one-shot è crollato quasi a zero entro i 10×10 per tutti i modelli.
• Il Gap: Il probe combinato Meso×Macro (che richiede sia ragionamento topologico che direzionale) è decaduto più velocemente dei componenti isolati, ma ha comunque superato la navigazione end-to-end.
• Analisi del Primo Errore: I fallimenti sono stati localizzati nelle scelte dei bivi Meso (59%) e nella percezione Fine (39%), mentre la direzione globale (Macro) era raramente il primo punto di fallimento (1%).
• Costo di Aggregazione: Il divario tra l'accuratezza del bivio isolato e l'accuratezza del bivio in traiettoria si è ampliato con la dimensione del labirinto (ad esempio, un calo di 28 punti a 30×30), provando che il costo non è semplicemente un compounding moltiplicativo degli errori, ma una degradazione della capacità del modello di legare le decisioni su una sequenza lunga.

3. Delega e Agenti Ibridi (RQ3)

Delegare il controllo di basso livello a un algoritmo deterministico migliora significativamente le prestazioni, ma non elimina il muro dello scaling.

• Delega Supportata dalla Topologia (Topology-Aided): Quando l'algoritmo gestiva il ritiro dai vicoli ciechi e l'LLM veniva interrogato con informazioni esplicite sul tipo di cella ai bivio, il tasso di successo di GPT-4o è aumentato fino a 92 punti nelle dimensioni medie (ad esempio, dal 2% al 94% a 7×7).
• Limitazioni: Questo miglioramento era contingente a un framing topologico esplicito; un regime "Topology-blind" ha prodotto guadagni trascurabili. Inoltre, anche con la delega, le prestazioni sono crollate nuovamente a 30×30, indicando che, sebbene la delega estenda l'orizzonte navigabile, non rimuove la fondamentale barriera di scaling per i piani sequenziali lunghi.

Significato e Rivendicazioni

Il documento sostiene di fornire uno strumento diagnostico granulare che sposta la comprensione del fallimento spaziale degli LLM da un'inabilità generale a "ragionare" a un'inabilità specifica di integrare competenze individualmente disponibili attraverso un piano sequenziale lungo.

• Riformulazione del Fallimento: Gli autori sostengono che gli LLM non manchino necessariamente di percezione locale o direzione globale; piuttosto, falliscono nel sostenere il legame di questi segnali passo dopo passo. Il livello "Macro" (direzione globale) è sorprendentemente duraturo in isolamento, ma viene ripetutamente vanificato dagli errori Meso e Fine durante l'esecuzione sequenziale.
• Implicazioni Architetturali: Per gli agenti ibridi GIS e di orientamento, il paper suggerisce una specifica divisione del lavoro: gli algoritmi dovrebbero possedere l'esecuzione Fine e il ritiro dai vicoli ciechi, mentre gli LLM dovrebbero servire come decisori a livello di bivio. Tuttavia, questo ruolo richiede un framing topologico esplicito nel prompt per essere efficace.
• Modalità di Input: I risultati suggeriscono che, per gli attuali LLM, la struttura spaziale è meglio elaborata come dati simbolici e relazionali (coordinate) piuttosto che come rappresentazioni pittoriche.

Gli autori notano esplicitamente i limiti, tra cui l'uso di topologie ad albero (senza cicli), il focus su modelli di chat in sola lingua inglese e la natura euristica del tagging del primo errore. Posizionano il benchmark come uno strumento riutilizzabile per il lavoro futuro per localizzare più finemente i colli di bottiglia del legame (binding), in particolare in ambienti ciclici o con pesi metrici.