Riepilogo Tecnico: Decomposizione 2.5-D per la Costruzione Spaziale Basata su LLM

Enunciato del Problema

I sistemi autonomi incaricati di costruire strutture fisiche da istruzioni in linguaggio naturale affrontano un divario critico di affidabilità: mentre i Modelli Linguistici di grandi dimensioni (LLM) eccellono nella comprensione dell'intento di alto livello, falliscono sistematicamente nel ragionamento spaziale preciso, in particolare riguardo alla generazione di coordinate tridimensionali. I precedenti benchmark indicano che gli LLM producono frequentemente errori nel posizionamento verticale, nell'impilamento con scarto di una unità e in posizioni duplicate. Questi fallimenti derivano dalla mancanza di modelli interni del mondo per imporre vincoli fisici, come la gravità, che stabiliscono che la posizione verticale di un blocco è strettamente determinata dall'occupazione della colonna sottostante.

Metodologia

Il documento propone una pipeline neuro-simbolica basata sulla decomposizione 2.5-D per affrontare questi errori di coordinate. L'idea centrale è che, nei domini di costruzione vincolati dalla gravità, l'asse verticale ($y$) non è una variabile libera ma una funzione deterministica della posizione orizzontale ($x, z$) e dello stato corrente della griglia.

La Pipeline di Decomposizione 2.5-D

Il sistema separa i compiti di pianificazione ed esecuzione in moduli distinti:

1. Pianificatore LLM (2D): L'LLM è limitato alla generazione di un piano nel piano orizzontale bidimensionale. Specifica solo le coordinate $(x, z)$, i colori dei blocchi, i tipi di azione e i conteggi. È esplicitamente impedito di outputtare coordinate verticali ($y$).
2. Esecutore Deterministico (3D): Un motore simbolico calcola il posizionamento verticale per ogni blocco basato sull'occupazione della colonna. La coordinata verticale $y^*$ per un nuovo blocco in $(x, z)$ è calcolata come l'altezza minima in cui la cella è vuota, garantendo che i vincoli di gravità siano rispettati rigorosamente:
   $$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$$
   Questo elimina un'intera classe di errori di coordinate rimuovendo la dimensione $y$ dallo spazio di output dell'LLM.

Componenti di Supporto

La pipeline include quattro meccanismi aggiuntivi per gestire l'ambiguità e le modalità di fallimento sistematico:

• Analizzatore di Struttura: Rileva primitivi geometrici (ad esempio, forme a T, forme a L) nella griglia esistente per informare il pianificatore.
• Rilevatore di Sottospecificazione: Utilizza un quadro decisionale per determinare quando porre domande di chiarimento. Calcola il valore atteso di indovinare rispetto al chiedere, dando priorità alle richieste di chiarimento sui colori rispetto a quelle sui conteggi quando esiste ambiguità.
• Ottimizzatore Prompt "Peephole": Scansiona le istruzioni alla ricerca di frasi trigger specifiche (ad esempio, "ogni estremità", "davanti a") note per causare errori sistematici negli LLM. Quando rilevate, inietta correzioni mirate e basate su pattern, nonché esempi risolti, nel prompt prima della chiamata all'LLM.
• Verificatore del Piano: Un modulo basato su regole che convalida il piano generato rispetto all'istruzione e allo stato della griglia, eseguendo correzioni per la coerenza direzionale e la plausibilità dell'impilamento.

Contributi Chiave

1. Decomposizione 2.5-D: Un nuovo pattern architetturale che limita la pianificazione dell'LLM a un piano orizzontale 2D, delegando il posizionamento verticale a un esecutore deterministico, eliminando efficacemente gli errori di coordinate verticali.
2. Ottimizzazione Prompt "Peephole": Una metodologia per identificare le modalità di fallimento sistematico degli LLM innescate da specifici pattern di input e correggerle tramite iniezione dinamica del prompt, analogamente all'ottimizzazione del compilatore.
3. Validazione Empirica: Dimostrazione che questa pipeline permette a un modello più piccolo ed economico (GPT-4o-mini) di superare un modello più grande e costoso (GPT-4o) in termini di accuratezza strutturale.
4. Quadro Decisionale: Un approccio formale per gestire istruzioni sottospecificate (colori o conteggi mancanti) pesando la probabilità di un indovinello corretto contro la penalità di porre una domanda di chiarimento.

Risultati Sperimentali

Il sistema è stato valutato sul benchmark Build What I Mean (BWIM), composto da 160 round di compiti di costruzione con blocchi.

• Accuratezza: L'intera pipeline utilizzando GPT-4o-mini ha raggiunto un'accuratezza strutturale media del 94,6% su 12 esecuzioni indipendenti.
• Confronto: Questo risultato supera il miglior sistema concorrente (che utilizza GPT-4o senza decomposizione) al 76,3% e la baseline diretta GPT-4o al 90,3%.
• Studio di Ablazione: La rimozione della decomposizione 2.5-D ha causato il calo di prestazioni più significativo, riducendo l'accuratezza di 50,7 punti percentuali (al 43,8%), confermandola come il contributo dominante al successo. La gestione della sottospecificazione e l'ottimizzazione "peephole" hanno contribuito in modo significativo (rispettivamente 17,9 pp e 11,3 pp).
• Deploy su Edge: La pipeline è stata trasferita con successo all'hardware edge locale. Nemotron-3 120B, eseguito localmente su un NVIDIA Jetson Thor AGX, ha raggiunto un'accuratezza del 94,5% senza modifiche al prompt, eguagliando i risultati di GPT-4o-mini basato su cloud.
• Generalizzazione: Un esperimento di trasferimento su 500 compiti dal dataset collaborativo di costruzione IGLU ha mostrato che la sola decomposizione 2.5-D ha migliorato i punteggi F1 a livello di blocco da 0,723 a 0,798, confermando l'applicabilità dell'approccio oltre il benchmark principale.

Significato e Affermazioni

Il documento sostiene che il limite principale nella costruzione spaziale basata su LLM non è una mancanza di capacità di ragionamento, ma l'inclusione di dimensioni deterministiche nello spazio di output del modello. Identificando le dimensioni calcolabili dai vincoli fisici (come la gravità) e rimuovendole dalla responsabilità dell'LLM, il sistema raggiunge un'affidabilità comparabile al limite teorico imposto dalla qualità dell'agente di chiarimento (l'"architetto").

Gli autori affermano che questa struttura 2.5-D è un principio generalizzabile per qualsiasi sistema autonomo in cui le leggi fisiche vincolano l'assemblaggio o il posizionamento. Gli esempi citati includono la pianificazione di percorsi per UAV che seguono il terreno (dove l'altitudine è una funzione della posizione orizzontale e dei dati del terreno) e la manutenzione automatizzata delle apparecchiature (dove i percorsi di inserimento dei componenti sono vincolati dalla geometria della macchina). Il lavoro suggerisce che un'operazione affidabile guidata da LLM in ambienti fisicamente vincolati è raggiungibile non addestrando modelli più grandi, ma progettando sistemi che scaricano il ragionamento deterministico su codice simbolico.

Gli autori notano un limite massimo rigido all'accuratezza raggiungibile: circa 97,6%, limitato dagli errori nell'agente architetto (un LLM che risponde alle domande di chiarimento). L'accuratezza attuale del sistema del 94,6% lascia solo un margine di 3,0 punti percentuali per miglioramenti lato costruttore, indicando che la pipeline proposta ha quasi massimizzato il potenziale del componente costruttore.