"Don't Do That!": Guiding Embodied Systems through Large Language Model-based Constraint Generation

Il paper presenta STPR, un framework che utilizza i grandi modelli linguistici per tradurre istruzioni naturalistiche in vincoli di navigazione robotica sotto forma di funzioni Python eseguibili, garantendo così una pianificazione precisa ed efficiente in ambienti complessi.

L'essenziale

🤖 Il Robot "Testimone" e il "Non Fare Quello!"

Immagina di avere un robot domestico (come un aspirapolvere intelligente) che deve pulire casa. Tu gli dai un ordine semplice: "Pulisci il salotto, ma non avvicinarti troppo al camino acceso perché brucia!".

Il problema è che il robot non ha termometri e non "vede" il calore. Se glielo dici solo a parole, cosa succede?

1. Il metodo vecchio (Solo Robot): Il robot ignora la tua richiesta perché non capisce il concetto di "calore" e si brucia.
2. Il metodo "Intelligenza Artificiale Pura": Chiedi a un super-cervello (un LLM) di pianificare il percorso. Il super-cervello potrebbe allucinare: ti dice "Ok, vado lì", ma in realtà ti disegna un percorso che passa attraverso il muro o che lo fa cadere in una buca invisibile, perché non è un vero pianificatore matematico.

💡 La Soluzione: STPR (Il Traduttore Magico)

Gli autori di questo paper hanno creato STPR (Safe Trajectory Planning with Restrictions). Ecco come funziona, usando un'analogia semplice:

Immagina che il robot sia un camminatore e l'ambiente sia una mappa.
Il problema è che tu vuoi dire al camminatore: "Non andare dove c'è il fuoco!", ma il camminatore capisce solo coordinate matematiche precise, non frasi come "fuoco" o "pericolo".

STPR agisce come un traduttore esperto:

1. L'Ascolto (Il Linguaggio): Tu dici al sistema: "Non avvicinarti al camino, è pericoloso".
2. La Traduzione (Il Codice): Invece di chiedere all'IA di pensare al percorso (cosa che la fa sbagliare), chiedi all'IA di scrivere una piccola funzione di codice Python.
   • Analogia: È come se tu chiedessi a un architetto di disegnare un muro invisibile sulla mappa. L'architetto (l'IA) non ti dice "cammina qui", ma ti dà le istruzioni precise per costruire un muro: "Se le coordinate X, Y, Z sono dentro questo raggio, allora è vietato".
3. La Costruzione (La Mappa): Il sistema prende queste istruzioni e le trasforma in una nuvola di punti rossi (come se fossero sassi o muri invisibili) che riempiono la zona pericolosa sulla mappa digitale del robot.
4. Il Percorso (La Matematica): Ora, un algoritmo matematico classico (molto preciso e affidabile) guarda la mappa. Vede i "sassi rossi" (il camino, la buca, la telecamera) e calcola il percorso più breve che non tocca mai quei sassi.

🎭 Perché è geniale? (Le Analogie)

• Separazione dei compiti:

  • L'IA (LLM) è come un traduttore di lingue: è bravissimo a capire cosa vuoi dire ("non scaldati!") e a scriverlo in una lingua che il computer capisce (codice Python).
  • Il Pianificatore (Algoritmo) è come un ingegnere del traffico: non capisce il "perché" del divieto, ma segue le regole matematiche alla lettera. Se c'è un divieto, lo rispetta al 100%.
  • Risultato: L'IA non deve fare calcoli complessi (dove sbaglia), e il pianificatore non deve capire il linguaggio umano (dove si perde).

• Niente Allucinazioni:
  Se chiedi a un'IA di pianificare un viaggio, potrebbe dirti "Vai attraverso il muro" perché ha letto troppe storie di fantasia. Con STPR, l'IA scrive solo le regole del muro. È il pianificatore matematico a decidere se il muro è reale. Se il muro c'è, il robot non ci passa mai.

🧪 Cosa hanno scoperto?

Hanno testato questo sistema in una casa virtuale (Gazebo) con scenari difficili:

1. Evitare una telecamera: Il robot non deve entrare nel campo visivo.
2. Evitare una buca nascosta: Il robot non deve cadere in un buco coperto da un tappeto.
3. Regole condizionali: "Se c'è un animale in cucina, non entrare".
4. Calore fisico: "Non avvicinarti al camino perché l'aria è troppo calda".

I risultati:

• I robot "normali" o quelli guidati solo dall'IA fallivano spesso (andavano contro i muri o ignoravano i pericoli).
• STPR ha avuto il 100% di successo: Il robot ha rispettato tutte le regole, anche quelle complesse.
• Velocità: Funziona velocemente (pochi secondi) e funziona anche con modelli di IA piccoli ed economici, non serve il supercomputer più potente.

🚀 In sintesi

STPR è come dare al robot un libro di regole scritto in codice invece di dargli un consiglio a voce.
Invece di dire "Fai attenzione!" (che è vago), l'IA scrive "Se sei a meno di 1 metro dal camino, fermati". Poi, un matematico robotico usa queste regole per disegnare un percorso sicuro.

È un modo intelligente per unire la comprensione umana (capire le istruzioni) con la precisione matematica (eseguire il piano senza errori), rendendo i robot molto più sicuri e affidabili nella vita reale.

Sommario tecnico

1. Il Problema

La navigazione robotica nel mondo reale richiede non solo di raggiungere un obiettivo, ma anche di rispettare vincoli complessi specificati in linguaggio naturale da operatori umani. Questi vincoli possono essere informali, vaghi, impliciti o basati su condizioni semantiche (es. "non avvicinarti al camino", "evita la cucina se c'è un animale").

Le sfide principali identificate dagli autori sono:

• Traduzione difficile: Convertire istruzioni linguistiche complesse in descrizioni formali utilizzabili dagli algoritmi di pianificazione è complesso.
• Limiti dei LLM puri: L'uso diretto dei Large Language Models (LLM) per generare piani di navigazione porta a:
  • Allucinazioni: Generazione di piani plausibili ma fisicamente impossibili o pericolosi.
  • Mancanza di interpretabilità: Difficoltà nell'incorporare vincoli contestuali specifici (es. norme sociali, zone vietate dinamiche).
  • Compliance parziale: I modelli tendono a ignorare o interpretare male i vincoli condizionali.
  • Costo computazionale: I modelli di ragionamento avanzati (es. serie o di OpenAI) sono lenti e costosi, inadatti per il tempo reale.
• Limiti dei metodi tradizionali: Gli algoritmi di pianificazione classici (A*, RRT*) non possono comprendere il linguaggio naturale.

2. Metodologia: STPR (Safe Trajectory Planning with Restrictions)

Gli autori propongono STPR, un framework neuro-simbolico che combina la comprensione del linguaggio naturale con algoritmi di ricerca classici. L'idea centrale è spostare il carico di ragionamento complesso dai LLM (che generano il piano) alla generazione di codice eseguibile.

Il processo si articola in tre fasi principali:

A. Generazione di Vincoli tramite LLM (Prompting)

Invece di chiedere all'LLM di pianificare il percorso, STPR utilizza un prompt ingegnerizzato per chiedere all'LLM di generare una funzione Python booleana (f: X → {True, False}).

• Input: Istruzione in linguaggio naturale (es. "Evita la zona di dissipazione del calore del camino") + parametri numerici (coordinate, intensità termica).
• Output: Una funzione Python autonoma che restituisce True se un punto nello spazio 3D viola il vincolo e False altrimenti.
• Vantaggio: Sfrutta la forte pre-addestramento degli LLM sul codice per garantire sintassi corretta e logica precisa, evitando allucinazioni semantiche.

B. Campionamento della Nuvola di Punti (Point-Cloud Sampling)

Le funzioni generate vengono integrate in una rappresentazione dell'ambiente sotto forma di nuvola di punti 3D.

• Viene utilizzata una tecnica di campionamento per rifiuto (rejection sampling).
• Per ogni vincolo, l'LLM genera anche un "bounding box" approssimativo per ottimizzare il campionamento.
• Vengono generati $K$ punti (es. 1000) che soddisfano la funzione di vincolo (punti "vietati").
• Questi punti vengono archiviati in una struttura kd-tree per query veloci dei vicini più prossimi durante la pianificazione.

C. Pianificazione del Percorso Vincolato

Un algoritmo di ricerca classico (come A* o RRT*) opera nello spazio degli stati ridotto.

• Durante l'espansione dei nodi, ogni stato candidato viene verificato contro la nuvola di punti dei vincoli.
• Se un punto è troppo vicino a un punto "vietato" (dentro il raggio del robot), il nodo viene scartato (pruned).
• Questo garantisce che il percorso finale sia teoricamente garantito come privo di collisioni e rispettoso dei vincoli, sfruttando le proprietà di completezza e ottimalità degli algoritmi di ricerca.

3. Contributi Chiave

1. Framework Neuro-Simbolico: STPR separa la responsabilità: l'LLM traduce i vincoli in codice interpretabile, mentre l'algoritmo di ricerca prende le decisioni di pianificazione. Questo elimina le allucinazioni del piano.
2. Generazione di Codice Executable: Trasformare vincoli "cosa non fare" in funzioni booleane Python permette di gestire matematica complessa (es. modelli di radiazione termica emisferica) che sarebbe difficile da codificare manualmente.
3. Compatibilità con Modelli Piccoli: Il sistema funziona efficacemente anche con modelli LLM più piccoli e specifici per il codice (es. Granite-34B-Code o Llama-3.1-70B), riducendo i costi di inferenza rispetto ai modelli di ragionamento massicci.
4. Garanzie Teoriche: Mantenendo il nucleo decisionale su algoritmi classici, STPR eredita garanzie di ottimalità (A*) o ottimalità asintotica (RRT*) e completezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in un ambiente simulato Gazebo/ROS con un robot Turtlebot 3 Waffle, testando quattro scenari complessi:

• S1 (Evitare una telecamera): Vincolo di campo visivo (FOV) complesso in 3D.
• S2 (Evitare una buca): Pericolo verticale nascosto (non rilevabile dai sensori standard).
• S3 (Animale in cucina): Vincolo condizionale ("se c'è un animale, non entrare").
• S4 (Calore del camino): Vincolo fisico basato su modelli di dissipazione del calore.

Performance:

• Compliance (Rispetto dei vincoli): STPR ha raggiunto il 100% di successo in tutti gli scenari, generando percorsi validi o dimostrando correttamente l'inesistenza di un percorso (es. quando la camera blocca tutto il passaggio).
• Confronto con Baseline:
  • Algoritmi classici (A/RRT* senza STPR):* 0% di successo (ignorano i vincoli).
  • Pianificazione VLM (Vision-Language Models, es. GPT-4o): Tasso di successo molto basso (0-10%), con frequenti allucinazioni, violazioni di vincoli o collisioni con oggetti statici.
  • STPR: Supera nettamente sia i metodi puramente basati su LLM che quelli puramente classici.
• Efficienza: I tempi di esecuzione end-to-end sono tra 12 e 18 secondi (incluso prompting e campionamento). L'uso di modelli più piccoli (Granite-34B) riduce ulteriormente i tempi di prompting rispetto ai modelli di ragionamento avanzati (es. GPT o1-pro), che richiedono fino a 30 volte più tempo.
• Robustezza: Il sistema è robusto rispetto alle variazioni dei parametri di decoding (temperature, top-p) e non richiede un tuning estensivo degli iperparametri.

5. Significato e Implicazioni

Il lavoro di STPR è significativo perché offre una soluzione pratica e affidabile per integrare l'intelligenza linguistica nella robotica fisica senza sacrificare la sicurezza o la correttezza matematica.

• Sicurezza: Trasforma istruzioni umane ambigue in vincoli matematici rigorosi, prevenendo incidenti causati da allucinazioni dell'IA.
• Flessibilità: Permette agli esperti di dominio di modificare i vincoli semplicemente aggiornando il prompt o i parametri, senza bisogno di riaddestrare modelli o riscrivere codice complesso.
• Scalabilità: Dimostra che non sono necessari modelli LLM giganti e costosi per la navigazione robotica sicura; modelli di codice più piccoli e specializzati sono sufficienti, rendendo la tecnologia accessibile e adatta al deployment su hardware con risorse limitate.

In sintesi, STPR rappresenta un passo avanti verso sistemi robotici "agentic" che possono comprendere e rispettare comandi complessi in linguaggio naturale mantenendo la garanzia di sicurezza fornita dalla pianificazione classica.