Riepilogo Tecnico: BRICKCRAFT

Enunciato del Problema

L'assemblaggio autonomo di robot di mattoncini interbloccanti rappresenta una sfida formidabile nella manipolazione a lungo orizzonte, richiedendo l'integrazione senza soluzione di continuità tra ragionamento di alto livello sui compiti, ancoraggio spaziale e manipolazione fine ricca di contatti. I paradigmi esistenti di controllo monolitico end-to-end faticano con le dipendenze a lungo termine e i vasti requisiti di dati necessari per modellare vincoli strutturali complessi. Inoltre, colmare il divario tra piani semantici di alto livello ed esecuzione visuomotoria di basso livello è particolarmente difficile nell'assemblaggio di mattoncini a causa di due fattori confondenti: (1) ambiguità visiva causata da unità geometriche periodiche e caratteristiche ripetitive, e (2) multi-modalità spaziale, dove esistono molteplici pose di assemblaggio localmente valide ma discrete per le interfacce interbloccanti. Le soluzioni attuali spesso fanno affidamento su stati cinematici espliciti (vulnerabili al rumore percettivo) o immagini di obiettivo implicite (difficili da ancorare fisicamente), non fornendo una guida robusta per i robot in scenari di assemblaggio con spazi ridotti.

Metodologia

Il documento presenta BRICKCRAFT, un framework compositivo progettato per trasformare progetti digitali di mattoncini in prodotti fisici attraverso tre fasi distinte:

1. Ragionamento per l'Assemblaggio Orientato alle Abilità

BRICKCRAFT scompone i compiti di assemblaggio a lungo orizzonte in una sequenza di sottobiettivi azionabili utilizzando una strategia di assemblaggio per smontaggio.

• Formulazione Relativa: Invece di pose assolute, ogni passo di assemblaggio è definito da una terna $(b_{ref}, b_{tgt}, \tau)$, in cui un mattoncino target ($b_{tgt}$) viene attaccato a un mattoncino di riferimento ($b_{ref}$) all'interno della struttura parziale esistente.
• Codifica del Compito Geometrico: La relazione spaziale relativa è parametrizzata da un vettore 4D $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$, che rappresenta offset spaziali discreti in unità di perni e orientamento planare relativo. Questa formulazione astrae compiti di assemblaggio diversi in un insieme finito di abilità primitive riutilizzabili.
• Algoritmo di Ricerca: Una Ricerca in Profondità (DFS) esplora percorsi di smontaggio percorribili dallo stato obiettivo, validando le mosse candidate contro quattro criteri: Connettività ($C_{con}$), Osservabilità ($C_{obs}$), Operabilità ($C_{op}$) e Stabilità ($C_{stab}$).

2. Ancoraggio dell'Intento di Assemblaggio (Manuali Situati)

Per colmare il divario tra piani simbolici ed esecuzione fisica, il framework introduce manuali situati. Questa strategia proietta intenti di assemblaggio astratti sulle osservazioni in tempo reale del robot per fornire una guida spaziale esplicita.

• Generazione del Riferimento Visivo: Un motore di simulazione (Blender) rende lo stato atteso dell'assemblaggio, generando un'immagine fotorealistica e maschere semantiche per la struttura globale e il mattoncino di riferimento specifico.
• Segmentazione dell'Entità Fisica: Un modello YOLOv8-seg fine-tuned segmenta lo spazio di lavoro fisico per identificare la struttura assemblata, il gripper e il mattoncino target.
• Allineamento e Tracciamento delle Maschere: Una trasformazione affine allinea la maschera di riferimento simulata con l'osservazione fisica. Un modulo di tracciamento (SAM 2) mantiene la coerenza temporale di queste maschere.
• Aumento Visivo: Il sistema crea un "manuale situato" sovrapponendo la maschera di riferimento tracciata al flusso video grezzo della telecamera. Le regioni al di fuori delle maschere attive vengono oscurate (attenuate al 25% di luminosità) con una transizione a gradiente, creando un effetto riflettore che evidenzia le entità rilevanti per il compito e sopprime i distrattori visivi.

3. Esecuzione Visuomotoria Compositiva

La pipeline di esecuzione concatena abilità visuomotorie apprese sotto la guida dei manuali situati.

• Architettura della Politica: L'abilità di assemblaggio è formulata come una Politica di Diffusione condizionata da osservazioni visive a doppia vista (arricchite con il manuale situato), stato propriocettivo e la codifica del compito $\tau$.
• Modalità di Input: Le osservazioni includono le viste delle telecamere dello spazio di lavoro e del polso, la posa dell'effettore finale, lo stato del gripper e le forze esterne 3D stimate dalle coppie motrici per migliorare la consapevolezza del contatto.
• Concatenazione delle Abilità: I compiti a lungo orizzonte sono eseguiti come una sequenza di abilità di presa e assemblaggio: $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$.
• Verifica: Pre-condizioni e post-condizioni verificano la visibilità del target, la fattibilità cinematica e la coerenza geometrica tra lo stato fisico e il piano simbolico per prevenire l'accumulo di errori.

Contributi Chiave

1. Framework BRICKCRAFT: Un framework compositivo per l'assemblaggio di mattoncini interbloccanti a lungo orizzonte che disaccoppia il ragionamento sul compito dall'esecuzione.
2. Formulazione Relativa del Compito: Un approccio innovativo che mappa compiti di assemblaggio diversi su un insieme finito di abilità primitive ancorando i passi ai mattoncini di riferimento tramite codifiche geometriche relative.
3. Manuali Situati: Una strategia che ancorano intenti simbolici alle osservazioni in tempo reale segmentando ed evidenziando le entità rilevanti per il compito, risolvendo efficacemente l'ambiguità visiva e fornendo una guida spaziale esplicita.
4. Validazione Empirica: Esperimenti completi nel mondo reale che dimostrano una forte generalizzazione compositiva verso strutture non viste.

Risultati Sperimentali

Il framework è stato valutato su un braccio Kinova Gen3 con un gripper Robotiq utilizzando mattoncini LEGO Duplo.

• Dataset: 692 traiettorie di dimostrazione su 60+ configurazioni, aumentate con la pipeline dei manuali situati.
• Prestazioni a Singolo Passo: BRICKCRAFT ha raggiunto un tasso di successo del 86,25% su 240 prove su 48 strutture distinte (24 viste, 24 non viste).
  • Ha superato significativamente le baseline: Politica di Diffusione Condizionata all'Immagine di Obiettivo (GI-DP) e $\pi_0.5$ Condizionato all'Immagine di Obiettivo (GI-$\pi_0.5$).
  • GI-DP ha subito un calo delle prestazioni del 12,5–15,0% su strutture non viste, mentre GI-$\pi_0.5$ è rimasto bloccato sotto il 50% di successo.
  • Le visualizzazioni EigenCAM hanno confermato che i manuali situati concentrano l'attenzione visiva sulle relazioni geometriche, mentre le baseline hanno mostrato attivazioni disperse vulnerabili ai distrattori.
• Prestazioni a Lungo Orizzonte: Il sistema ha completato con successo compiti di assemblaggio per quattro strutture distinte (Piramide, Scale, Casa, Castello), incluso il "Castello" che era completamente non visto durante l'addestramento.
  • I tassi di completamento sono stati elevati per strutture completamente supportate (Piramide, Scale) ma hanno mostrato lievi diminuzioni per strutture con regioni centrali non supportate (Casa, Castello) a causa di errori accumulati e deformazioni strutturali.
• Studi di Ablazione: La strategia di oscuramento dello sfondo per i manuali situati ha superato le alternative con riquadri di delimitazione del 10–12,5%, suggerendo che le transizioni fluide preservano i contorni geometrici meglio dei bordi artificiali.

Significato e Affermazioni

Il documento afferma che BRICKCRAFT affronta il collo di bottiglia critico dell'ancoraggio del ragionamento semantico di alto livello nell'esecuzione fisica per compiti di assemblaggio complessi. Introducendo manuali situati, il framework risolve efficacemente l'ambiguità visiva intrinseca nelle strutture geometriche ripetitive, permettendo ai robot di apprendere da dimostrazioni limitate e generalizzare a configurazioni nuove e non viste.

Gli autori sottolineano che, sebbene le singole abilità siano competenti, la pipeline di esecuzione compositiva è essenziale per l'affidabilità a lungo orizzonte. Il framework dimostra che scomporre compiti complessi in primitive riutilizzabili e relative, combinate con una guida spaziale esplicita, offre una via percorribile verso sistemi incarnati intelligenti capaci di operare in contesti reali complessi. Il lavoro suggerisce che colmare il ragionamento simbolico con abilità atomiche ancorate spazialmente è una direzione promettente per il dispiegamento di agenti robusti in scenari di manipolazione più ampi, sebbene il sistema attuale sia limitato all'assemblaggio di mattoncini interbloccanti e manchi di capacità reattive di auto-correzione per il recupero da errori.