Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Sintesi Tecnica: Apprendimento delle Affordance 3D per l'Inserimento di Lame in Stivaggio in Ambienti Ingombranti

Definizione del Problema
Lo stivaggio robotico prevede l'inserimento di una lama rigida in contenitori di tessuto densamente ingombranti per spostare gli oggetti e creare spazio. Questo compito richiede di ragionare sulle affordance di spazio libero: identificare volumi di spazio 3D in cui uno strumento può navigare in sicurezza senza collidere con la geometria circostante. A differenza delle affordance di contatto superficiale (dove uno strumento tocca un oggetto), le affordance di spazio libero dipendono dal volume navigabile vincolato dalle pareti del contenitore e dagli oggetti occlusi.

Gli approcci standard trattano questo problema come un problema di regressione o generativo su pose SE(3) (posizionamenti dello strumento a 6 gradi di libertà). Tuttavia, i dati di produzione sono intrinsecamente unimodali: per ogni dato stato del contenitore, il sistema esegue un'unica strategia, anche se esistono molteplici percorsi di inserimento geometricamente validi. L'addestramento di modelli generativi (es. flow matching) su questi dati di pose unimodali causa il collasso verso un singolo modo, fallendo nel recuperare l'insieme diversificato di soluzioni geometriche valide. Inoltre, il ragionamento nello spazio delle pose sposta l'inferenza dal dominio in cui la fattibilità geometrica è naturalmente definita (occupazione 3D), rendendo difficile determinare se posizionamenti non osservati siano fisicamente possibili.

Metodologia: VulcanVoxel
Gli autori propongono VulcanVoxel, un framework che mantiene l'inferenza nel dominio spaziale anziché proiettarla nello spazio delle pose. L'ipotesi centrale è che le affordance della lama siano oggetti spaziali (sottoinsiemi di spazio 3D) e debbano essere inferite come tali.

1. Rappresentazione: Il sistema ricostruisce la scena da un singolo frame RGB-D in una griglia di occupazione 3D multi-canale ($32^3$ voxel). I canali codificano:
   • Occupazione combinata di pareti e oggetti ($O_{occupy}$).
   • Occupazione dei soli oggetti ($O_{object}$).
   • Occupazione reale della lama ($O_{blade}$).
2. Architettura: VulcanVoxel utilizza un Autoencoder con Maschera (MAE) 3D U-Net.
   • Obiettivo di Addestramento: Invece di predire una distribuzione di pose, il modello è addestrato per ricostruire il canale di occupazione della lama condizionato dalla geometria della scena osservata.
   • Mascheramento dei Canali: Durante l'addestramento, combinazioni casuali dei tre canali vengono mascherate. Ciò costringe il modello a imparare le relazioni geometriche inter-canale (es. inferire dove si inserisce una lama date le posizioni di pareti e oggetti) piuttosto che memorizzare pattern di esecuzione.
   • Funzione di Perdita: A causa della scarsità dei voxel della lama, il modello utilizza una combinazione di Focal Loss e Dice Loss per gestire lo sbilanciamento delle classi e imporre la coerenza della forma.
3. Pipeline di Inferenza:
   • Il modello restituisce un campo di probabilità 3D dell'occupazione valida della lama.
   • Estrazione della Pose: Le componenti connesse valide nel campo di occupazione vengono identificate. I candidati posizionamenti SE(3) sono enumerati attorno a queste componenti e valutati in base alla sovrapposizione volumetrica con il campo predetto. Questo differisce l'estrazione della pose a un passaggio post-hoc, garantendo che il ragionamento spaziale avvenga per primo.
4. Distillazione: Per affrontare la latenza di inferenza (il modello voxel-to-voxel richiede circa 2,3s), viene addestrato uno studente distillato per predire l'occupazione della lama direttamente da immagini RGB in circa 30ms. Questo studente utilizza un encoder ViT e un decoder 3D, elevando le feature 2D in 3D tramite vincoli geometrici derivati dalla calibrazione della telecamera.

Contributi Chiave

1. Inferenza Spaziale per le Affordance di Spazio Libero: Il documento dimostra che rappresentare le affordance come campi di occupazione 3D, piuttosto che come distribuzioni di pose SE(3), permette ai modelli di recuperare predizioni multimodali da dati di produzione unimodali.
2. Analisi della Rappresentazione: Attraverso un'ablation sistematica (confronto tra modalità di input, rappresentazioni di output e obiettivi di addestramento), gli autori mostrano che:
   • Operare nel dominio spaziale è necessario ma non sufficiente.
   • L'obiettivo di ricostruzione (imparare ciò che è geometricamente coerente) è il fattore critico che abilita la multimodalità, distinguendo VulcanVoxel dai baseline di flow-matching operanti nello stesso dominio spaziale.
3. Generalizzazione ai Fallimenti: Il modello può identificare volumi di spazio libero geometricamente validi anche in configurazioni di contenitori in cui il sistema di produzione ha fallito, trasformando efficacemente gli episodi di fallimento in segnali di addestramento informativi.
4. Dataset StowAffordance: Il rilascio di un dataset su larga scala contenente oltre 10.000 cicli reali di inserimento lama con osservazioni RGB-D, traiettorie SE(3) e label degli esiti.

Risultati
Valutato su 1.000 episodi reali di test (luglio 2025) e ulteriori set temporali/ad alto ingombro:

• Copertura: VulcanVoxel raggiunge una Copertura Top-5 (Cov5) di 0,89, superando significativamente il miglior baseline basato su pose (Voxel FM Pose) che si attesta a 0,71. Ciò significa che nell'89% delle scene, almeno una delle cinque pose predette è geometricamente valida.
• Multimodalità: VulcanVoxel predice una media di 2,7 modi distinti per scena con una dispersione spaziale ($\sigma$) di 8,4 cm. Al contrario, i baseline di flow-matching collassano a singoli modi ($N_m \approx 1,0$) o producono una dispersione geometricamente incoerente.
• Accuratezza: Sebbene il costo di una singola predizione di VulcanVoxel sia leggermente superiore rispetto al miglior baseline basato su pose (0,81 vs 0,60), esso eguaglia le prestazioni di produzione in termini di accuratezza della singola predizione, offrendo al contempo una diversità vastamente superiore.
• Distillazione: Il modello studente RGB raggiunge un'inferenza di 30ms (accelerazione di 46x) recuperando circa il 65% della qualità di predizione del docente e mantenendo una parziale multimodalità.
• Generalizzazione ai Fallimenti: Sui cicli di fallimento della produzione, VulcanVoxel mantiene un'alta copertura (>0,80), suggerendo che molti fallimenti di produzione derivino da problemi di esecuzione/feedback di forza piuttosto che da errori percettivi.

Significato e Rivendicazioni
Il documento sostiene che le affordance degli strumenti sono oggetti spaziali e che inferirle nello spazio delle pose SE(3) scarta la struttura geometrica essenziale per il ragionamento sulla fattibilità. Mantenendo l'inferenza nel dominio 3D nativo e utilizzando un obiettivo di ricostruzione, il modello impara "dove le lame si inseriscono" come una condizione geometrica locale piuttosto che "dove le lame sono state inserite" come una distribuzione globale.

Gli autori affermano che questo approccio è una soluzione canonica per l'apprendimento delle affordance di spazio libero nella manipolazione di strumenti rigidi. Essi sostengono che questo principio si estenda oltre lo stivaggio a qualsiasi dominio di manipolazione in cui la compatibilità geometrica sia il vincolo primario, suggerendo che l'inferenza spaziale dovrebbe essere l'approccio predefinito quando i dati di produzione sono abbondanti, anche se tali dati sono unimodali. Il lavoro evidenzia che il collo di bottiglia in tali compiti è spesso il dominio di inferenza (pose vs spazio) e l'obiettivo di addestramento (generativo vs ricostruzione), piuttosto che la capacità del modello o la scala dei dati.