Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Technische Samenvatting: Leren van 3D-affordances voor bladinsertie bij rommelige opslag

Probleemstelling
Robotische opslag houdt in dat een rigide blad in dichtbevolkte, rommelige stoffen bakken wordt ingevoerd om objecten opzij te vegen en ruimte te creëren. Deze taak vereist redeneren over vrije-ruimte affordances: het identificeren van volumes in de 3D-ruimte waar een gereedschap veilig kan navigeren zonder te botsen met de omliggende geometrie. Anders dan oppervlaktecontact-affordances (waarbij een gereedschap een object aanraakt), zijn vrije-ruimte affordances afhankelijk van het navigeerbare volume dat wordt beperkt door de wanden van de bak en geoccludeerde objecten.

Standaard benaderingen behandelen dit als een regressie- of generatief probleem over SE(3)-poses (6-DoF gereedschapplaatsingen). Echter, productiedata is inherent unimodaal: voor elke gegeven bakstatus voert het systeem slechts één strategie uit, ook al bestaan er meerdere geometrisch geldige insertiepaden. Het trainen van generatieve modellen (bijv. flow matching) op deze unimodale pose-data zorgt ervoor dat ze naar een enkele modus convergeren (mode collapse), waardoor ze er niet in slagen de diverse set van geldige geometrische oplossingen te herstellen. Bov�iment redeneren in de pose-ruimte verplaatst de inferentie weg van het domein waar geometrische haalbaarheid van nature gedefinieerd is (3D-bezetting/occupancy), wat het moeilijk maakt om te bepalen of niet-geobserveerde plaatsingen fysiek mogelijk zijn.

Methodologie: VulcanVoxel
De auteurs stellen VulcanVoxel voor, een framework dat de inferentie in het ruimtelijke domein houdt in plaats van deze te projecteren naar de pose-ruimte. De kernhypothese is dat blad-affordances ruimtelijke objecten zijn (subsets van 3D-ruimte) en dien te worden geïnterpreteerd als zodanig.

1. Representatie: Het systeem reconstrueert de scène vanuit een enkele RGB-D frame naar een multi-kanaals 3D-bezettinggrid ($32^3$ voxels). Kanalen coderen:
   • Gecombineerde wand- en objectbezetting ($O_{occupy}$).
   • Alleen objectbezetting ($O_{object}$).
   • Ground-truth bladbezetting ($O_{blade}$).
2. Architectuur: VulcanVoxel maakt gebruik van een 3D U-Net Masked Autoencoder (MAE).
   • Trainingsdoel: In plaats van een pose-distributie te voorspellen, wordt het model getraind om de gemaskeerde bladbezetting-kanaal te reconstrueren, geconditioneerd op de geobserveerde scènegeometrie.
   • Kanaalmaskering: Tijdens de training worden willekeurige combinaties van de drie kanalen gemaskeerd. Dit dwingt het model om inter-kanaal geometrische relaties te leren (bijv. afleiden waar een blad past gegeven de posities van de wand en objecten) in plaats van executiepatronen te memoriseren.
   • Verliesfunctie: Vanwege de schaarste aan blad-voxels gebruikt het model een combinatie van Focal Loss en Dice Loss om klassenonbalans te beheersen en vormcoherentie af te dwingen.
3. Inferentie-pipeline:
   • Het model geeft een 3D-waarschijnlijkheidsveld van geldige bladbezetting uit.
   • Pose-extractie: Geldige verbonden componenten in het bezettingsveld worden geïdentificeerd. Kandidaat SE(3)-poses worden rond deze componenten opgeteld en gescoord op basis van de volumetrische overlap met het voorspelde veld. Dit stelt de pose-extractie uit naar een post-hoc stap, waardoor ruimtelijke redenering eerst plaatsvindt.
4. Distillatie: Om de inferentielatentie aan te pakken (het voxel-naar-voxel model duurt ~2,3s), wordt een gedestilleerde student getraind om bladbezetting direct uit RGB-beelden te voorspellen in ~30ms. Deze student gebruikt een ViT-encoder en een 3D-decoder, waarbij 2D-features naar 3D worden gelift via geometrische restricties afgeleid van camera-kalibratie.

Belangrijkste Bijdragen

1. Ruimtelijke Inferentie voor Vrije-Ruimte Affordances: Het artikel toont aan dat het representeren van affordances als 3D-bezettingvelden, in plaats van als SE(3)-posedistributies, modellen in staat stelt om multi-modale voorspellingen te herstellen uit unimodale productiedata.
2. Representatieve Analyse: Door middel van systematische ablatie (vergelijking van inputmodaliteiten, outputrepresentaties en trainingsdoelen) laten de auteurs zien dat:
   • Werken in het ruimtelijke domein noodzakelijk maar niet voldoende is.
   • Het reconstructiedoel (leren wat geometrisch consistent is) de cruciale factor is die multi-modaliteit mogelijk maakt, wat VulcanVoxel onderscheidt van flow-matching baselines die in hetzelfde ruimtelijke domein opereren.
3. Generalisatie naar Fouten: Het model kan geometrisch geldige vrije-ruimte volumes identificeren, zelfs in bakconfiguraties waar het productiesysteem faalde, waardoor foutieve episodes effectief worden omgezet in informatieve trainingssignalen.
4. StowAffordance Dataset: De release van een grootschalige dataset met meer dan 10.000 echte bladinsertiecycli met RGB-D observaties, SE(3)-trajecten en uitkomstlabels.

Resultaten
Geëvalueerd op 1.000 echte testepisoden (juli 2025) en aanvullende temporele/hoog-geconcentreerde sets:

• Dekking: VulcanVoxel bereikt een Top-5 Dekking (Cov5) van 0,89, wat aanzienlijk beter is dan de beste pose-gebaseerde baseline (Voxel FM Pose) met 0,71. Dit betekent dat in 89% van de scènes ten minste één van de vijf voorspelde poses geometrisch geldig is.
• Multi-modaliteit: VulcanVoxel voorspelt gemiddeld 2,7 verschillende modi per scène met een ruimtelijke spreiding ($\sigma$) van 8,4 cm. In contrast hiermee convergeren flow-matching baselines naar enkele modi ($N_m \approx 1,0$) of produceren ze geometrisch incoherente spreiding.
• Nauwkeurigheid: Hoewel de kosten van een enkele voorspelling van VulcanVoxel iets hoger zijn dan die van de beste pose-gebaseerde baseline (0,81 vs. 0,60), komt het overeen met de productieprestaties op enkele-voorspellingsnauwkeurigheid, terwijl het een veel superieure diversiteit biedt.
• Distillatie: Het RGB-studentmodel bereikt 30ms inferentie (46x versnelling) terwijl het ~65% van de kwaliteit van de docent behoudt en gedeeltelijke multi-modaliteit handhaaft.
• Foutengeneralisatie: Bij productie-foutcycli behoudt VulcanVoxel een hoge dekking (>0,80), wat suggereert dat veel productiefouten voortkomen uit executie/krachtfeedback-problemen in plaats van perceptiefouten.

Betekenis en Claims
Het artikel betoogt dat gereedschap-affordances ruimtelijke objecten zijn, en dat het infereren ervan in de SE(3)-pose-ruimte de geometrische structuur die essentieel is voor haalbaarheidsredenering wegwerpt. Door de inferentie in het natuurlijke 3D-domein te houden en een reconstructiedoel te gebruiken, leert het model "waar bladen passen" als een lokale geometrische conditie, in plaats van "waar bladen werden ingevoerd" als een globale distributie.

De auteurs beweren dat deze aanpak een canonieke oplossing is voor het leren van vrije-ruimte affordances bij rigide gereedschapsmanipulatie. Zij stellen dat dit principe verder reikt dan stowing en toepasbaar is op elk manipulatiedomein waar geometrische compatibiliteit de primaire beperking is, wat suggereert dat ruimtelijke inferentie de standaardbenadering zou moeten zijn wanneer productiedata overvloedig is, zelfs als die data unimodaal is. Het werk benadrukt dat de bottleneck in dergelijke taken vaak het domein van inferentie (pose vs. ruimte) en het trainingsdoel (generatief vs. reconstructie) is, in plaats van modelcapaciteit of dataschaal.