Technische Samenvatting: BRICKCRAFT

Probleemstelling

Autonome robotische assemblage van in elkaar grijpende stenen vormt een formidabele uitdaging op het gebied van manipulatie op lange termijn, waarbij naadloze integratie vereist is van hoogwaardig taakredenering, ruimtelijke verankering en fijnmazige, contactrijke manipulatie. Bestaande monolithische end-to-end controleparadigma's kampen met problemen op lange termijn afhankelijkheden en de uitgebreide data-eisen die nodig zijn om complexe structurele beperkingen te modelleren. Bovendien is het overbruggen van de kloof tussen hoogwaardige semantische plannen en laagwaardige visuele-motorische uitvoering bijzonder moeilijk bij steenassemblage vanwege twee verwarrende factoren: (1) visuele ambiguïteit veroorzaakt door periodieke geometrische eenheden en repetitieve kenmerken, en (2) ruimtelijke multi-modaliteit, waarbij meerdere lokaal geldige maar discrete assemblageposities bestaan voor in elkaar grijpende interfaces. Huidige oplossingen vertrouwen vaak op expliciete kinematische toestanden (gevoelig voor waarnemingsruis) of impliciete doelafbeeldingen (moeilijk fysiek te verankeren), waardoor ze geen robuuste begeleiding bieden voor robots in assemblagescenario's met nauwe toleranties.

Methodologie

Het artikel presenteert BRICKCRAFT, een compositief raamwerk dat is ontworpen om digitale steenontwerpen om te zetten in fysieke producten via drie distincte fasen:

1. Vaakgericht Assemblageredenering

BRICKCRAFT decomposeert assemblagetaken op lange termijn in een reeks uitvoerbare subdoelen met behulp van een assemblage door ontmanteling-strategie.

• Relatieve Formulering: In plaats van absolute posities wordt elke assemblagestap gedefinieerd door een tuple $(b_{ref}, b_{tgt}, \tau)$, waarbij een doelsteen ($b_{tgt}$) wordt bevestigd aan een referentiesteen ($b_{ref}$) binnen de bestaande gedeeltelijke structuur.
• Geometrische Taakcodering: De relatieve ruimtelijke relatie wordt geparametriseerd door een 4D-vector $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$, die discrete ruimtelijke verschuivingen in stud-eenheden en relatieve planaire oriëntatie voorstelt. Deze formulering abstraheert diverse assemblagetaken naar een eindige set van herbruikbare primitieve vaardigheden.
• Zoekalgoritme: Een Depth-First Search (DFS) verkent haalbare ontmantelingspaden vanuit de doeltoestand en valideert kandidaat-bewegingen tegen vier criteria: Connectiviteit ($C_{con}$), Waarneembaarheid ($C_{obs}$), Bedienbaarheid ($C_{op}$) en Stabiliteit ($C_{stab}$).

2. Verankering van Assemblage-intentie (Gesitueerde Handleidingen)

Om de kloof tussen symbolische plannen en fysieke uitvoering te overbruggen, introduceert het raamwerk gesitueerde handleidingen. Deze strategie projecteert abstracte assemblage-intenties op real-time robotwaarnemingen om expliciete ruimtelijke begeleiding te bieden.

• Generatie van Visuele Referenties: Een simulatie-engine (Blender) rendert de verwachte toestand van de assemblage en genereert een fotorealistische afbeelding en semantische maskers voor de globale structuur en de specifieke referentiesteen.
• Segmentatie van Fysieke Entiteiten: Een fijnafgestemd YOLOv8-seg-model segmenteert de fysieke werkruimte om de geassembleerde structuur, de grijper en de doelsteen te identificeren.
• Maskeruitlijning en Tracking: Een affiene transformatie brengt het gesimuleerde referentiemasker in lijn met de fysieke waarneming. Een trackingmodule (SAM 2) handhaaft de temporele consistentie van deze maskers.
• Visuele Augmentatie: Het systeem creëert een "gesitueerde handleiding" door het getrackte referentiemasker over de ruwe cameravoeding te leggen. Gebieden buiten de actieve maskers worden gedimd (verzwakt tot 25% helderheid) met een gradiëntovergang, waardoor een schijnwerper-effect ontstaat dat taakrelevante entiteiten benadrukt en visuele afleiding onderdrukt.

3. Compositieve Visuele-Motorische Uitvoering

De uitvoeringspijplijn koppelt geleerde visuele-motorische vaardigheden onder begeleiding van gesitueerde handleidingen.

• Beleidarchitectuur: De assemblagevaardigheid wordt geformuleerd als een Diffusiebeleid dat is geconditioneerd op dubbelzijdige visuele waarnemingen (verrijkt met de gesitueerde handleiding), proprioceptieve toestand en de taakcodering $\tau$.
• Invoermodaliteiten: Waarnemingen omvatten werkruimte- en polscameraweergaven, de positie van het eind-effectorgedeelte, de grijperstatus en 3D externe krachten die worden geschat uit koppelmomenten om contactbewustzijn te verbeteren.
• Koppeling van Vaardigheden: Taken op lange termijn worden uitgevoerd als een reeks pick- en assemblagevaardigheden: $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$.
• Verificatie: Pre- en post-condities verifiëren de zichtbaarheid van het doel, kinematische haalbaarheid en geometrische consistentie tussen de fysieke toestand en het symbolische plan om foutopstapeling te voorkomen.

Belangrijkste Bijdragen

1. BRICKCRAFT Raamwerk: Een compositief raamwerk voor assemblage van in elkaar grijpende stenen op lange termijn dat taakredenering ontkoppelt van uitvoering.
2. Relatieve Taakformulering: Een nieuwe aanpak die diverse assemblagetaken afbeeldt op een eindige set primitieve vaardigheden door stappen te verankeren aan referentiestenen via relatieve geometrische coderingen.
3. Gesitueerde Handleidingen: Een strategie die symbolische intenties verankert in real-time waarnemingen door taakrelevante entiteiten te segmenteren en te markeren, waardoor visuele ambiguïteit effectief wordt opgelost en expliciete ruimtelijke begeleiding wordt geboden.
4. Empirische Validatie: Uitgebreide experimenten in de echte wereld die sterke compositieve generalisatie tonen naar onbekende structuren.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op een Kinova Gen3-arm met een Robotiq-grijper met behulp van LEGO Duplo-stenen.

• Dataset: 692 demonstratietrajecten over 60+ configuraties, verrijkt met de pijplijn voor gesitueerde handleidingen.
• Prestaties per Stap: BRICKCRAFT behaalde een succespercentage van 86,25% over 240 proeven op 48 distincte structuren (24 gezien, 24 ongezien).
  • Het presteerde significant beter dan baselines: Goal Image-Conditioned Diffusion Policy (GI-DP) en Goal Image-Conditioned $\pi_0.5$ (GI-$\pi_0.5$).
  • GI-DP leed aan een prestatiedaling van 12,5–15,0% op ongezien structuren, terwijl GI-$\pi_0.5$ geblokkeerd bleef onder een succespercentage van 50%.
  • EigenCAM-visualisaties bevestigden dat gesitueerde handleidingen visuele aandacht concentreren op geometrische relaties, terwijl baselines verspreide activeringen vertoonden die vatbaar zijn voor afleiding.
• Prestaties op Lange Termijn: Het systeem voltooide met succes assemblagetaken voor vier distincte structuren (Pyramide, Trap, Huis, Kasteel), inclusief het "Kasteel" dat volledig ongezien was tijdens de training.
  • Voltooiingspercentages waren hoog voor volledig ondersteunde structuren (Pyramide, Trap), maar toonden lichte dalingen voor structuren met niet-ondersteunde middenregio's (Huis, Kasteel) als gevolg van opgehoopte fouten en structurele vervorming.
• Ablatiestudies: De strategie voor het dimmen van de achtergrond voor gesitueerde handleidingen presteerde 10–12,5% beter dan alternatieven met omlijstingskaders, wat suggereert dat gladde overgangen geometrische contouren beter behouden dan kunstmatige randen.

Betekenis en Claims

Het artikel beweert dat BRICKCRAFT de kritieke bottleneck aanpakt van het verankeren van hoogwaardig semantisch redeneren in fysieke uitvoering voor complexe assemblagetaken. Door gesitueerde handleidingen in te voeren, lost het raamwerk effectief visuele ambiguïteit op die inherent is aan repetitieve geometrische structuren, waardoor robots kunnen leren van beperkte demonstraties en generaliseren naar nieuwe, ongezien configuraties.

De auteurs benadrukken dat hoewel individuele vaardigheden bekwaam zijn, de compositieve uitvoeringspijplijn essentieel is voor betrouwbaarheid op lange termijn. Het raamwerk toont aan dat het decomponeren van complexe taken in relatieve, herbruikbare primitieven, gecombineerd met expliciete ruimtelijke begeleiding, een levensvatbaar pad biedt naar intelligente belichaamde systemen die kunnen opereren in complexe, real-world settings. Het werk suggereert dat het overbruggen van symbolisch redeneren met ruimtelijk verankerde atomaire vaardigheden een veelbelovende richting is voor het inzetten van robuuste agenten in bredere manipulatiescenario's, hoewel het huidige systeem beperkt is tot assemblage van in elkaar grijpende stenen en geen reactieve zelfcorrectiecapaciteiten voor foutherstel bezit.