Manual2Skill++: Connector-Aware General Robotic Assembly from Instruction Manuals via Vision-Language Models

1. Probleemstelling

Robotische assemblage heeft de afgelopen decennia aanzienlijke vooruitgang geboekt op het gebied van ruimtelijke redenering en bewegingsplanning. Echter, de meeste bestaande methoden behandelen verbindingselementen (connectors zoals schroeven, pinnen, doweles en mortise-tenen) als een bijzaak of nemen ze als vooraf gedefinieerd aan. In werkelijkheid zijn deze verbindingen de fundamentele fysieke beperkingen die bepalen of een assemblage succesvol is.

De huidige uitdagingen zijn:

• Complexiteit van connectors: Verschillende typen vereisen verschillende acties (bijv. rotatie voor schroeven, precisie-invoering voor pinnen).
• Ontbrekende semantische kennis: Bestaande systemen missen vaak de specifieke kennis over welk connectortype, hoeveel er nodig zijn en waar ze precies geplaatst moeten worden.
• Onnauwkeurigheid: Zonder expliciete modellering van verbindingen zijn pose-schattingen vaak niet nauwkeurig genoeg (centimeter-niveau) voor de millimeter-nauwkeurigheid die fysieke assemblage vereist.

Het doel is om robots in staat te stellen instructiehandleidingen (zoals die van IKEA) te interpreteren om gestructureerde kennis over verbindingen te extraheren en deze direct om te zetten in nauwkeurige robotacties.

2. Methodologie: Manual2Skill++

De auteurs introduceren Manual2Skill++, een visueel-taalframework dat instructiehandleidingen omzet in een gestructureerde representatie van assemblagetaken. De aanpak bestaat uit drie hoofdfasen:

A. Hiërarchische Grafische Representatie

In plaats van alleen objecten te modelleren, wordt de assemblage weergegeven als een hiërarchische graaf $G = \{V, E_{comp}, E_{eqv}, E_{conn}\}$:

• Knopen ($V$): Vertegenwoordigen atomaire onderdelen, sub-assemblages en het eindproduct.
• Compositie-edges: Verbinden ouder- en kindknopen (hoe onderdelen samengesteld worden).
• Equivalentie-edges: Verbinden identieke onderdelen (bijv. vier tafelpoten).
• Verbindings-edges (Kerninnovatie): Deze edges modelleren expliciet de fysieke verbindingen tussen componenten. Ze bevatten attributen zoals:
  • Type verbinding (bijv. schroef, dowel).
  • Aantal connectors.
  • Precieze locatie en oriëntatie van de bevestigingspunten (attachment points) op de onderdelen.

B. Extractie met Vision-Language Models (VLM)

Om deze graaf te genereren vanuit handleidingen, gebruikt het systeem een Reasoning VLM (zoals Gemini-2.5-Pro of GPT-4o) in een tweestaps-prompting-strategie:

1. Stap 1 (Hoog niveau): Het VLM analyseert de handleiding om het aantal en type connectors per stap te identificeren. Dit beperkt de zoekruimte voor de volgende stap.
2. Stap 2 (Lage niveau): Het VLM koppelt de abstracte schetsen in de handleiding aan de gedetailleerde 3D-modellen van de onderdelen. Het voorspelt de exacte paren van bevestigingspunten die door een connector moeten worden verbonden.

Dit proces overbrugt de kloof tussen vage schetsen in handleidingen en precieze 3D-geometrie.

C. Pose-Alignement via Geometrische Optimalisatie

Zodra de verbindingsparen bekend zijn, wordt de relatieve pose tussen onderdelen niet geschat via learning-based methoden, maar direct berekend via geometrische optimalisatie.

• Het probleem wordt geformuleerd als het minimaliseren van de afstand tussen de bevestigingspunten en het aligneren van hun normaalvectoren.
• Formule: $\min_{R,t} \sum (|R x^a_i + t - x^b_i|^2 + \alpha |R n^a_i + n^b_i|^2)$.
• Dit resulteert in millimeter-nauwkeurigheid, wat essentieel is voor robuuste invoer- en vastdraaiacties.

D. Executie en Benchmark

Het systeem voert de assemblage uit in een Isaac Lab-simulatieomgeving. Er zijn vier complexe taken geïmplementeerd (stoel, schoenenplank, vliegtuigmodel, LEGO-figuur) met diverse connectormechanismen (mortise-tenen, doweles, schroeven). Er worden verschillende strategieën getest, waaronder een "Force-Position Hybrid" aanpak die krachtsensoren gebruikt voor fijne aanpassingen bij klemmen.

3. Belangrijkste Bijdragen

1. Expliciete Connector-Modellering: Een nieuwe grafische representatie die verbindingen als primaire entiteiten behandelt, waardoor complexe afhankelijkheden tussen onderdelen en connectors systematisch worden georganiseerd.
2. Manual2Skill++ Framework: Een end-to-end systeem dat VLM's gebruikt om gestructureerde assemblagegrafieken te extraheren uit ongestructureerde handleidingen.
3. Nieuwe Dataset en Benchmark:
   • Een dataset van 21 diverse assemblagetaken (IKEA-meubels, speelgoed, industriële onderdelen) met nauwkeurige 3D-modellen en geannoteerde bevestigingspunten.
   • Een simulatiebenchmark met vier langdurige taken die realistische connectormechanismen (zoals schroefdraad en pinnen) nabootsen, in plaats van vereenvoudigde objecten.

4. Resultaten

De experimenten tonen aan dat de voorgestelde methode aanzienlijk beter presteert dan bestaande baselines:

• Grafische Extractie: Manual2Skill++ (met Reasoning VLM) bereikt een F1-score van 63,42% en een succesrate van 49,41% voor het correct voorspellen van verbindingsparen. Dit is een aanzienlijke verbetering ten opzichte van willekeurige steekproeven (2,35%) en geometrische matching (0,00%). Zelfs bij onvolledige handleidingen blijft het systeem robuust.
• Pose-Alignement: De constraint-based optimalisatie bereikt een Chamfer Distance van 0,005 en een Part Accuracy van 94,4%. Dit is een drastische verbetering ten opzichte van baselines zoals SingleImage (0,043 PA) en Manual2Skill (0,254 PA), die vaak centimeterfouten maken.
• Executie: Met de Force-Position Hybrid strategie worden succespercentages van 73,7% tot 81,6% bereikt over alle complexe taken. Willekeurige zoekstrategieën falen bijna volledig (<4%).

5. Betekenis en Impact

Dit werk is significant omdat het de kloof overbrugt tussen hoog niveau taakplanning (wat moet er gebeuren?) en laag niveau robotcontrole (hoe moet het precies gebeuren?).

• Generalisatie: Het systeem is niet beperkt tot één type object, maar werkt over een breed scala aan domeinen (meubels, speelgoed, industrie) door gebruik te maken van de universele structuur van instructiehandleidingen.
• Robuustheid: Door expliciete verbindingen te modelleren, elimineert het de onzekerheid die vaak leidt tot mislukte assemblage in de praktijk.
• Toekomstperspectief: Manual2Skill++ legt de basis voor echt algemene assemblagesystemen die kunnen leren van menselijke instructies zonder dat er enorme hoeveelheden gespecificeerde trainingsdata voor elke specifieke taak nodig zijn. Het benadrukt dat het begrijpen van hoe onderdelen fysiek verbonden zijn, de sleutel is tot succesvolle robotica.