CLASP: Closed-loop Asynchronous Spatial Perception for Open-vocabulary Desktop Object Grasping

Probleemstelling

Robotische grijpacties op bureau-achtige oppervlakken zijn essentieel voor toepassingen in intelligente productie, logistiek en landbouw. Hoewel Vision-Language Models (VLMs) veelbelovend zijn voor robotmanipulatie vanwege hun semantisch begrip, stuiten ze op drie kritieke uitdagingen bij de implementatie voor laag-niveau grijpen:

1. Schaarste aan hoogwaardige data: Er is een gebrek aan hoogwaardige multimodale demonstratiegegevens voor training.
2. Ruimtelijke hallucinaties: VLMs missen vaak fijne geometrische verankering (geometric grounding), wat leidt tot onnauwkeurige of onmogelijke grijppunten.
3. Fragiliteit van open-loop systemen: Bestaande systemen werken vaak in een open-lus (zonder feedback), wat ze kwetsbaar maakt voor fouten in dynamische omgevingen of bij complexe objecten.

Methodologie: CLASP Framework

De auteurs stellen CLASP (Closed-loop Asynchronous Spatial Perception) voor, een nieuw asynchroon gesloten-lus framework dat multimodale waarneming, logisch redeneren en feedback-integratie combineert. Het systeem bestaat uit drie hoofdblokken:

1. Dual-Pathway Hierarchical Perception (Twee-weg hiërarchische waarneming):

   • Dit module ontkoppelt hoog-niveau semantische intentie van fijnkorrelige geometrische verankering.
   • Semantisch pad: Genereert een dichte embedding voor globale inferentie.
   • Geometrisch pad: Detecteert objecten, segmenteert ze en berekent expliciete pose- en centroid-descriptoren.
   • Resultaat: Het model output gestructureerde actie-tupels (bijv. 2D contactpunten en hoeken) in plaats van vage beschrijvingen, wat ruimtelijke hallucinaties reduceert en deterministische controle mogelijk maakt.

2. Asynchronous Closed-Loop Evaluator (Asynchroon gesloten-lus evaluator):

   • Dit is een "Judger"-module die de staat van het systeem voor en na de uitvoering vergelijkt.
   • Als een greep mislukt of het object niet in de juiste zone terechtkomt, genereert de module tekstuele diagnostische feedback.
   • Deze feedback wordt gebruikt om een heuristische correctie toe te passen (bijv. het verplaatsen van het grijppunt naar het centrum van het object) en de redenatie-module opnieuw te activeren. Dit creëert een robuuste foutcorrigerende lus die het systeem bestand maakt tegen dynamische veranderingen.

3. Scalable Multi-modal Data Engine:

   • Een geautomatiseerde pijplijn die hoogwaardige ruimtelijke annotaties en redeneertemplates synthetiseert uit zowel echte als synthetische scènes.
   • Dit elimineert de noodzaak voor menselijke tele-operatie voor het verzamelen van trainingsdata.

Belangrijkste Bijdragen

• Ontkoppeling van Semantiek en Geometrie: Een nieuwe architectuur die semantische intentie (wat moet er gebeuren) scheidt van geometrische precisie (waar moet er gegrepen worden), wat leidt tot betrouwbaardere grijpacties.
• Asynchroon Foutcorrigerend Systeem: In plaats van blokkerende open-loop uitvoering, gebruikt CLASP een asynchroon evaluatiemodule die feedback geeft in tekstvorm, waardoor het systeem zichzelf kan corrigeren tijdens het proces.
• Geautomatiseerde Data-Generatie: Een schaalbare engine die trainingsdata genereert zonder menselijke tussenkomst, wat de barrière voor het trainen van VLMs voor robotica verlaagt.

Resultaten

De methode is uitgebreid getest in de ManiSkill-simulatieomgeving en op een fysieke WidowX 250S 6-DoF robotarm.

• Algemene Succesratio: CLASP bereikte een 87,0% algehele succesratio, wat aanzienlijk hoger is dan bestaande baselines zoals Qwen3-VL (72,27%), Doubao-Seed (68,67%) en AnyGrasp (56,53%).
• Prestatie per Categorie:
  • Tools (Gereedschap): CLASP scoorde 77,0% (tegenover 46,4% bij Qwen3-VL), wat aantoont dat het systeem uitstekend omgaat met complexe geometrieën die traditionele modellen verwarren.
  • Speelgoed & Blokken: Hoge successcores, hoewel er een lichte daling was bij blokken na fine-tuning vanwege beperkte trainingsdata voor deze specifieke vorm.
• Efficiëntie: Door het gebruik van asynchrone uitvoering (Reasoner en Judger draaien in aparte threads) werd de totale uitvoeringstijd met 39,8% verminderd en de variantie in uitvoeringstijd met 59,5% verlaagd ten opzichte van een streamende (sequentiële) policy.
• Real-world Validatie: Experimenten met fysieke hardware toonden aan dat CLASP nauwkeurige grijppunten selecteert (bijv. bij een moersleutel), terwijl baselines vaak ongeschikte punten op de randen van objecten kiezen of volledig falen.

Betekenis en Impact

Dit paper biedt een oplossing voor de "sim-to-real" kloof en de beperkingen van huidige VLM-toepassingen in de robotica.

• Robuustheid: Het systeem is bijzonder effectief in rommelige omgevingen en bij objecten met complexe geometrieën (zoals gereedschap), waar open-loop systemen vaak falen.
• Generalisatie: Het framework toont sterke generalisatievermogen voor open-vocabulaire objecten zonder dat er specifieke fine-tuning nodig is voor elk nieuw objecttype.
• Toekomstperspectief: De aanpak legt de basis voor toekomstige systemen die langere reeksen van manipulatie-acties (long-horizon tasks) kunnen uitvoeren met een hoge mate van autonomie en zelfcorrectie.

Kortom, CLASP bewijst dat het combineren van semantisch redeneren met een gesloten-lus, asynchroon feedbacksysteem de betrouwbaarheid van robotgrijpen in ongestructureerde omgevingen aanzienlijk verbetert.