Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

Technische Samenvatting: GRASP – Taal-geconditioneerd grijpen via neuro-symbolische planning

Probleemstelling
De integratie van robotica in dynamische huishoudelijke en industriële omgevingen vereist dat machines in realtime kunnen adapteren aan natuurlijke taalprompts. Hoewel Vision-Language Models (VLM's) en Large Language Models (LLM's) zero-shot generalisatie in Task and Motion Planning (TAMP) mogelijk hebben gemaakt, kampen huidige state-of-the-art benaderingen met aanzienlijke beperkingen. Veel van deze benaderingen leunen op computationeel "zware" modellen die uitgebreide training vereisen op duizenden demonstraties, of ze zijn afhankelijk van rigide symbolische structuren (bijv. vaste kleurlijsten of hard-coded coördinaten) die niet in staat zijn abstracte ruimtelijke concepten zoals "bovenste plank" te vatten. Bovendien verstrengelen bestaande pipelines hoogwaardige redenering vaak met laagwaardige besturing, wat zorgt voor knelpunten in efficiëntie en modulariteit. Er is een kritieke behoefte aan een framework dat flexibele taalbegrip verbindt met robuuste, interpreteerbare uitvoering zonder de noodzaak van taakspecifieke fine-tuning of policy-leren.

Methodologie: Het GRASP-framework
De auteurs introduceren GRASP (Grounded Reasoning and Symbolic Planning), een lichtgewicht neuro-symbolisch framework ontworpen voor open-vocabulary tafelmanipulatie. GRASP ontkoppelt hoogwaardige redenering van laagwaardige besturing door middel van een twee-componenten architectuur:

1. Neuraal Component (Perceptie en Redenering):

   • Generatie van de Doeltoestand: Een LLM (specifiek GPT-5.2 in de experimenten) analyseert instructies in natuurlijke taal om een expliciete symbolische doeltoestand te genereren. Dit omvat het extraheren van doelobject-queries (bijv. "blauwe objecten") en het mappen van ruimtelijke restricties (bijv. "bovenste plank") naar beeldcoördinaat-drempelwaarden (bijv. $y \leq \tau_1$). De output is een JSON-representatie van gewenste bounding boxes.
   • Objectdetectie: Een vooraf getraind VLM, GroundingDINO (G.DINO), wordt gebruikt om objecten in de scène te detecteren op basis van de door de LLM geëxtraheerde labels. G.DINO is gekozen vanwege het vermogen om detecties te beperken tot een gedefinieerde set labels en de sterke prestaties ten opzien van andere SOTA VLM's. Het biedt een continue stroom van bounding box-detecties van zowel een globale plankcamera als een end-effector camera.

2. Symbolisch Component (Planning en Besturing):

   • Evaluatie van de Doel-gelijkenis: Het systeem berekent een genormaliseerde gelijkenissscore ($S$) tussen de door de LLM gegenereerde doeltoestand en de real-time detecties. Deze score combineert Intersection over Union (IoU) en de Euclidische afstand tussen box-centra. Als de gelijkenis een drempelwaarde overschrijdt of als er gedurende opeenvolgende frames geen objecten worden gedetecteerd, wordt de taak beëindigd.
   • Closed-Loop Bewegingsbesturing: Het systeem maakt gebruik van een discrete-time closed-loop control pipeline. Het berekent de fout tussen het gedetecteerde bounding box-centrum en het optische centrum van de camera. Een proportionele Roll-Pitch-Yaw (RPY) controller past de end-effector van de robot aan op basis van deze fout.
   • Stabilisatiemechanismen: Om stabiliteit te garanderen, maakt de controller gebruik van exponentiële smoothing op de foutsignalen en een deadband om jitter te onderdrukken. Het systeem selecteert het doelobject op basis van de hoogste logit (betrouwbaarheid) van de detector.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

• GRASP Framework: Een neuro-symbolisch systeem dat instructies in natuurlijke taal compileert naar expliciete symbolische doeltoestanden, deze grondigt via een vooraf getrainde VLM zonder extra fine-tuning.
• Zero-Shot Executie: De demonstratie dat closed-loop doel-evaluatie taaktuitleiding mogelijk maakt zonder policy-leren of reinforcement learning.
• Lichtgewicht Pipeline: Een modulaire architectuur die open-vocabulary detectie koppelt aan continue beweging via proportionele besturing, waardoor de computationele overhead van end-to-end leren wordt vermeden.

Experimentele Resultaten
De auteurs evalueerden GRASP over 90 proeven verspreid over drie moeilijkheidsgraden (Easy, Medium, Hard) waarbij verschillende objecten (bijv. blokken, tape, gereedschap) betrokken waren.

• Succespercentages: Het systeem behaalde succespercentages van 86,67% (Easy), 76,67% (Medium) en 56,67% (Hard), wat resulteerde in een algemeen succespercentage van 73,33%.
• Foutanalyse: Prestatievermindering in moeilijkere taken werd primair toegeschreven aan gemiste of incorrecte G.DINO-detecties en hardwarebeperkingen (beperkt gezichtsveld en verminderde beeldkwaliteit op afstand), in plaats van aan fouten in de control-pipeline zelf.
• Ablatie-studies:
  • Closed-Loop vs. Open-Loop: Het verwijderen van de closed-loop feedback (het slechts één keer uitvoeren van de aanpassing) verminderde de succespercentages aanzienlijk, wat de noodzaak van iteratieve aanpassing bevestigt.
  • Smoothing & Deadband: Het verwijderen van deze componenten verslechterde de prestaties, wat aangeeft dat ongecontroleerde correcties instabiliteit introduceren.
  • Doelselectie: Het selecteren van targets op basis van willekeurige logits of een "first-match" strategie presteerde slechter dan het selecteren van de detectie met de hoogste betrouwbaarheid (logit).

Betekenis en Claims
Het artikel positioneert GRASP als een stap richting schaalbare, algemene robotische sorteer- en ordeningsprocessen. De auteurs beweren dat door redenering te ontkoppelen van besturing, GRASP een interpreteerbare en efficiënte oplossing biedt die de noodzaak voor uitgebreide trainingsdata of policy-leren elimineert. Het systeem interpreteert succesvol abstracte ruimtelijke concepten en voert taken uit in open-vocabulary settings. De auteurs merken bescheiden op dat hoewel het huidige werk zich richt op grijpen en uitlijning, een volledige end-to-end sorteerevaluatie (inclusief plaatsverificatie) vanwege hardwarebeperkingen aan toekomstig werk is voorbehouden. Het framework wordt gepresenteerd als een levensvatbaar alternatief voor zware, op training afhankelijke modellen voor dynamische, taal-geconditioneerde manipulatie.