VeriGraph: Scene Graphs for Execution Verifiable Robot Planning

Probleemstelling

Robotica-systemen die complexe manipulatieopdrachten in de echte wereld moeten uitvoeren, kampen met twee fundamentele uitdagingen:

1. Ruimtelijk redeneren: Robots moeten de fysieke wereld begrijpen, inclusief objectlocaties en de relaties tussen objecten (bijv. "een kopje staat op een boek"). Zonder dit inzicht kunnen robots plannen maken die fysiek onuitvoerbaar zijn (bijv. proberen een boek op te tillen terwijl er een kopje bovenop staat, wat leidt tot het vallen en breken van het kopje).
2. Onnauwkeurigheid van VLM's: Hoewel Vision-Language Models (VLM's) en Large Language Models (LLM's) indrukwekkende redeneervermogens hebben, genereren ze vaak foutieve actiesequenties of plannen die fysieke beperkingen negeren. Bestaande methoden die direct op ruwe pixel-data plannen, worstelen met ruis en irrelevante visuele variaties die het hoog-niveau redeneren bemoeilijken.

Methodologie: VeriGraph

VeriGraph is een nieuw raamwerk dat VLM's en LLM's integreert voor robotplanning, maar met een cruciale toevoeging: verificatie via scene graphs. Het systeem werkt in een iteratieve cyclus:

1. Scene Graph Generatie:

   • Het systeem neemt een startbeeld (en optioneel een doelbeeld of taalopdracht) als input.
   • Een VLM (zoals GPT-4V) genereert een scene graph ($G = \{V, E\}$). Dit is een gestructureerde representatie waarbij knopen ($V$) objecten vertegenwoordigen en randen ($E$) de ruimtelijke relaties (zoals "op", "in") beschrijven.
   • Dit abstracte model filtert pixelruis uit en focust op essentiële objectinteracties.

2. Taakplanning (Task Planning):

   • Een LLM-based planner ($P$) genereert een reeks hoog-niveau acties om de start-scene graph ($G_i$) te transformeren naar de doel-scene graph ($G_g$).
   • De planner werkt niet direct met pixels, maar met de symbolische structuur van de graph.

3. Iteratieve Planning en Verificatie:

   • Dit is het kerninnovatiepunt. In plaats van een volledig plan in één keer te genereren, werkt VeriGraph iteratief.
   • De planner stelt een beperkt aantal acties voor (bijv. $k$ acties).
   • Een verificator controleert elke voorgestelde actie tegen de huidige state van de scene graph en een set van beperkingen ($C$) (pre- en post-condities).
     • Voorbeeld: Om een object te verplaatsen, moet het eerst vrij zijn van andere objecten die erop rusten.
   • Als een actie de beperkingen schendt, genereert het systeem feedback en wordt het plan aangepast (replanning).
   • Als de actie geldig is, wordt deze uitgevoerd (in simulatie of op de robot) en wordt de scene graph bijgewerkt (randen verwijderd/toegevoegd).
   • Dit proces herhaalt zich totdat de doelgraph is bereikt of een foutdrempel wordt overschreden.

4. Doeldefinitie:

   • VeriGraph ondersteunt flexibele doelspecificatie via natuurlijke taal ("Zet de kom op het bord") of een referentieafbeelding. In beide gevallen wordt een doel-scene graph gegenereerd om als referentie te dienen.

Belangrijkste Bijdragen

• Modulair Framework: Een systeem dat scene graphs gebruikt als zowel de representatie voor planning als het mechanisme voor verificatie, wat efficiënt, beperkingsbewust plannen mogelijk maakt.
• Iteratief Verificatiemechanisme: Een methode die automatisch fouten in plannen detecteert en corrigeert door graph-operaties te valideren, zonder menselijke tussenkomst.
• Unificatie van Doelspecificatie: Het vermogen om plannen te genereren op basis van zowel tekstuele instructies als referentieafbeeldingen door deze om te zetten in een gestructureerde scene graph.
• Robuustheid: Het systeem is minder gevoelig voor visuele ruis dan methoden die direct op pixels plannen, omdat het werkt op een abstracte, symbolische laag.

Resultaten

De auteurs hebben VeriGraph getest op diverse datasets (keuken, serviesgoed, blokken, tangram-puzzels) en vergeleken met state-of-the-art baselines zoals VILA en SayCan.

• Prestaties: VeriGraph presteert significant beter dan bestaande methoden:
  • +58% verbetering bij taalgebaseerde taken.
  • +56% verbetering bij tangram-puzzel taken.
  • +30% verbetering bij taken gebaseerd op afbeeldingen.
• Ablatie-studies:
  • Het iteratieve planningsproces (met feedback) presteert over het algemeen beter dan een "single-shot" planner zonder verificatie.
  • De nauwkeurigheid is sterk afhankelijk van de kwaliteit van de gegenereerde scene graph. Wanneer de ground-truth scene graph wordt gebruikt, bereikt het iteratieve planner bijna 100% succes, wat aangeeft dat de beperkingen van het systeem voornamelijk liggen in de detectie van objecten en relaties, niet in het planningsalgoritme zelf.
• Real-world Executie: Het systeem is succesvol gedemonstreerd op een fysieke robot voor het uitvoeren van manipulatieopdrachten, waarbij hoog-niveau plannen worden vertaald naar lage-niveau robotcommando's.

Betekenis en Toekomstperspectief

VeriGraph markeert een belangrijke stap in het overbruggen van de kloof tussen visuele waarneming en fysieke uitvoering in robotica. Door de wereld te modelleren als een gestructureerde scene graph, kunnen robots fysieke beperkingen expliciet redeneren en plannen die "uitvoerbaar" zijn voordat ze worden uitgevoerd.

De belangrijkste implicatie is dat verificatie net zo belangrijk is als generatie. Het paper toont aan dat het toevoegen van een feedbacklus die plannen valideert tegen een gestructureerd wereldmodel, de betrouwbaarheid van robotplanning drastisch verhoogt.

Beperkingen en Toekomst:
De prestaties van VeriGraph zijn afhankelijk van de nauwkeurigheid van de gegenereerde scene graphs. Fouten in objectdetectie of het interpreteren van ruimtelijke relaties (bijv. door monocular images) kunnen leiden tot ongeldige plannen. Toekomstig werk zal zich moeten richten op het verbeteren van de robuustheid van scene graph-generatie, mogelijk door het combineren van krachtige cloud-VLM's voor detectie met lokale LLM's voor planning om kosten te verlagen.