Technische Samenvatting: SpaceTools – Tool-Augmented Ruimtelijk Redeneren via Double Interactive RL

Probleemstelling

Vision-Language Models (VLM's) hebben een sterke kwalitatieve visuele begrip getoond, maar worstelen met de metrisch precieze ruimtelijke redenering die vereist is voor belichaamde toepassingen, zoals robotica. Hoewel recente modellen uitblinken in open-ended visuele vragen, missen ze de geometrische precisie, 3D-bewustzijn en multi-step redeneercapaciteiten die nodig zijn om perceptie te vertalen naar fysieke actie.

Traditionele benaderingen om ruimtelijk redeneren te verbeteren, vertrouwen op het fine-tunen van modellen op taakspecifieke datasets, wat grootschalige annotaties en uitgebreide data-engineering vereist. Bovendien, hoewel het "agentic" paradigma suggereert dat VLM's externe tools (bijv. depth estimators, segmentatiemodellen) kunnen gebruiken om hun capaciteiten aan te vullen, vertrouwen huidige implementaties vaak op handmatige prompting-strategieën of vaste, vooraf gedefinieerde tool-pipelines. Deze beperkingen voorkomen dat modellen optimaal toolgebruik dynamisch ontdekken. Daarnaast creëert het direct toepassen van Reinforcement Learning (RL) op een grote set heterogene tools een evenredig grote zoekruimte, waardoor exploratie faalt.

Methodologie

Het paper introduceert SpaceTools, een framework dat VLM's in staat stelt om meerdere computer vision en robotica tools te coördineren via een nieuw trainingsparadigma genaamd Double Interactive Reinforcement Learning (DIRL).

1. Double Interactive Reinforcement Learning (DIRL)

DIRL is een tweefasig trainingsframework dat is ontworpen om de zoekruimte-uitdagingen van multi-tool RL te overwinnen en de starheid van vaste pipelines te vermijden.

• Fase 1: Teaching Phase (Initialisatie)

  • Doel: Basis tool-gebruikscapaciteiten vaststellen en een sterke initialisatie voor het beleid bieden.
  • Proces: De auteurs combineren twee databronnen:
    1. IRL-getrainde Teacher: Een model dat getraind is via Interactive RL (IRL) met gebruik van slechts één pointing tool. Deze beperkte zoekruimte maakt betrouwbare convergentie mogelijk en genereert gegronde redeneersporen.
    2. Universal Teacher: Een frontier model (bijv. Claude Sonnet 4.5) geprompt om taken op te lossen met de volledige set tools (pointing, segmentatie, 3D bounding boxes, etc.). Alleen trajecten die leiden tot correcte oplossingen worden behouden.
  • Training: Het basis VLM ondergaat Supervised Fine-Tuning (SFT) op een dataset bestaande uit deze sporen (1 deel IRL-teacher, 3 delen Universal-teacher).

• Fase 2: Exploration Phase (Verfijning)

  • Doel: Multi-tool coördinatie verfijnen en leren om diverse redeneertaken aan te pakken.
  • Proces: Het door SFT geïnitialiseerde beleid ondergaat Interactive RL (IRL) met toegang tot de volledige toolset.
  • Mechanisme: Het model interacteert met tools in een multi-turn dialoog. Het genereert redenering (in <thought> tags), roept tools aan (in <tool> tags), ontvangt tool-outputs en iterereert totdat een definitief antwoord wordt geproduceerd (in <answer> tags).
  • Optimalisatie: De auteurs gebruiken Group Relative Policy Optimization (GRPO) om het beleid bij te werken op basis van taakspecifieke beloningen (bijv. nauwkeurigheid voor meerkeuzevragen, IoU voor bounding boxes, geometrische consistentie voor grijpen).

2. Toolshed: Schaalbare Tool Infrastructuur

Om de computationeel intensieve aard van interactieve training met diverse tools te ondersteunen, hebben de auteurs Toolshed ontwikkeld, een gedistribueerde infrastructuur.

• Functie: Het host compute-zware computer vision tools (bijv. SAM2, Depth Pro, RoboRefer, GraspGen) en robotica tools als snelle on-demand services.
• Architectuur: Het ontkoppelt tool-resourcebeheer van de RL/inference workloads, waarbij gebruik wordt gemaakt van resource-isolatie en asynchrone parallelle workers om een hoge throughput en benutting te bereiken tijdens de training.

3. Beloningsontwerp (Reward Design)

Het RL-framework gebruikt genormaliseerde, taakspecifieke beloningen om het leren te sturen:

• Meerkeuze: Binaire beloning (1 voor correct, 0 anders).
• 2D Bounding Boxes: Mean IoU (MIoU).
• Pointing: Genormaliseerde Negatieve Afstand tot Centroid (NNDC), afgekapt met binaire nauwkeurigheid.
• Pose Estimation: IoU tussen de convex hulls van voorspelde en grondwaarheid hoeken.
• Grasp Estimation: Genormaliseerde Negatieve Coördinatenfout (NNCE) om geometrische uitlijning te belonen.

Belangrijkste Bijdragen

1. DIRL (Double Interactive Reinforcement Learning): Een nieuw trainingsparadigma dat VLM's in staat stelt effectieve coördinatie te leren van een grote set heterogene tools. Het combineert uniek teacher-gestuurde supervisie (via single-tool en frontier-model sporen) met interactieve exploratie om het leren te stabiliseren in grote actieruimtes.
2. Toolshed: Een schaalbaar, open-source platform ontworpen om diverse, rekenintensieve vision en robotica tools te hosten, wat hun efficiënt gebruik tijdens interactieve trainingsloops mogelijk maakt.
3. SpaceTools: Een VLM (gebaseerd op Qwen2.5-VL-3B) getraind via DIRL die state-of-the-art prestaties behaalt op ruimtelijke redeneerbenchmarks en betrouwbare real-world manipulatie demonstreert met behulp van een 7-DOF robot als tool.

Experimentele Resultaten

Ruimtelijk Redeneer Benchmarks

SpaceTools werd geëvalueerd op vijf benchmarks: RoboSpatial-Home, BLINK, RefSpatial, CVBench, en BOP-ASK.

• Prestaties: SpaceTools behaalde state-of-the-art resultaten over bijna alle benchmarks en presteerde beter dan propriëtaire modellen (bijv. GPT-5, Claude Sonnet 4.5, Gemini-ER 1.5) en gespecialiseerde open-source ruimtelijke VLM's.
• Vergelijkingen:
  • Overtrof Gemini-ER 1.5 met +7,5% op RoboSpatial.
  • Overtrof Claude Sonnet 4.5 met +24,4% op pose estimation.
  • Overtrof GPT-5 met +8,3% op grasp prediction.
• Ablatie: Het verwijderen van de IRL-getrainde teacher veroorzaakte een scherpe daling in prestaties, met name bij taken die fijne ruimtelijke grounding vereisen. Het verwijderen van de Stage 2 IRL-fase degradeerde ook de prestaties, wat bevestigt dat interactieve exploratie cruciaal is voor het verfijnen van tool-coördinatie. Tool-vrije SFT en RL-baselines presteerden aanzienlijk minder dan SpaceTools (+12% tot +16% op RoboSpatial).

Real-World Robot Manipulatie

De auteurs evalueerden SpaceTools op een 7-DOF robot bij het uitvoeren van pick-and-place taken.

• Succespercentage: SpaceTools behaalde een succespercentage van 86% op pick-and-place taken, waarmee het frontier modellen (GPT-5, Claude Sonnet 4.5) die met dezelfde tools zijn uitgerust, overtrof.
• Efficiëntie: SpaceTools demonstreerde een Time-to-First-Movement (TTFM) van 10 seconden, aanzienlijk sneller dan de 30–36 seconden waargenomen bij andere tool-augmented modellen, wat wijst op efficiënter redeneren en tool-chaining.
• Gedrag: In tegenstelling tot baselines die soms tool-outputs hallucineerden of er niet in slaagden tools coherent te koppelen, leerde SpaceTools om dynamisch strategieën aan te passen (bijv. terugvallen op zelfschatting wanneer een tool faalt) en een gesloten perceptie-actie lus te orkestreren.

Betekenis en Claims

Het paper claimt dat SpaceTools aantoont dat VLM's complexe ruimtelijke redeneercapaciteiten kunnen verwerven door middel van geleerde tool-coördinatie, in plaats van dat zij architecturale wijzigingen of massale, taakspecifieke data-engineering vereisen.

• Schaalbaarheid: Het werk adresseert de schaalbaarheidsuitdaging van tool-augmented redeneren door te laten zien dat interactieve RL, mits goed geïnitialiseerd (via DIRL) en ondersteund door een robuuste infrastructuur (Toolshed), succesvol de combinatorische zoekruimte van meerdere tools kan navigeren.
• Generalisatie: Het model vertoont sterke out-of-distribution generalisatie. Bijvoorbeeld, een model dat primair op één benchmark is getraind (RoboSpatial), vertaalde effectief naar andere (RefSpatial) waar andere fine-tuning benaderingen volledig faalden.
• Embodied AI: De succesvolle integratie van een echte robot als tool valideert het vermogen van het framework om de kloof tussen abstract ruimtelijk redeneren en fysieke manipulatie te overbruggen, wat wijst op een levensvatbaar pad voor het inzetten van agentic VLM's in real-world robotische systemen.

De auteurs concluderen dat hoewel tool-integratie duidelijke winsten oplevert in precieze ruimtelijke grounding, modellen nog steeds uitdagingen ervaren bij het interpreteren van genuanceerde tool-outputs in high-level taken, wat wijst op de voortdurende noodzaak voor onderzoek naar agentic redeneren.