TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

TIGeR is een nieuw raamwerk dat Vision-Language Models transformeert tot nauwkeurige meetkundige computers door het genereren en uitvoeren van code voor externe tools, waardoor robots centimeterprecisie bereiken in real-world manipulatieopdrachten.

De kern

TIGeR: De Robot die niet alleen kijkt, maar ook meet

Stel je voor dat je een robot hebt die heel slim is in het begrijpen van wat hij ziet. Hij kan een foto van een kamer bekijken en zeggen: "Ah, daar staat een stoel links van de tafel." Dat is geweldig, maar voor een echte robot die dingen moet oppakken en verplaatsen, is dat niet genoeg. De robot moet weten: "Hoeveel centimeter is die stoel van de tafel verwijderd?" en "Precies op welke hoogte moet ik mijn hand neerzetten?"

Huidige slimme robots (die op 'Vision-Language Models' draaien) zijn als mensen die alleen met hun ogen kijken. Ze kunnen schatten, maar ze kunnen niet rekenen. Als je vraagt of iets 5 centimeter boven een plant staat, zeggen ze misschien "ja", maar ze kunnen die 5 centimeter niet berekenen. Ze missen de meetlat.

TIGeR (Tool-Integrated Geometric Reasoning) is de oplossing. Het is een nieuw systeem dat robots leert om niet alleen te kijken, maar ook te rekenen met een meetlat in hun hand.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Rekenmachine" in plaats van de "Gokker"

Stel je voor dat je een wiskundig probleem moet oplossen.

• De oude manier: De robot probeert het antwoord te raden door naar de foto te kijken. Het is als een gokker die hoopt dat hij het juiste antwoord heeft. Soms lukt het, maar vaak is het net iets te ver of te dichtbij.
• De TIGeR-manier: De robot zegt: "Ik heb een meetprobleem. Ik ga mijn 'rekenmachine' (een computerprogramma) erbij halen." De robot schrijft een stukje code, geeft de meetgegevens door (zoals hoe ver de camera weg staat) en laat de rekenmachine het exacte antwoord uitrekenen.

In plaats van te gokken, meet de robot. Hij kan zeggen: "De afstand is precies 12,4 centimeter." Dit is cruciaal als je een robotarm wilt sturen om een breekbaar object te pakken; daar mag geen gokken bij komen.

2. De "Bouwmeester" met een gereedschapskist

TIGeR werkt met een slimme samenwerking tussen drie dingen:

1. De Oogballen (De Camera): Die zien de wereld.
2. De Rekenmachine (De Tools): Die doen de zware wiskunde.
3. De Chef (De Robot): Die beslist welke gereedschappen hij nodig heeft.

Stel je voor dat je een huis wilt bouwen. De oude robots waren als iemand die alleen naar de blauwdrukken keek en hoopte dat de muren recht zouden staan. TIGeR is als een bouwmeester die:

• Eerst de muren meet met een laser (gebruik van dieptemeters).
• Dan een berekening maakt op zijn rekenmachine om te zien of de balk past.
• En pas daarna de hamer zwaait.

Het systeem gebruikt speciale "gereedschappen" (software-bibliotheken) om dingen te doen die voor een robot moeilijk zijn, zoals:

• Het omrekenen van een 2D-punt op een scherm naar een 3D-positie in de echte wereld.
• Het berekenen van de zwaartekrachtvector (waar is "omlaag"?).
• Het controleren of er geen botsing is met andere objecten.

3. De "Trainer" met een slimme scorebord

Om deze robot zo slim te maken, hebben de onderzoekers een enorme trainingsset gemaakt genaamd TIGeR-300K. Dit is als een oefenboek met 300.000 voorbeelden.

Maar ze hebben niet alleen de antwoorden gegeven. Ze hebben de robot ook geleerd hoe hij moet denken. Ze gebruiken een slimme trainingsmethode (vergelijkbaar met een trainer die een atleet niet alleen laat rennen, maar ook elke stap bekijkt):

• Fase 1 (Leren): De robot leert welke gereedschappen hij moet gebruiken voor welke vraag.
• Fase 2 (Perfectie): De robot krijgt een "score" voor elke stap die hij zet. Als hij de juiste meetlat pakt, krijgt hij punten. Als hij de juiste code schrijft, krijgt hij punten. Als het eindantwoord klopt, krijgt hij de hoofdprijs.

Dit zorgt ervoor dat de robot niet alleen het juiste antwoord vindt, maar ook op de juiste manier (met de juiste meettechniek) daar komt.

Waarom is dit zo belangrijk?

Vroeger konden robots alleen zeggen: "De beker staat links."
Met TIGeR kan de robot zeggen: "De beker staat 15 centimeter links van de rand, en ik moet mijn hand 3 centimeter lager houden om hem veilig vast te grijpen zonder te stoten."

Dit maakt het mogelijk voor robots om:

• Precies te werken: Denk aan het pakken van een ei zonder het te breken, of het plaatsen van een onderdeeltje in een machine.
• Veilig te zijn: Ze weten precies waar ze niet mogen komen, zelfs als er objecten elkaar overlappen (verstoppen).
• Flexibel te zijn: Ze kunnen nieuwe taken leren zonder dat je ze opnieuw hoeft te programmeren; ze gebruiken gewoon hun gereedschapskist op een nieuwe manier.

Kortom: TIGeR geeft robots een meetlat en een rekenmachine. Het verandert hen van "gokkende kijkers" in "precieze bouwers" die de wereld niet alleen zien, maar ook exact begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics", geschreven in het Nederlands.

Probleemstelling

Huidige Vision-Language Models (VLMs) tonen indrukwekkende vaardigheden in ruimtelijk redeneren, maar zijn fundamenteel beperkt tot kwalitatieve precisie (bijv. "links van", "bereikbaar"). Ze missen de rekenkundige precisie die essentieel is voor robotica in de echte wereld, zoals centimeter-nauwkeurige 3D-posities, rotatiematrices en botsingsvrije trajecten.

De beperkingen manifesteren zich op twee niveaus:

1. Perceptie: Bestaande modellen reduceren rijke meetkundige informatie van dieptezensors en camera's vaak tot beeldachtige representaties, waardoor ze geen gebruik kunnen maken van camera-intrinsieken en -extrinsieken om pixels om te zetten in echte wereldcoördinaten.
2. Output: VLMs voorspellen vaak 3D-bounding boxes via statistische regressie (gebaseerd op patronen) in plaats van deterministische berekeningen. Dit leidt tot hallucinaties en onnauwkeurigheden die onvoldoende zijn voor robotmanipulatie.

Kortom: bestaande benaderingen reduceren geometrisch redeneren tot patroonherkenning, wat de rekenkundige betrouwbaarheid ondermijnt die nodig is voor fysieke robots.

Methodologie: TIGeR Framework

Het paper introduceert TIGeR (Tool-Integrated Geometric Reasoning), een nieuw raamwerk dat VLMs transformeert van "perceptuele schatters" naar "meetkundige computers". In plaats van complexe geometrische operaties te proberen te internaliseren in het neurale netwerk, leert TIGeR het model om:

1. Te herkennen wanneer geometrisch redeneren nodig is.
2. Precieze code te genereren voor de vereiste berekeningen.
3. Externe tools en bibliotheken aan te roepen om exacte berekeningen uit te voeren op gekalibreerde meetkundige inputs.

Belangrijke componenten:

• Tool Categorieën:
  • Visuele Perceptie Tools: Haalt sensorinformatie op (camera-intrinsieken/extrinsieken, dieptedata, objectsegmentatie via SAM2).
  • Meetkundige Berekening Tools: Voert transformaties uit (2D-naar-3D bounding boxes, projecties) en genereert code voor complexe berekeningen (bijv. afstanden, botsingsdetectie) via een code-executor.
• Twee-staps Trainingspipeline:
  1. Supervised Fine-Tuning (SFT): Het model wordt getraind op de TIGeR-300K dataset om basisvaardigheden voor tool-gebruik en code-generatie te leren.
  2. Reinforcement Fine-Tuning (RFT): Gebruikmakend van GRPO (Group Relative Policy Optimization) met een hiërarchisch beloningssysteem. Dit systeem beloont niet alleen het juiste eindantwoord, maar ook het proces:
     • Format Reward: Correctheid van syntax en tokens.
     • Tool Invocation Reward: Juiste selectie van tools en parameters.
     • Parameter Content Reward: Nauwkeurigheid van numerieke parameters (continu vs. discreet).
     • Code Generation Reward: Of de code uitvoerbaar is en correcte output geeft.
     • Answer Reward: Nauwkeurigheid van het eindresultaat ten opzichte van de ground truth.

Dataset: TIGeR-300K

Om dit paradigma te ondersteunen, hebben de auteurs TIGeR-300K ontwikkeld, een dataset van 300.000 samples specifiek gericht op tool-gebruik voor geometrisch redeneren.

• Opbouw: Een hybride aanpak waarbij template-gebaseerde synthese (gebaseerd op CA-1M data) wordt gecombineerd met herschrijvingen door grote taalmodellen (LLM) op basis van CoT (Chain-of-Thought) data.
• Inhoud: Elke sample bevat probleemstellingen, oplossingen, maar vooral de volledige reeks tool-aanroepen en tussentijdse berekeningen. Dit dekt taken zoals punttransformaties, pose-schatting, trajectgeneratie en ruimtelijke compatibiliteitsverificatie.

Resultaten

De experimenten tonen aan dat TIGeR state-of-the-art (SOTA) prestaties levert:

• Benchmarks: TIGeR behaalt een zero-shot nauwkeurigheid van 79,30% op meetkundige redeneerbenchmarks (zoals Q-Spatial++ en RoboSpatial), wat beter is dan geavanceerde modellen zoals Gemini 2.5-Pro (+5,83%).
• Simulatie: In de Open6DOR V2 simulatie (robotmanipulatie) behaalde TIGeR een succespercentage van 83,7%, een aanzienlijke verbetering ten opzichte van VLA-baselines (Octo, OpenVLA) en andere tool-gebaseerde methoden.
• Real-world Robotica: In tests met een UR5 robotarm en een RealSense L515 camera slaagde TIGeR erin centimeter-nauwkeurige taken uit te voeren, zoals het plaatsen van objecten op specifieke afstanden (bijv. "0,1m rechts van") en het omgaan met gedeeltelijke occlusies.
  • Voor de taak "Plaats de hotdog 0,1m rechts van de perzik" behaalde TIGeR 55% succes, terwijl baselines 0-10% haalden.
  • Voor het plaatsen van objecten achter andere objecten (occlusie) haalde TIGeR 60-70% succes, terwijl andere methoden faalden.

Significantie en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Paradigmaverschuiving: Het bewijst dat het integreren van externe rekenkracht (tools/code) in VLMs superieur is aan het proberen om meetkunde te leren via pure datadriven training. Dit lost het probleem van hallucinaties bij numerieke taken op.
2. Interpreteerbaarheid: Door expliciete tool-aanroepen en code-generatie is het redeneerproces transparant en aanpasbaar, in tegenstelling tot "black-box" VLMs.
3. Dataset en Methode: De publicatie van TIGeR-300K en de twee-staps trainingspipeline (SFT + RFT met hiërarchische beloningen) biedt een blauwdruk voor het ontwikkelen van robuuste, meetkundig nauwkeurige robotica-modellen.
4. Praktische Toepasbaarheid: Het maakt robotmanipulatie mogelijk die vereist dat de robot exacte metrische berekeningen uitvoert (bijv. botsingsvermijding, precieze plaatsing), wat een cruciale stap is naar betrouwbare robots in complexe, ongestructureerde omgevingen.

Samenvattend biedt TIGeR een oplossing voor het fundamentele tekort aan rekenkundige precisie in huidige VLMs, waardoor ze effectief kunnen worden ingezet voor real-world robotica die centimeter-nauwkeurigheid vereist.