TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

Das Paper stellt TIGeR vor, ein Framework, das Vision-Language-Modelle durch die Generierung und Ausführung präziser geometrischer Berechnungen mit externen Tools von reinen Schätzern zu rechnerischen Systemen weiterentwickelt und so durch ein neues Datenset sowie ein zweistufiges Trainingsverfahren Zentimeter-Genauigkeit für robotische Manipulationsaufgaben erreicht.

Das Wesentliche

Stellen Sie sich vor, ein Roboter ist wie ein sehr kluger, aber etwas chaotischer Maler. Wenn Sie ihm sagen: „Mal mir einen Baum links neben dem Haus", versteht er das sofort. Er kann „links" und „neben" erkennen. Aber wenn Sie ihm sagen: „Stelle die Vase exakt 5 Zentimeter hinter den Baum, damit sie nicht umfällt", wird er ratlos. Er kann schätzen, aber er kann nicht rechnen. Er weiß nicht, wie groß ein Zentimeter in der echten Welt ist, und er hat keine Ahnung, wie man die Entfernung präzise misst.

Das ist genau das Problem, das die Forscher mit ihrer neuen Erfindung, TIGeR, lösen wollen.

Hier ist die Erklärung, wie TIGeR funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Der „Gefühlte" vs. der „Rechner"

Bisherige Roboter-Gehirne (die sogenannten Vision-Language-Modelle) sind wie Menschen, die nur mit dem Gefühl arbeiten. Sie sehen ein Bild und sagen: „Das ist nah", „Das ist weit weg". Das reicht für ein Gespräch, aber nicht für einen Roboterarm, der etwas greifen muss. Wenn ein Roboterarm auch nur einen Millimeter danebenlegt, kann er etwas zerbrechen oder den Auftrag verfehlen.

Die alten Modelle versuchen, diese genauen Zahlen direkt aus dem Gehirn (dem neuronalen Netz) zu „erraten". Das ist wie wenn Sie versuchen, die genaue Entfernung zu einem Berg zu schätzen, ohne ein Maßband zu haben. Das Ergebnis ist oft ungenau.

2. Die Lösung: TIGeR – Der Roboter mit dem Taschenrechner

TIGeR (Tool-Integrated Geometric Reasoning) ändert die Spielregeln. Anstatt dass der Roboter versucht, die Mathematik selbst im Kopf zu behalten, gibt er sich die Erlaubnis, Werkzeuge zu benutzen.

Stellen Sie sich TIGeR wie einen Architekten vor, der nicht selbst den Stein bricht, sondern einen Baumeister (den Code) ruft:

• Der Roboter sieht: „Ich muss etwas 5 cm über die Pflanze halten."
• Der Roboter denkt: „Ich kann das nicht einfach raten. Ich muss rechnen."
• Der Roboter ruft: „Hey, Taschenrechner! Hier sind die Koordinaten der Pflanze und die Kameraeinstellungen. Rechne mir bitte den genauen Punkt aus."
• Das Werkzeug rechnet: Es nutzt echte Daten (wie Tiefensensoren und Kameramessungen), um eine exakte Zahl zu liefern.
• Der Roboter führt aus: Er bewegt den Arm genau dorthin.

TIGeR ist also nicht mehr nur ein „Seher", sondern wird zu einem Rechner, der Code schreibt und ausführt, um die Welt millimetergenau zu verstehen.

3. Der Trainingsplan: Wie lernt der Roboter das?

Damit der Roboter weiß, wann er welche Werkzeuge benutzen muss, haben die Forscher ihn in zwei Phasen trainiert:

• Phase 1: Der Schulunterricht (SFT):
  Man zeigt dem Roboter 300.000 Beispiele (eine riesige Datenbank namens TIGeR-300K). In diesen Beispielen sieht er genau, wie man von einer Frage („Wo ist der Stuhl?") zu einer Lösung geht, indem man Werkzeuge benutzt. Er lernt: „Wenn ich eine Distanz brauche, muss ich diesen speziellen Rechner-Code aufrufen."
• Phase 2: Der Belohnungsspiel-Modus (RFT):
  Jetzt wird es spannend. Der Roboter darf selbst versuchen, Aufgaben zu lösen. Wenn er die richtige Antwort findet, bekommt er Punkte. Aber TIGeR ist besonders: Es gibt nicht nur Punkte für das Endergebnis, sondern auch für den Weg.
  • Hat er das richtige Werkzeug gewählt? (Punkte!)
  • Hat er die richtigen Zahlen in den Code eingegeben? (Punkte!)
  • Hat der Code funktioniert? (Punkte!)
  • Ist das Endergebnis korrekt? (Große Punkte!)

Durch dieses Belohnungssystem lernt der Roboter nicht nur das „Was", sondern auch das „Wie" – und zwar sehr präzise.

4. Was kann TIGeR nun wirklich?

In Tests hat TIGeR gezeigt, dass es Aufgaben meistern kann, bei denen andere Roboter scheitern:

• Präzision: Es kann Objekte platzieren, die genau 10 Zentimeter voneinander entfernt sein müssen.
• Versteckte Dinge: Wenn ein Objekt teilweise verdeckt ist (z. B. ein Becher hinter einer Tasse), kann TIGeR durch Rechnen herausfinden, wo der verdeckte Teil wahrscheinlich ist, und den Arm trotzdem sicher bewegen.
• Komplexe Szenarien: Es kann einen Roboterarm anweisen, einen schwarzen Beutel auf einen Tisch zu legen, ohne mit anderen Dingen zu kollidieren, indem es im Voraus alle möglichen Positionen durchrechnet.

Zusammenfassung

TIGeR ist wie ein Roboter, der aufgehört hat, zu raten, und angefangen hat, zu rechnen. Anstatt zu versuchen, alles auswendig zu lernen, nutzt er externe Werkzeuge (wie einen Taschenrechner oder einen GPS-Empfänger), um die Welt mit Zentimeter-Genauigkeit zu verstehen.

Das Ergebnis? Roboter, die nicht nur „sehen", sondern wirklich verstehen, wo Dinge sind und wie sie sich bewegen müssen, um Aufgaben in unserer echten, dreidimensionalen Welt sicher und präzise zu erledigen. Es ist der Unterschied zwischen jemandem, der schätzt, wie weit der nächste Bus kommt, und jemandem, der die genaue Fahrzeit auf dem Handy nachschlägt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics" auf Deutsch:

Problemstellung

Bestehende Vision-Language-Modelle (VLMs) zeigen zwar beeindruckende Fähigkeiten im räumlichen Verständnis, bleiben jedoch auf qualitative Einschätzungen (z. B. „links von", „erreichbar") beschränkt. Für die reale Robotik ist jedoch quantitative geometrische Präzision im Zentimeterbereich erforderlich (z. B. exakte 3D-Pose, Rotationsmatrizen, kollisionsfreie Trajektorien).
Die aktuellen Ansätze scheitern an zwei Hauptproblemen:

1. Perzeption: Tiefe-Sensoren und Kamerakalibrierungen werden oft nur als bildähnliche Darstellungen verarbeitet, wodurch metrische Informationen (Kameraintrinsika/Extrinsika) für präzise Berechnungen verloren gehen.
2. Ausgabe: VLMs liefern oft statistische Regressionen oder 2D-Pixelvorhersagen statt deterministischer geometrischer Berechnungen. Dies führt zu Fehlern bei Aufgaben, die exakte Manipulation erfordern.

Methodik: TIGeR Framework

TIGeR (Tool-Integrated Geometric Reasoning) definiert VLMs neu: Statt komplexe geometrische Operationen im neuronalen Netz zu internalisieren, agiert das Modell als Steuerungseinheit, die erkennt, wann geometrisches Reasoning nötig ist, Code generiert und externe Werkzeuge zur exakten Berechnung aufruft.

Kernkomponenten:

1. Werkzeugkategorisierung:

   • Visuelle Perzeption: Extraktion von metrischen Daten (z. B. Kameraintrinsika/Extrinsika, Tiefendaten via Depth-Sensoren oder MoGe-2, Segmentierung via SAM2).
   • Geometrische Berechnung: Umwandlung von 2D-Pixeln in 3D-Koordinaten, Pose-Schätzung, Distanzberechnungen und Kollisionsprüfungen.
   • Code-Executor: Das VLM generiert Python-Code, der in einer Sandbox ausgeführt wird, um numerische Ergebnisse zu liefern, die dann in den Reasoning-Prozess zurückgespeist werden.

2. Datensatz: TIGeR-300K
   Ein neu erstellter Datensatz mit 300.000 Beispielen, der speziell für das Aufrufen von Werkzeugen konzipiert ist.

   • Generierung: Eine hybride Methode aus template-basierter Synthese (basierend auf dem CA-1M Datensatz mit 2D/3D-Bounding-Boxes und Tiefenkarten) und LLM-gestütztem CoT-Rewriting (Umwandlung von bestehenden VQA-Daten in Tool-Integrated Reasoning-Formate).
   • Inhalt: Jeder Eintrag enthält Problemstellung, Lösung, vollständige Werkzeug-Aufrufsequenzen und Zwischenergebnisse.

3. Zweistufiger Trainingspipeline:

   • Stage 1: Supervised Fine-Tuning (SFT): Das Modell lernt auf TIGeR-300K, korrekte Reasoning-Ketten mit Werkzeugaufrufen und Code-Generierung zu erstellen.
   • Stage 2: Reinforcement Fine-Tuning (RFT): Nutzung von GRPO (Group Relative Policy Optimization) mit einem neuartigen hierarchischen Belohnungsdesign (Hierarchical Reward Design):
     • Format-Reward: Korrekte Syntax von Tokens und Werkzeugen.
     • Tool-Invocation-Reward: Korrekte Auswahl und Parametrierung der Werkzeuge.
     • Parameter-Content-Reward: Genauigkeit der kontinuierlichen (z. B. Koordinaten) und diskreten Parameter.
     • Code-Generation-Reward: Erfolg der Code-Ausführung und Richtigkeit der Ausgabe.
     • Answer-Reward: Übereinstimmung des Endergebnisses mit dem Ground Truth.

Hauptbeiträge

1. Konzept & Methode: Einführung eines Frameworks, das VLMs von reinen Perzeptoren zu „geometrischen Computern" macht, indem es Code-Generierung und externe Berechnungen für metrische Eingaben integriert.
2. Datensatz: Veröffentlichung von TIGeR-300K, einem großen, tool-orientierten Datensatz für geometrisches Reasoning.
3. Ergebnisse: Nachweis von State-of-the-Art (SOTA) Leistungen auf geometrischen Benchmarks und Erreichung von Zentimeter-Präzision in realen Roboteraufgaben durch die Kombination von SFT und RFT.

Ergebnisse

• Benchmarks: TIGeR erreicht auf öffentlichen Benchmarks für räumliches Verständnis (CV-Bench, BLINK, RoboSpatial) und quantitative geometrische Reasoning (Q-Spatial++) SOTA-Ergebnisse. Es übertrifft Gemini 2.5-Pro um 5,83 % und erreicht eine Genauigkeit von 79,30 % (Zero-Shot).
• Simulation (Open6DOR): In der Simulation für Roboter-Manipulation (Positionierung) erreicht TIGeR eine Erfolgsrate von 83,7 % (durchschnittlich über Level 0 und 1), was eine signifikante Steigerung gegenüber VLA-Baselines (z. B. OpenVLA mit ~40 %) und anderen Tool-Methoden (SoFar mit ~72 %) darstellt.
• Real-World-Robotik: Auf einem UR5-Roboterarm mit RealSense-Kamera wurden vier komplexe Aufgaben getestet (z. B. „Platziere das Hähnchenschenkel 0,1 m rechts vom Pfirsich").
  • TIGeR erreichte eine Erfolgsrate von 55 % bei metrisch präziser Platzierung.
  • Bei Aufgaben mit Verdeckungen (Occlusion) oder komplexen räumlichen Relationen („hinter", „über") lagen die Erfolgsraten bei 60–70 %, während Baselines oft versagten (0–10 %).
  • Das System konnte erfolgreich 3D-Koordinaten berechnen, um Objekte trotz Verdeckung korrekt zu positionieren.

Bedeutung und Ausblick

Die Arbeit adressiert eine kritische Lücke zwischen der semantischen Intelligenz von VLMs und den strengen mathematischen Anforderungen der Robotik. TIGeR beweist, dass die Integration von Code-Generierung und externen Werkzeugen effektiver ist als der Versuch, geometrische Präzision allein durch neuronale Netze zu lernen.
Dies ermöglicht:

• Interpretierbarkeit: Jeder Schritt (Werkzeugaufruf, Code, Zwischenergebnis) ist nachvollziehbar.
• Anpassungsfähigkeit: Neue Werkzeuge können leicht integriert werden, ohne das gesamte Modell neu zu trainieren.
• Robustheit: Die Methode funktioniert auch bei teilweiser Verdeckung und in komplexen Umgebungen, wo reine 2D-Ansätze scheitern.

Zusammenfassend stellt TIGeR einen Paradigmenwechsel dar, der Vision-Language-Modelle für präzise, metrische Roboteraufgaben im echten Leben einsatzfähig macht.