Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. Problemstellung

Roboter-Manipulationsaufgaben erfordern 3D-Mesh-Rekonstruktionen unterschiedlicher Qualität. Während dexterous Manipulation (geschicktes Greifen) feine Oberflächendetails benötigt, toleriert kollisionsfreie Bewegungsplanung grobere Darstellungen. Es existieren verschiedene Rekonstruktionsmethoden mit unterschiedlichen Kosten-Nutzen-Abwägungen:

• Bild-zu-3D-Modelle (Viewpoint-dependent): Diese Modelle (z. B. TripoSR, Hunyuan3D) generieren 3D-Modelle aus einem einzigen Bild. Ihre Qualität hängt stark vom Eingabeblickwinkel ab (z. B. sind Frontalansichten oft schwieriger zu rekonstruieren als Eckenansichten). Sie sind schnell, aber die Ausgabequalität variiert.
• View-invariante Methoden: Verfahren wie strukturiertes Licht oder Laserscanning liefern qualitativ hochwertige Ergebnisse, die unabhängig vom initialen Roboter-Blickwinkel sind, erfordern jedoch zusätzliche Sensierungszeit und Hardware.

Das zentrale Problem besteht darin, dass kein einzelnes Modell für alle Eingaben und Aufgaben optimal ist. Das Abfragen aller Modelle für jede Eingabe ist rechnerisch prohibitiv. Bisherige Ansätze in der Robotik wählen oft ein festes Modell aus, was potenzielle Gewinne durch eine adaptive Auswahl verpasst. Zudem müssen in der Robotik oft mehrdimensionale Kosten (Latenz, Speicher, monetäre Kosten) berücksichtigt werden, was einfache skalare Trade-offs unzureichend macht.

2. Methodik: SCOUT Framework

Die Autoren stellen SCOUT (Score-Conditioned Optimal Utility Targeting) vor, ein Routing-Framework, das die Auswahl des besten Rekonstruktionsmodells für eine gegebene Eingabe priorisiert, unter Berücksichtigung von Kostenbeschränkungen.

Kernidee: Entkopplung der Scores
SCOUT zerlegt die Rekonstruktions-Scores in zwei Komponenten, um Skalierbarkeit und Flexibilität zu gewährleisten:

1. Relative Leistung viewpoint-abhängiger Modelle: Erfasst durch eine gelernte Wahrscheinlichkeitsverteilung $\hat{p}$. Dies beschreibt, welches der schnellen Bild-zu-3D-Modelle für ein bestimmtes Bild relativ besser abschneidet.
2. Gesamtschwierigkeit des Bildes: Erfasst durch einen skalaren Schätzwert für die Partitionfunktion $\hat{z}$. Dies gibt an, wie schwer das Bild insgesamt zu rekonstruieren ist (z. B. schlechte Beleuchtung oder degenerierte Ansichten).

Architektur und Ablauf:

• Preprocessing: Die Scores aller Modelle werden in eine Gruppe von viewpoint-abhängigen Modellen ($k_1$) und viewpoint-invarianten Methoden ($k_2$) unterteilt. Um Rauschen zu reduzieren, werden die Scores der viewpoint-abhängigen Modelle mittels semantischer Tags geglättet.
• Lernen der relativen Verteilung ($\hat{p}$): Ein neuronales Netz wird trainiert, um die Eingabebilder auf eine Wahrscheinlichkeitsverteilung über die viewpoint-abhängigen Modelle abzubilden. Dies geschieht mittels KL-Divergenz auf der Softmax-Verteilung der geglätteten Scores. Dies ermöglicht es dem Netz, nur die relative Leistung zu lernen, unabhängig von der absoluten Bildschwierigkeit.
• Schätzung der Partitionfunktion ($\hat{z}$): Ein zweites überwachtes Modell (Ridge-Regression) schätzt den Skalierungsfaktor $\hat{z}$, der notwendig ist, um die relativen Wahrscheinlichkeiten zurück in absolute Scores zu transformieren. Dies ermöglicht den direkten Vergleich mit den Scores der viewpoint-invarianten Methoden.
• Routing-Entscheidung: Zum Inferenzzeitpunkt wird das Modell $\hat{m}$ ausgewählt, das den Nutzen maximiert:
  $$\hat{m} = \arg\max_{m_j \in M} (\hat{s}(x, m_j) - c_j)$$
  wobei $\hat{s}$ der rekonstruierte Score (basierend auf $\hat{p}$ und $\hat{z}$) und $c_j$ die Kosten des Modells sind.

Vorteile der Entkopplung:

• Skalierbarkeit: Da das Netz nur über die viewpoint-abhängigen Modelle lernt, können neue viewpoint-invarianten Methoden (z. B. neue Scanner-Konfigurationen) hinzugefügt oder entfernt werden, ohne das Netz neu trainieren zu müssen.
• Flexibilität: Das System unterstützt beliebige Kostenvektoren $c \in \mathbb{R}^k$ zum Inferenzzeitpunkt, ohne Nachtraining.

3. Wichtige Beiträge

1. Erste Formulierung des Model-Routings für 3D-Rekonstruktion: Ein Framework, das sowohl viewpoint-abhängige als auch -invariante Methoden unter beliebigen Kostenbeschränkungen vereint.
2. Theoretisch fundierte Partitionfunktion: Ein Proxy, der absolute Scores aus der gelernten relativen Verteilung mit nachweisbar optimaler Gewichtung wiederherstellt.
3. Entkopplungsprozedur: Eine Methode, die die Bildschwierigkeit von der relativen Modellleistung trennt, was es ermöglicht, viewpoint-invariante Methoden ohne Nachtraining zu integrieren.

4. Ergebnisse

Das Framework wurde auf drei Datensätzen (Google Scanned Objects, BigBIRD, YCB) und unter verschiedenen Metriken (DCD, IoU, Eval3D) evaluiert.

• Vergleich mit Baselines: SCOUT übertrifft konsistent Routing-Baselines, die aus der LLM-Literatur adaptiert wurden (z. B. ZOOTER, RouterDC, MLP, kNN, Lineare Regression), über verschiedene Kostenvektoren hinweg.
• Robustheit: Die Leistung ist über verschiedene Qualitätsmetriken hinweg stabil, auch bei schwierigen Szenarien wie degenerierten Ansichten (Frontalansichten) und variierenden Lichtverhältnissen.
• Robotik-Experimente:
  • Greifplanung: SCOUT reduzierte die Kollisionsrate von Greifvorschlägen und erhöhte die Mesh-IoU im Vergleich zu festen Modellen.
  • Dexterous Manipulation: In Simulationen führte die adaptive Auswahl zu höheren Erfolgsraten bei komplexen Greifaufgaben, da hier die Oberflächengenauigkeit kritisch ist.
  • Real-World: Auf einem Franka Panda-Roboter zeigte SCOUT in Pick-and-Place-Experimenten, dass es je nach Schwierigkeit des Blickwinkels automatisch zwischen schnellen (niedrige Latenz) und hochwertigen (hohe Genauigkeit) Modellen wechselt.

5. Bedeutung und Ausblick

Die Arbeit adressiert ein kritisches Problem in der Robotik: die effiziente Nutzung heterogener 3D-Rekonstruktionsmodelle unter Ressourcenbeschränkungen.

• Praktische Relevanz: SCOUT ermöglicht Robotern, dynamisch zwischen Geschwindigkeit und Genauigkeit zu wählen, basierend auf der aktuellen Aufgabe (z. B. grobe Kollisionsvermeidung vs. präzises Manipulieren) und der Qualität des Eingabebildes.
• Zukunftsperspektiven: Die Autoren sehen Potenzial darin, das Routing in geschlossene Regelkreise zu integrieren, wo Feedback aus Manipulationsaufgaben die zukünftigen Entscheidungen verbessert, sowie die Skalierung auf größere Modellpools und die Integration echter Hardware-Scanner (view-invariant) zu erforschen.

Zusammenfassend bietet SCOUT einen theoretisch fundierten und praktisch überlegenen Ansatz, um die Lücke zwischen der Vielfalt moderner 3D-Rekonstruktionsmodelle und den spezifischen Anforderungen robuster Robotikanwendungen zu schließen.