Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

Titel: Welk reconstructiemodel moet een robot gebruiken? Routing van Image-to-3D-modellen voor kostenefficiënte robotmanipulatie

Auteurs: Akash Anand, Aditya Agarwal, Leslie Pack Kaelbling (MIT)

---

1. Het Probleem

Robotmanipulatie taken vereisen 3D-mesh-reconstructies van variërende kwaliteit.

• Dexterous manipulatie (vaardige handelingen) vereist fijne oppervlaktedetails.
• Kollisiestrije planning kan vaak werken met grovere representaties.

Er zijn diverse reconstructiemethoden beschikbaar met verschillende kosten-kwaliteit trade-offs:

1. Image-to-3D-modellen: Deze genereren 3D-modellen vanuit één afbeelding (bijv. TripoSR, Hunyuan3D). Hun kwaliteit hangt sterk af van het invoerpunt (viewpoint). Een frontaal beeld kan bijvoorbeeld slechter worden gereconstrueerd dan een hoekbeeld.
2. View-invariante methoden: Methoden zoals gestructureerd lichtscannen leveren kwaliteit die onafhankelijk is van het startpunt van de robot, maar vereisen extra sensortijd en hardware.

De uitdaging: Het uitvoeren van alle modellen voor elke invoer is computatievermogen- en tijdverspillend. Bestaande werken kiezen vaak één vast model, wat suboptimaal is omdat geen enkel model in alle situaties (verschillende objecten, hoeken en kostendruk) het beste presteert. Er is een mechanisme nodig om per invoer het meest geschikte model te selecteren op basis van de gewenste kwaliteit en beschikbare kosten (latentie, geheugen, etc.).

---

2. Methodologie: SCOUT

De auteurs introduceren SCOUT (Score-Conditioned Optimal Utility Targeting), een routing-framework dat het probleem van modelselectie oplost door reconstructiescores te ontkoppelen.

Kernidee: Ontkoppeling van Scores

In plaats van één netwerk te trainen dat alle modellen direct vergelijkt, deconstructeert SCOUT de reconstructiescore in twee componenten:

1. Relatieve prestaties (Viewpoint-afhankelijk): Een geleerde waarschijnlijkheidsverdeling ($\hat{p}$) die voorspelt welk viewpoint-afhankelijk model (Image-to-3D) het beste presteert voor een specifieke invoer.
2. Algemene moeilijkheidsgraad (Viewpoint-onafhankelijk): Een schatting van de partitiefunctie ($\hat{z}$), een scalair getal dat de algehele moeilijkheid van de invoerbeeld vastlegt.

Waarom deze aanpak?

• Scalabiliteit: Omdat het geleerde netwerk ($\hat{p}$) alleen werkt over de viewpoint-afhankelijke modellen, kunnen view-invariante methoden (zoals scannen) worden toegevoegd, verwijderd of geherconfigureerd zonder het model opnieuw te hoeven trainen.
• Flexibiliteit: Het systeem ondersteunt willekeurige kostenvectoren ($c \in \mathbb{R}^k$) tijdens de inferentie. Dit is cruciaal voor robotica, waar kosten vaak multidimensionaal zijn (bijv. een combinatie van geheugengebruik en latentie), in tegenstelling tot de lineaire trade-offs die vaak in LLM-routing worden gebruikt.

Het Proces

1. Preprocessing: Scores worden gegroepeerd op semantische categorieën ("tags") om ruis te verminderen (score smoothing).
2. Leren: Een neurale netwerk leert de verdeling $\hat{p}$ via KL-divergentie op de gesmoothde scores. Dit focust op de relatieve prestaties, niet op absolute waarden.
3. Schatting van $\hat{z}$: Een tweede model (Ridge-regressie) schat de partitiefunctie $\hat{z}$ om de absolute scores te herstellen. Dit gebeurt via een gewogen gemiddelde van proxies, waarbij de gewichten zijn afgeleid om de variantie van de ruis te minimaliseren.
4. Utility Optimalisatie: De uiteindelijke score voor een model $m_j$ wordt berekend als:
   • Voor viewpoint-afhankelijke modellen: $T \cdot \ln(\hat{p}_j \cdot \hat{z})$
   • Voor view-invariante modellen: Vaste score $s_{inv}$.
     De router kiest het model dat $s(x, m) - c(m)$ maximaliseert.

---

3. Belangrijkste Bijdragen

1. Eerste formulering van model-routing voor 3D-reconstructie: Een framework dat zowel viewpoint-afhankelijke als view-invariante methoden combineert onder willekeurige kostenbeperkingen.
2. Theoretisch onderbouwde partitiefunctie-proxy: Een methode om absolute scores te herwinnen uit een relatieve verdeling met een bewezen optimale weging, wat stabielere training mogelijk maakt.
3. Ontkoppeling van moeilijkheid en prestatie: Een procedure die het mogelijk maakt om view-invariante methoden dynamisch toe te voegen zonder hertraining, wat essentieel is voor robuuste robotica.

---

4. Resultaten

Het framework is geëvalueerd op drie datasets: Google Scanned Objects (GSO), BigBIRD en YCB, onder verschillende mesh-kwaliteitsmetrieken (DCD, IoU, Eval3D).

• Vergelijking met Baselines: SCOUT presteert consistent beter dan routing-baselines die zijn overgenomen uit de LLM-literatuur (zoals ZOOTER, RouterDC, MLP, kNN, Lineaire Regressie).
  • Op de GSO-dataset bereikte SCOUT de laagste "regret" (afwijking van de optimale keuze) over verschillende kostensubruimtes.
  • Het systeem is robuust over verschillende metrieken, van volume-gebaseerde (IoU) tot oppervlakte-gebaseerde (DCD).
• Robuustheid: Zelfs bij complexe, "degenererende" viewpoints (zoals frontaal kijken) en variërende belichting (BigBIRD/YCB), selecteert SCOUT het juiste model.
• Robotica-experimenten:
  • Grasping: In simulatie en op een echte Franka Panda-robot leidde SCOUT tot een lagere botsingskans (collision rate) en een hogere succesratio voor dexterous manipulatie.
  • Adaptiviteit: Voor moeilijke viewpoints (bijv. een blik van bovenaf) selecteerde SCOUT een hoogwaardig maar traag model (Hunyuan3D). Voor eenvoudigere viewpoints koos het een sneller model (TRELLIS), wat de latentie verlaagde zonder kwaliteit te verliezen.

---

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen snelle, maar onvoorspelbare Image-to-3D-modellen en betrouwbare, maar trage traditionele scanningmethoden.

• Efficiëntie: Door slim te routeren, vermijdt robots het uitvoeren van dure berekeningen wanneer ze niet nodig zijn.
• Veiligheid en Kwaliteit: Het zorgt ervoor dat de juiste detailniveaus worden gebruikt voor de specifieke taak (bijv. fijne details voor het vastgrijpen van een broos object versus grove geometrie voor navigatie).
• Toekomstbestendigheid: De architectuur maakt het mogelijk om nieuwe reconstructiemodellen of sensoren toe te voegen zonder het hele systeem opnieuw te hoeven trainen, wat essentieel is voor de evolutie van robotica-systemen.

Kortom, SCOUT biedt een theoretisch gefundeerde en praktisch toepasbare oplossing voor het dynamisch selecteren van 3D-reconstructiemodellen in real-time robottoepassingen.