Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. Il Problema

Le attività di manipolazione robotica richiedono ricostruzioni 3D (mesh) di qualità variabile a seconda del compito:

• Manipolazione abile (Dexterous): Richiede dettagli superficiali fini e alta fedeltà geometrica.
• Pianificazione di traiettorie senza collisioni: Può tollerare rappresentazioni più grossolane.

Esistono molteplici metodi di ricostruzione "Image-to-3D" (modelli che generano mesh da una singola immagine) con compromessi diversi tra costo computazionale (latenza, memoria) e qualità. Inoltre, la qualità di questi modelli dipende fortemente dal punto di vista dell'immagine di input (es. una vista frontale può essere peggiore di una vista angolare). Esistono anche metodi invarianti al punto di vista (come la scansione strutturata), che offrono qualità costante ma richiedono più tempo di acquisizione.

Il problema centrale è: come selezionare dinamicamente il modello di ricostruzione ottimale per un'immagine specifica, considerando i vincoli di costo (tempo, memoria) e la difficoltà dell'input, senza dover eseguire tutti i modelli (che sarebbe proibitivo)?

2. Metodologia: SCOUT

Gli autori propongono SCOUT (Score-Conditioned Optimal Utility Targeting), un framework di routing (instradamento) che seleziona il modello migliore prima dell'inferenza.

Decoupling dei Punteggi

L'innovazione chiave di SCOUT è la scomposizione del punteggio di ricostruzione in due componenti disaccoppiate:

1. Prestazioni Relative (Modello Dipendente dal Punto di Vista): Una distribuzione di probabilità appresa ($\hat{p}$) che cattura quale modello performa meglio relativamente agli altri per un dato input. Questa componente è gestita da una rete neurale che opera solo sui modelli dipendenti dal punto di vista (Image-to-3D).
2. Difficoltà dell'Immagine (Partition Function): Una stima scalare ($\hat{z}$) che cattura la difficoltà assoluta dell'immagine di input. Questa stima permette di recuperare i punteggi assoluti necessari per confrontare i modelli Image-to-3D con i metodi invarianti al punto di vista.

Vantaggi dell'Architettura

• Scalabilità: Poiché la rete appresa predice solo le prestazioni relative dei modelli Image-to-3D, è possibile aggiungere, rimuovere o riconfigurare metodi invarianti al punto di vista (es. cambiando il numero di scansioni) senza riaddestrare il modello di routing.
• Flessibilità nei Costi: SCOUT supporta vettori di coefficienti di costo arbitrari ($c \in \mathbb{R}^k$) al momento dell'inferenza. Questo permette di bilanciare simultaneamente latenza, memoria e costi monetari senza riaddestramento, a differenza dei metodi precedenti per LLM che usano spesso un singolo parametro scalare.

Processo di Apprendimento

• Preprocessing: I punteggi vengono lisciati basandosi su categorie semantiche degli oggetti per ridurre il rumore.
• Training: Una rete neurale minimizza la divergenza KL tra la distribuzione softmax dei punteggi lisciati e le previsioni, imparando le probabilità relative.
• Stima di Z: Un secondo modello supervisionato stima la funzione di partizione ($\hat{z}$) utilizzando un proxy ponderato che combina le stime di tutti i modelli dipendenti dal punto di vista, minimizzando la varianza dell'errore.

3. Contributi Chiave

1. Prima formulazione di Routing per Ricostruzione 3D: Un approccio che gestisce simultaneamente metodi dipendenti dal punto di vista e metodi invarianti sotto vincoli di costo arbitrari.
2. Proxy Teoricamente Giustificato: Un metodo per recuperare i punteggi assoluti dalla distribuzione relativa appresa, con pesi ottimali derivati matematicamente per gestire il rumore nei dati.
3. Procedura di Disaccoppiamento: Una tecnica che separa la difficoltà dell'immagine dalle prestazioni relative dei modelli, permettendo l'integrazione dinamica di nuovi metodi invarianti senza riaddestramento.

4. Risultati Sperimentali

Il framework è stato valutato su tre dataset: Google Scanned Objects (GSO), BigBIRD e YCB, utilizzando metriche come Chamfer Distance (DCD), IoU e metriche geometriche di Eval3D.

• Performance di Routing: SCOUT ha superato costantemente i baseline adattati dalla letteratura sugli LLM (come ZOOTER, RouterDC, MLP, kNN) in diversi sottospazi di costi. Ha mostrato riduzioni significative del "regret" (perdita di utilità rispetto all'ottimo) su tutti i dataset.
• Robustezza: Le performance sono state superiori sia su oggetti visti durante l'addestramento che su oggetti nuovi, e su diverse metriche di qualità (da IoU a metriche geometriche complesse).
• Esperimenti Robotici:
  • Proposte di Presa (Grasp): SCOUT ha generato proposte di presa con un tasso di collisione inferiore e un IoU della mesh superiore rispetto all'uso di un singolo modello fisso.
  • Manipolazione Abile: In simulazione, la selezione dinamica del modello ha migliorato il tasso di successo delle prese abili, dove la precisione superficiale è critica.
  • Realtà (Pick-and-Place): Su un robot Franka Panda reale, SCOUT ha selezionato modelli diversi in base alla difficoltà della vista (es. Hunyuan3D per viste difficili, TRELLIS per viste semplici), ottenendo il tasso di successo più alto (4.6/5) rispetto ai singoli modelli.

5. Significato e Impatto

Questo lavoro risolve un collo di bottiglia critico per la robotica autonoma: la necessità di adattarsi a condizioni di input variabili e vincoli di risorse in tempo reale.

• Efficienza: Evita l'esecuzione costosa di tutti i modelli disponibili, selezionando solo quello ottimale.
• Adattabilità: Permette ai sistemi robotici di evolvere integrando nuovi sensori o algoritmi di scansione senza dover riaddestrare l'intero sistema di percezione.
• Applicabilità Reale: Dimostra che la selezione intelligente del modello di percezione si traduce direttamente in migliori prestazioni operative (presa e manipolazione) sia in simulazione che nel mondo reale.

In sintesi, SCOUT introduce un paradigma per la percezione robotica "cost-aware", dove la scelta dello strumento computazionale è dinamica, ottimizzata e adattabile al contesto operativo specifico.