Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. El Problema

La manipulación robótica requiere reconstrucciones de mallas 3D de calidad variable:

• Manipulación diestra: Necesita detalles de superficie finos y precisos.
• Planificación de colisiones: Puede tolerar representaciones más gruesas.

Actualmente, existen múltiples métodos de reconstrucción (modelos Image-to-3D basados en aprendizaje profundo y métodos invariantes a la vista como escaneo de luz estructurada) que ofrecen diferentes compensaciones entre calidad, latencia, uso de memoria y costo.

• Desafío: No existe un único modelo que domine en todas las situaciones. El rendimiento de los modelos Image-to-3D depende fuertemente del punto de vista de entrada (ej. una vista frontal puede ser peor que una vista en esquina), mientras que los métodos invariantes a la vista dependen de la configuración del hardware.
• Limitación actual: Las soluciones existentes suelen fijar un modelo específico, perdiendo la oportunidad de seleccionar el mejor modelo para cada entrada individual. Además, consultar todos los modelos es computacionalmente prohibitivo.
• Brecha de investigación: El enrutamiento de modelos (seleccionar el mejor modelo antes de la inferencia) es común en LLMs, pero no se ha explorado adecuadamente para la reconstrucción 3D, especialmente considerando restricciones de costos multidimensionales y la mezcla de métodos dependientes e independientes de la vista.

2. Metodología: SCOUT

Los autores proponen SCOUT (Score-Conditioned Optimal Utility Targeting), un marco de enrutamiento diseñado para seleccionar el modelo de reconstrucción óptimo para una imagen de entrada dada una restricción de costos arbitraria.

A. Desacoplamiento de Puntuaciones

La idea central es desacoplar la puntuación de reconstrucción en dos componentes:

1. Rendimiento Relativo ($\hat{p}$): Capturado por una distribución de probabilidad aprendida. Representa qué modelo Image-to-3D (dependiente de la vista) funciona mejor para una imagen específica en relación con los demás.
2. Dificultad de la Imagen ($\hat{z}$): Capturada por una función de partición escalar estimada. Representa qué tan difícil es la imagen en general (afectando a todos los modelos dependientes de la vista por igual).

B. Arquitectura del Sistema

1. Red Neuronal para $\hat{p}$: Entrenada para predecir la distribución de probabilidad sobre los modelos dependientes de la vista ($k_1$ modelos) usando la divergencia KL sobre puntuaciones suavizadas. Esta red no incluye a los métodos invariantes a la vista.
2. Estimador para $\hat{z}$: Un segundo modelo (regresión) que estima la función de partición necesaria para recuperar las puntuaciones absolutas a partir de $\hat{p}$. Esto permite comparar los modelos dependientes de la vista con los invariantes.
3. Optimización de Utilidad: En tiempo de inferencia, el sistema selecciona el modelo $\hat{m}$ que maximiza:
   $$\hat{s}(x, m_j) - c(m_j)$$
   Donde $c(m_j)$ es un vector de costos arbitrario (latencia, memoria, etc.) especificado por el usuario.

C. Ventajas Clave del Diseño

• Escalabilidad: Dado que la red aprendida solo opera sobre los modelos dependientes de la vista, se pueden agregar, eliminar o reconfigurar métodos invariantes a la vista (como cambiar el número de vistas en un escáner) sin necesidad de reentrenar la red.
• Flexibilidad de Costos: Soporta vectores de coeficientes de costos arbitrarios ($\mathbb{R}^k$) en tiempo de inferencia, a diferencia de los enfoques de LLM que suelen usar un único escalar $\lambda$.
• Robustez: Utiliza un suavizado basado en etiquetas (tags) para las puntuaciones de entrenamiento, agrupando objetos por categorías semánticas para reducir el ruido, pero recupera las puntuaciones originales para la comparación final.

3. Contribuciones Principales

1. Primera formulación de enrutamiento para reconstrucción 3D: Adapta el problema a un dominio con modelos dependientes e invariantes a la vista bajo restricciones de costos arbitrarias.
2. Proxy de función de partición teóricamente justificado: Un método para recuperar puntuaciones absolutas a partir de distribuciones relativas con un ponderamiento óptimo probado.
3. Procedimiento de desacoplamiento: Separa la dificultad de la imagen del rendimiento relativo del modelo, permitiendo la integración dinámica de nuevos métodos invariantes a la vista sin reentrenamiento.

4. Resultados Experimentales

Conjuntos de Datos y Métricas

• Datos: Google Scanned Objects (GSO), BigBIRD y YCB.
• Modelos evaluados: Hunyuan3D, InstantMesh, TripoSR, TRELLIS (dependientes de la vista) + un método invariante aproximado.
• Métricas: Distancia Chamfer con conciencia de densidad (DCD), IoU, métricas geométricas de Eval3D, y tasas de colisión en agarres.

Rendimiento Comparativo

• Superioridad en Regret: SCOUT supera consistentemente a las líneas base adaptadas de la literatura de LLM (ZOOTER, RouterDC, MLP, kNN, Regresión Lineal) en todos los subespacios de costos probados.
• Robustez: Mantiene un bajo "regret" (pérdida de utilidad) incluso en métricas ruidosas como Eval3D y bajo diferentes condiciones de iluminación y puntos de vista degenerados (vistas frontales).
• Curvas de Diferimiento (Deferral Curves): SCOUT logra la mayor Mejora Promedio en Calidad (AIQ) para restricciones de memoria y latencia, demostrando una mejor compensación calidad-precio.

Validación en Robótica

• Propuestas de Agarre: SCOUT selecciona modelos que reducen la tasa de colisión de agarres y aumentan la intersección sobre unión (IoU) de la malla reconstruida en comparación con el uso de un solo modelo fijo.
• Manipulación Diestra: En simulación, la selección dinámica mejora la tasa de éxito de agarres diestros, donde la precisión de la superficie es crítica.
• Prueba Real (Franka Panda): En un robot físico, el enrutador seleccionó Hunyuan3D (alta calidad, alta latencia) para vistas difíciles y TRELLIS (baja latencia, calidad suficiente) para vistas fáciles, logrando la mayor tasa de éxito en tareas de "pick-and-place".

5. Significado e Impacto

Este trabajo es fundamental para la robótica práctica porque:

1. Adaptabilidad Dinámica: Permite a los robots adaptar su "percepción" en tiempo real según la dificultad de la escena y los recursos disponibles (ej. si la batería es baja, priorizar velocidad; si la tarea es delicada, priorizar precisión).
2. Eficiencia de Recursos: Evita el desperdicio computacional de usar modelos pesados para tareas simples o vistas fáciles.
3. Modularidad: La capacidad de añadir nuevos sensores o métodos de escaneo sin reentrenar el sistema de enrutamiento facilita la evolución de los sistemas robóticos.
4. Puente entre IA Generativa y Robótica: Demuestra cómo las técnicas avanzadas de enrutamiento de modelos (originadas en LLMs) pueden ser adaptadas y mejoradas para resolver problemas físicos y de control en robótica.

En resumen, SCOUT proporciona un marco robusto y eficiente para que los robots elijan inteligentemente cómo "ver" el mundo en 3D, equilibrando la precisión necesaria para la tarea con los costos computacionales y temporales disponibles.