💻 computer science

Kitchen Robotic Manipulation utilizing Foundation Models

Este artículo presenta un flujo de trabajo de percepción modular para la manipulación robótica en cocinas que integra múltiples modelos fundacionales para lograr una estimación de pose 6D y una planificación de agarre robustas, demostrando un 89.12% de ADI en un banco de pruebas con desorden y un despliegue exitoso zero-shot en robots físicos para tareas como la transferencia de platos y el apilamiento de tazas.

Autores originales: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar enseñarle a un robot a ayudar en una cocina desordenada. Suena sencillo, pero para una máquina, una cocina es una pesadilla de caos. A diferencia de una fábrica donde cada herramienta se encuentra exactamente en el mismo lugar, una cocina está llena de platos amontonados, ocultos detrás de otros y situados sobre superficies resbaladizas y brillantes. Para que un robot pueda recoger una taza de café, primero necesita "verla" con claridad, determinar exactamente dónde está en un espacio 3D y saber cómo agarrarla sin volcar toda la pila. Este es el mundo de la percepción robótica: la ciencia de dotar a las máquinas de ojos y cerebros que puedan comprender un mundo desordenado y cambiante.

Para lograr esto, los científicos han estado desarrollando Modelos Fundacionales (Foundation Models). Piensa en ellos como estudiantes superinteligentes que han leído casi todos los libros y han visto casi todas las imágenes de internet antes de empezar cualquier trabajo específico. Debido a que han visto tanto, no necesitan que se les vuelva a enseñar desde cero cada vez que entran en una habitación nueva; simplemente pueden usar su conocimiento general para reconocer una "taza" incluso si nunca han visto esa taza específica. La gran pregunta que los investigadores se plantean es: ¿Podemos tomar estos poderosos "cerebros" preentrenados y conectarlos directamente al cuerpo de un robot para que pueda encargarse de las tareas del hogar sin necesidad de meses de entrenamiento personalizado para cada casa?

El nuevo cerebro "Navaja Suiza" del robot de cocina

En este artículo, un equipo de investigadores construye un "pipeline de percepción" robótica diseñado para ayudar a un brazo robótico a navegar por un fregadero de cocina desordenado y mover platos. En lugar de construir un cerebro gigante y rígido que solo funcione para una cocina específica, crearon un sistema modular. Imagina una cámara de alta gama donde puedes cambiar la lente, el sensor y el procesador dependiendo de lo que estés fotografiando. Este sistema robótico funciona de la misma manera: permite a los investigadores mezclar y combinar diferentes "Modelos Fundacionales" para ver qué combinación funciona mejor para encontrar y agarrar platos.

El trabajo del robot es mirar un fregadero lleno de platos, tazas y cuencos, determinar exactamente dónde se encuentra cada objeto (su pose 6D, que significa su ubicación y su ángulo en el espacio 3D) y luego planificar una forma segura de recogerlo. El equipo probó este sistema en un conjunto de datos personalizado de 20 escenas de cocinas reales, completas con pilas desordenadas y objetos ocultos.

La receta del éxito

Los investigadores no se limitaron a adivinar qué modelos usar; probaron sistemáticamente 24 combinaciones diferentes de modelos visuales y geométricos. Trataron el sistema como una receta, intercambiando ingredientes para encontrar el sabor perfecto.

Los Ojos (Modelos Visuales): Estos modelos observan las imágenes 2D para reconocer qué objetos hay.
Las Manos (Modelos Geométricos): Estos modelos observan la forma 3D de los objetos para comprender su estructura.
El Pegamento (Fusión de Características): Descubrieron que usar simplemente los ojos o las manos no era suficiente. La salsa secreta fue fusionar las características de la imagen 2D con las características de la nube de puntos 3D. Es como tener un detective que no solo reconoce un rostro por una foto, sino que también comprende la forma del cuerpo de la persona para saber exactamente cómo estrechar su mano.

Tras analizar los números, el equipo descubrió una configuración "campeona": LLMDet (para detectar objetos), SAMv2 (para recortar el objeto del fondo), DINOv2 (para reconocer detalles finos) y GeoTransformer (para comprender la geometría 3D). Cuando estos cuatro trabajaron juntos, el robot alcanzó un ADI (Distancia Promedio de Vistas Indistinguibles) del 89.12%. En lenguaje sencillo, esto significa que el robot podía estimar la posición y el ángulo de un plato con una precisión increíble, incluso cuando el plato estaba parcialmente oculto o rodeado de desorden.

Prueba del mundo real

¿Lo mejor de todo? No se detuvieron solo en simulaciones por computadora. Llevaron esta configuración "campeona" a un brazo robótico físico en una cocina real. Observaron cómo lograba con éxito:

Transferir platos desde un fregadero a un lavavajillas.
Apilar tazas sobre un mostrador.
Recoger objetos de un fregadero desordenado.

El robot hizo todo esto sin ningún reentrenamiento para la cocina específica en la que se encontraba. No necesitó aprender cómo se veía una "taza" en esa casa en particular; simplemente utilizó su conocimiento fundacional preentrenado. En una serie de pruebas en el mundo real, el robot tuvo éxito en el 87.5% de sus intentos (259 éxitos de 296 ensayos).

Dónde tropieza

El artículo es honesto sobre las áreas en las que aún no es perfecto. La razón principal del fallo no fue que el "cerebro" del robot fallara al ver el objeto; fue que la "mano" del robot se resbaló. El robot utiliza una pinza complaciente (una mano suave y adaptable) para sujetar las cosas con delicadeza, pero a veces el objeto se resbalaba durante el transporte, especialmente al apilar tazas en un fregadero estrecho y abarrotado. El robot también intentaba ocasionalmente agarrar el lugar equivento si la detección era ligeramente errónea. Sin embargo, los autores señalan que estos son desafíos físicos con la pinza, no fallos del sistema de percepción en sí.

Por qué esto es importante

Este trabajo sugiere que no necesitamos construir un cerebro de robot nuevo y personalizado para cada casa. En su lugar, podemos utilizar un sistema modular y flexible que intercambie los mejores "modelos fundacionales" disponibles para realizar la tarea. Demuestra que, al combinar la mezcla adecuada de inteligencia visual y geométrica, los robots pueden adaptarse a la realidad desordenada e impredecible de los hogares humanos sin necesidad de un profesor que les enseñe cada tarea. Aunque queda trabajo por hacer para que el agarre del robot sea más fuerte y sus movimientos más suaves, este pipeline ofrece un camino práctico y escalable hacia robots que realmente puedan ayudarnos con los platos.

Resumen Técnico: Manipulación Robótica de Cocina utilizando Modelos de Fundación

Planteamiento del Problema

El despliegue de sistemas robóticos en entornos humanos cotidianos, particularmente en cocinas, presenta desafíos significativos debido a la naturaleza no estructurada, dinámica y desordenada de estos espacios. Los sistemas robóticos tradicionales basados en visión dependen fuertemente de conjuntos de datos específicos para tareas y de aprendizaje supervisado, lo que a menudo impide la generalización más allá de entornos predefinidos. En consecuencia, estos sistemas carecen de la adaptabilidad necesaria para manejar entornos desconocidos o variaciones en la disposición de los objetos sin una intervención manual extensiva o reentrenamiento. Si bien los modelos de fundación recientes han demostrado notables capacidades de generalización en diversos dominios, persiste una brecha crítica en la integración sistemática de estos modelos en tuberías de percepción robustas que puedan cerrar la breza entre la percepción de alto nivel y las demandas concretas de la manipulación física (por ejemplo, estimación de pose 6D y planificación de agarre) sin un ajuste fino específico del entorno.

Metodología

Los autores proponen una tubería de percepción modular diseñada para tareas de manipulación doméstica, centrándose específicamente en el manejo de vajilla en entornos de cocina. El sistema opera bajo la premisa de que los inventarios de cocina son relativamente estables y que se dispone de modelos CAD 3D de los objetos objetivo. La tubería consta de cuatro etapas primarias:

Segmentación de Instancias Multivista: El sistema utiliza la Detección de Objetos de Vocabulario Abierto (OVOD) para generar prompts de cajas delimitadoras para el Segment Anything Model (SAMv2). Para garantizar la consistencia entre múltiples vistas, un mecanismo de verificación entre vistas proyecta las máscaras utilizando datos de profundidad y poses de cámara, asignando IDs de objeto consistentes basados en umbrales de Intersección sobre Unión (IoU).
Reconstrucción de Mapa 3D Consciente de Instancias: La tubería construye un mapa semántico 3D mediante la fusión de fotogramas RGB-D. Emplea un registro de nubes de puntos 3D grueso basado en el emparejamiento de características, seguido de un refinamiento de Puntos más Cercanos Iterativos (ICP) para corregir errores de pose. Los IDs de instancia de las máscaras de segmentación se asignan a la nube de puntos para crear un mapa consciente de instancias.
Fusión de Características 2D-3D y Estimación de Pose: Esta es la innovación central de la tubería. Para cada instancia segmentada, el sistema extrae características utilizando un modelo de fundación visual ( $\Phi$ $Φ$ ) y un modelo de fundación geométrica ( $\Psi$ $Ψ$ ).
- Características Visuales: Extraídas de regiones de objetos recortadas y proyectadas al espacio 3D mediante profundidad y poses de cámara, luego agregadas mediante el agrupamiento de vóxeles (voxel pooling).
- Características Geométricas: Computadas directamente en la nube de puntos del objeto.
- Fusión: Las características de imagen y de puntos se normalizan L2 y se concatenan para formar una representación de características unificada por punto.
- Registro: El sistema realiza la propuesta de candidatos de objetos comparando las características de consulta contra una base de datos de características de modelos CAD renderizados. Posteriormente, ejecuta el registro de objetos mediante alineación basada en correspondencias en el espacio de características fusionadas, seguido de un refinamiento ICP.
Estimación de Agarre: Utilizando las poses 6D estimadas y los modelos CAD predefinidos, el sistema genera candidatos de agarre. Estos se filtran mediante comprobaciones de viabilidad cinemática (cinemática inversa), evitación de colisiones (usando FCL) y restricciones de alcanzabilidad para asegurar agarres físicamente ejecutables.

La arquitectura está diseñada explícitamente para ser modular, permitiendo la sustitución de diferentes modelos de fundación visual y geométrica para identificar configuraciones óptimas.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

Integración de Tubería Unificada: Una integración a nivel de sistema de múltiples modelos de fundación en una tubería de percepción de pose 6D unificada que opera en diversos entornos de cocina sin entrenamiento o ajuste fino específico del entorno.
Arquitectura Modular y Evaluación Sistemática: Un marco flexible donde cada componente puede ser intercambiado. Los autores evaluaron sistemáticamente 24 combinaciones de modelos de fundación visual y geométrica en un conjunto de datos de cocina real personalizado para identificar la configuración con mejor rendimiento.
Validación en el Mundo Real: Demostración del sistema integrado en plataformas robóticas físicas realizando tareas complejas de cocina (transferencia de fregadero a lavavajillas, apilamiento de tazas) sin ajustes adicionales, validando la escalabilidad y la utilidad práctica.

Resultados Experimentales

Los autores evaluaron la tubería en un conjunto de datos personalizado que comprende 20 escenas de cocina reales con variaciones en desorden, oclusión y disposición de objetos.

Mejor Configuración: La combinación de LLMDet (OVOD), SAMv2 (Segmentación), DINOv2 (Fundación Visual) y GeoTransformer (Fundación Geométrica) logró el desempeño más alto.
Rendimiento Cuantitativo: Esta configuración logró una Distancia Promedio de puntos del modelo para vistas indistinguibles (ADI) del 88.92% en el benchmark de 20 escenas sin el refinamiento ICP. Cuando se aplicó el refinamiento ICP, la precisión mejoró al 89.12%. En comparación, el método estado del arte FoundationPose alcanzó un 87.32% de ADI incluso cuando se le proporcionaban máscaras de verdad de campo (ground-truth), mientras que la mejor configuración propuesta lo superó sin requerir tales entradas ideales.
Impacto de la Fusión de Características: El estudio confirmó que la fusión de características de imagen 2D con características geométricas 3D mejoró consistentemente el desempeño en todas las configuraciones. Aunque GeoTransformer funcionó pobremente de forma aislada debido a su dependencia del contexto global, logró la mayor precisión cuando se fusionó con las características de imagen discriminativas de DINOv2.
Éxito en el Mundo Real: En demostraciones físicas que involucraron 296 ensayos en dos entornos de cocina diferentes, el sistema logró una tasa de éxito del 87.50% en tareas que incluyeron agarre simple y apilamiento de tazas.
Análisis de Fallos: La mayoría de los fallos se atribuyeron a problemas de interacción física, tales como el deslizamiento de la pinza debido a la naturaleza complaciente de la pinza o el desplazamiento accidental de objetos vecinos en escenarios altamente desordenados, más que a errores de percepción.

Significancia y Reivindicaciones

El artículo afirma que la tubería modular propuesta ofrece un marco práctico para la robótica doméstica al demostrar que los modelos de fundación pueden integrarse eficazmente para manejar tareas de manipulación sin la necesidad de reentrenamiento específico del entorno. Los autores destacan que su enfoque:

Permite la Escalabilidad: El sistema se adapta a diversos sistemas robóticos y nuevos entornos sin ajustes adicionales.
Proporciona Flexibilidad: El diseño modular permite a los profesionales adaptar las combinaciones de modelos a restricciones computacionales específicas o dificultades de la tarea.
Cierra la Brecha entre Percepción y Control: A diferencia de las políticas de visión-lenguaje-acción de extremo a extremo que integran la percepción y el control en un único modelo aprendido, este enfoque produce poses 6D explícitas compatibles con planificadores de movimiento clásicos, asegurando la reutilización en diferentes configuraciones de sensores.

Los autores reconocen limitaciones, incluyendo la dependencia de modelos CAD para el registro (lo que limita la aplicabilidad a objetos desconocidos), fallos ocasionales de agarre debido a las restricciones de la pinza, y la necesidad de estrategias de manipulación más avanzadas para objetos estrechamente apilados. Sugieren que el trabajo futuro podría involucrar generadores de trayectoria aprendidos y métodos de reconstrucción multivista para la incorporación de nuevos objetos.