⚡ electrical engineering

Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

El artículo presenta GRASP, un marco de planificación neuro-simbólico que aprovecha Modelos de Visión-Lenguaje preentrenados para traducir el lenguaje natural en objetivos de cajas delimitadoras (bounding-box) fundamentados, permitiendo la manipulación de mesas con vocabulario abierto y cero disparos (zero-shot) con una tasa de éxito del 73.3% en robots reales sin entrenamiento específico para la tarea.

Autores originales: Allison Andreyev, Landon Eum, Nestor Tiglao, Romel Gomez

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Allison Andreyev, Landon Eum, Nestor Tiglao, Romel Gomez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un brazo robótico situado sobre una mesa y quieres que recoja objetos específicos y los coloque en lugares determinados. Normalmente, programar un robot es como enseñarle trucos complejos a un perro: tienes que mostrarle exactamente qué hacer miles de veces, o tienes que darle instrucciones muy rígidas y aburridas como "muévete 5 pulgadas a la izquierda, luego 2 pulgadas hacia arriba". Si dices algo nuevo, como "pon las cosas rojas en el estante superior", el robot suele confundirse porque no ha visto ese comando exacto antes.

Este artículo presenta un nuevo sistema llamado GRASP (Razonamiento Basado en Tierra y Planificación Simbólica) que actúa como un traductor inteligente y un GPS para el robot. Le permite al robot entender el lenguaje natural y determinar cómo moverse sin necesidad de ser reentrenado para cada nueva tarea.

Así es como funciona, dividido en pasos sencillos:

1. El "Traductor" (El Cerebro)

Cuando le hablas al robot, por ejemplo, "Pon todos los objetos azules en el estante superior", el sistema no solo escucha palabras; las traduce en un mapa.

La Analogía: Piensa en un humano dando direcciones a un turista. En lugar de decir "Ve a la coordenada X, Y", el humano dice "Busca el edificio azul y ve al piso superior".
Cómo lo hace GRASP: Utiliza una IA poderosa (llamada Modelo de Lenguaje Extenso o LLM) para convertir tu frase en una lista de "objetivos". Determina qué son los "objetos azules" y define el "estante superior" como un área específica en una pantalla. Crea una lista de verificación digital de lo que debe hacerse.

2. Los "Ojos" (La Visión)

Una vez que el robot conoce el objetivo, necesita encontrar los objetos.

La Analogía: Imagina que estás buscando tus llaves en una habitación desordenada. No escaneas cada objeto al azar; buscas la forma y el color de tus llaves.
Cómo lo hace GRASP: Utiliza un "ojo" especializado (un modelo de visión computacional llamado GroundingDINO) que ya está entrenado para reconocer miles de cosas. Escanea la mesa y dibuja cuadros invisibles alrededor de los objetos que coinciden con tu descripción (por ejemplo, dibuja un cuadro alrededor de la botella azul).

3. El "Volante" (El Control)

Esta es la parte más única. En lugar de que el robot intente memorizar una trayectoria compleja para agarrar el objeto, utiliza un bucle de retroalimentación simple y continuo.

La Analogía: Piensa en jugar al juego de "Caliente o Frío" o en apuntar una cámara a un objetivo en movimiento. No calculas la matemática exacta para golpear el objetivo en un solo intento. En su lugar, miras dónde está el objetivo, te mueves un poco hacia él, vuelves a mirar y te mueves un poco más. Sigues ajustándote hasta que estés justo encima de él.
Cómo lo hace GRASP: El robot mira el "cuadro" alrededor del objeto en su pantalla. Si el cuadro está a la izquierda del centro de su visión, el robot mueve su brazo ligeramente a la izquierda. Si el cuadro es demasiado pequeño (lo que significa que el objeto está lejos), el robot se acerca. Hace esto una y otra vez, corrigiendo constantemente su trayectoria, hasta que el objeto está perfectamente centrado en su "pinza".

¿Por qué es esto especial?

La mayoría de los sistemas robóticos avanzados son como atletas de peso pesado que necesitan años de entrenamiento (miles de intentos de práctica) para aprender una nueva tarea. También son lentos y costosos de ejecutar.

GRASP es como un senderista ligero y adaptable.

Sin necesidad de entrenamiento: No necesita practicar la tarea específica. Si le pides que recoja un "marcador magenta" o unas "tijeras verde lima", lo resuelve sobre la marcha utilizando sus "ojos" y su "traductor" preentrenados.
Es robusto: Debido a que sigue comprobando su posición (el bucle de "Caliente o Frío"), puede manejar situaciones si el objeto se mueve ligeramente o si el ángulo de la cámara no es perfecto. No solo adivina y espera; se corrige en tiempo real.

Los Resultados

Los investigadores probaron este sistema con diferentes niveles de dificultad, desde tareas fáciles (recoger un bloque grande) hasta tareas difíciles (recoger objetos pequeños y complicados como un destornillador).

Tasa de éxito: El robot logró agarrar los objetos correctos aproximadamente el 73% de las veces en total.
Dónde falló: Principalmente tuvo dificultades cuando los "ojos" no podían ver el objeto claramente (como si estaba demasiado lejos o la iluminación era mala), no porque el "cerebro" del robot hubiera dado las instrucciones incorrectas.

En Resumen

GRASP es un sistema que permite hablarle a un robot como a un humano, y el robot utiliza una combinación de traducción por IA y corrección visual continua para descubrir cómo agarrar las cosas. Se salta la necesidad de un entrenamiento pesado y de una programación rígida, lo que lo convierte en una herramienta mucho más flexible para tareas cotidianas como clasificar objetos sobre una mesa.

Resumen Técnico: GRASP – Agarre Condicionado por Lenguaje mediante Planificación Neuro-Simbólica

Planteamiento del Problema
La integración de la robótica en entornos domésticos e industriales dinámicos requiere que las máquinas se adapten a instrucciones en lenguaje natural en tiempo real. Aunque los Modelos de Visión y Lenguaje (VLM) y los Modelos de Lenguaje Extensos (LLM) han permitido la generalización de cero disparos (zero-shot) en la Planificación de Tareas y Movimientos (TAMP), los enfoques actuales de vanguardia enfrentan limitaciones significativas. Muchos dependen de modelos computacionalmente "pesados" que requieren un entrenamiento extensivo con miles de demostraciones, o dependen de estructuras simbólicas rígidas (por ejemplo, listas de colores fijas o coordenadas codificadas manualmente) que no logran capturar conceptos espaciales abstractos como "estante superior". Además, los procesos existentes entrelazan el razonamiento de alto nivel con el control de bajo nivel, creando cuellos de botella en la eficiencia y la modularidad. Existe una necesidad crítica de un marco que vincule la comprensión flexible del lenguaje con una ejecución robusta e interpretable sin requerir el ajuste fino (fine-tuning) de tareas específicas o el aprendizaje de políticas.

Metodología: El Marco GRASP
Los autores presentan GRASP (Razonamiento Anclado y Planificación Simbólica), un marco neuro-simbólico ligero diseñado para la manipulación de mesa de vocabulario abierto. GRASP desacopla el razonamiento de alto nivel del control de bajo nivel a través de una arquitectura de dos componentes:

Componente Neuronal (Percepción y Razonamiento):
- Generación del Estado Objetivo: Un LLM (específicamente GPT-5.2 en los experimentos) analiza las instrucciones en lenguaje natural para generar un estado objetivo simbólico explícito. Esto implica extraer consultas de objetos objetivo (por ejemplo, "objetos azules") y mapear restricciones espaciales (por ejemplo, "estante superior") en umbrales de coordenadas de imagen (por ejemplo, $y \leq \tau_1$ ). La salida es una representación JSON de las cajas delimitadoras (bounding boxes) deseadas.
- Detección de Objetos: Se utiliza un VLM preentrenado, GroundingDINO (G.DINO), para detectar objetos en la escena basados en las etiquetas extraídas por el LLM. Se seleccionó G.DINO por su capacidad para limitar las detecciones a un conjunto definido de etiquetas y su sólido rendimiento frente a otros VLM de vanguardia. Proporciona un flujo continuo de detecciones de cajas delimitadoras tanto desde una cámara global del estante como desde una cámara del efector final.
Componente Simbólico (Planificación y Control):
- Evaluación de Similitud del Objetivo: El sistema calcula una puntuación de similitud normalizada ( $S$ ) entre el estado objetivo generado por el LLM y las detecciones en tiempo real. Esta puntuación combina la Intersección sobre Unión (IoU) y la distancia euclidiana entre los centros de las cajas. Si la similitud supera un umbral o si no se detectan objetos durante fotogramas consecutivos, la tarea termina.
- Control de Movimiento de Bucle Cerrado: El sistema emplea un proceso de control de bucle cerrado de tiempo discreto. Calcula el error entre el centro de la caja delimitadora detectada y el centro óptico de la cámara. Un controlador de Roll-Pitch-Yaw (RPY) proporcional ajusta el efector final del robot basándose en este error.
- Mecanismos de Estabilización: Para garantizar la estabilidad, el controlador utiliza suavizado exponencial en las señales de error y una banda muerta (deadband) para suprimir el parpadeo (jitter). El sistema selecciona el objeto objetivo basándose en el logit (confianza) más alto del detector.

Contribuciones Clave
El artículo describe tres contribuciones principales:

Marco GRASP: Un sistema neuro-simbólico que compila instrucciones de lenguaje natural en estados objetivos simbólicos explícitos, anclándolos mediante un VLM preentrenado sin necesidad de ajuste fino adicional.
Ejecución de Cero Disparos (Zero-Shot): Demostración de que la evaluación de objetivo de bucle cerrado permite la ejecución de tareas sin aprendizaje de políticas o aprendizaje por refuerzo.
Proceso Ligero: Una arquitectura modular que vincula la detección de vocabulario abierto con el control continuo mediante control proporcional, evitando la carga computacional del aprendizaje de extremo a extremo (end-to-end).

Resultados Experimentales
Los autores evaluaron GRASP a través de 90 ensayos que abarcan tres niveles de dificultad (Fácil, Medio, Difícil) involucrando diversos objetos (por ejemplo, bloques, cinta, herramientas).

Tasas de Éxito: El sistema logró tasas de éxito del 86.67% (Fácil), 76.67% (Medio) y 56.67% (Difícil), resultando en una tasa de éxito general del 73.33%.
Análisis de Fallos: La degradación del rendimiento en tareas más difíciles se atribuyó principalmente a detecciones erróneas o perdidas de G.DINO y a limitaciones de hardware (campo de visión limitado y reducción de la calidad de imagen a la distancia), más que a fallos en el proceso de control en sí.
Estudios de Ablación:
- Bucle Cerrado vs. Bucle Abierto: Eliminar la retroalimentación de bucle cerrado (realizando el ajuste solo una vez) redujo significativamente las tasas de éxito, confirmando la necesidad de un ajuste iterativo.
- Suavizado y Banda Muerta: Eliminar estos componentes degradó el rendimiento, indicando que las correcciones sin restricciones introducen inestabilidad.
- Selección de Objetivo: Seleccionar objetivos basados en logits aleatorios o estrategias de primera coincidencia funcionó peor que seleccionar la detección con el logit (confianza) más alto.

Significancia y Reivindicaciones
El artículo posiciona a GRASP como un paso hacia la clasificación y el ordenamiento generalizable y escalable. Los autores afirman que, al desacoplar el razonamiento del control, GRASP ofrece una solución interpretable y eficiente que elimina la necesidad de extensos datos de entrenamiento o aprendizaje de políticas. El sistema interpreta con éxito conceptos espaciales abstractos y los ejecuta en entornos de vocabulario abierto. Los autores señalan modestamente que, aunque el trabajo actual se centra en el agarre y la alineación, la evaluación completa de la clasificación de extremo a extremo (incluyendo la verificación de la colocación) queda reservada para trabajos futuros debido a las limitaciones de hardware. El marco se presenta como una alternativa viable a los modelos pesados dependientes de entrenamiento para la manipulación dinámica condicionada por el lenguaje.