🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

El artículo propone STEP, un marco de trabajo consciente del estado que aprovecha los Modelos de Lenguaje de Gran Escala Multimodales para estimar explícitamente los estados del sistema y predecir las transiciones de estado, superando así las alucinaciones y la ambigüedad en la colaboración humano-robot para mejorar significativamente la ejecutabilidad de las acciones y reducir los errores de estado final en tareas de ensamblaje industrial.

Autores originales: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Publicado 2026-08-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el bullicioso mundo de la industria moderna, el sueño de un trabajo en equipo fluido entre humanos y máquinas se está convirtiendo en realidad, aunque sigue plagado de un malentendido fundamental. Para que un robot pueda asistir verdaderamente a un humano, debe hacer más que simplemente seguir una lista de comandos; debe comprender la intención del humano y anticipar qué vendrá después. Este desafío reside en el corazón de un campo conocido como anticipación de acciones a largo plazo, donde las computadoras intentan predecir una secuencia de eventos futuros basándose en lo que acaban de ver. En años recientes, han surgido sistemas de inteligencia artificial potentes, capaces de procesar tanto imágenes como texto, como herramientas prometedoras para esta tarea. Estos sistemas pueden observar un video de una persona trabajando y adivinar qué está intentando construir. Sin embargo, persiste una brecha significativa: aunque estos sistemas inteligentes son excelentes en el lenguaje y el reconocimiento de patrones, a menudo carecen de una verdadera comprensión del mundo físico. No mantienen de forma natural el registro de cómo cambia el estado de una habitación cuando se mueve un objeto, lo que los lleva a imaginar acciones que son imposibles o a perder de vista el objetivo final.

Para cerrar esta brecha, investigadores del Honda Research Institute y la Universidad de North Carolina en Chapel Hill han desarrollado un nuevo método llamado STEP, que significa Estimación de Tareas y Planificación con Conciencia de Estado (State-Aware Task Estimation and Planning). El equipo se centró en un escenario industrial común donde un operador humano ensambla una estructura utilizando bloques de madera en un banco de trabajo, mientras un robot observa y espera para tomar el relevo. En sus experimentos, el humano comenzaba a construir una forma específica, como un puente o una torre, y luego se detenía, entregando la responsabilidad de la planificación al robot. Los investigadores querían ver si podían enseñar al robot no solo a adivinar cómo debería verse la estructura final, sino también a actualizar constantemente su mapa mental del espacio de trabajo a medida que planificaba los siguientes movimientos. A diferencia de los enfoques anteriores que simplemente pedían al robot predecir el siguiente paso en una oración, este nuevo sistema obliga al robot a describir explícitamente la disposición actual de cada bloque, predecir cómo cambiará esa disposición después de cada acción y luego utilizar esa descripción actualizada para planificar los pasos subsiguientes.

La innovación central de STEP es su insistencia en mantener un registro digital estructurado del mundo físico. Cuando el robot observa el banco de trabajo, no genera simplemente una idea vaga de "construir una torre". En su lugar, crea una lista detallada y organizada de hechos sobre la escena: dónde se encuentra cada uno de los cinco bloques de madera, si un bloque está de pie o acostado, y exactamente cómo está orientado con respecto a la cámara y otros objetos. El sistema utiliza entonces esta descripción precisa para simular el futuro. Se pregunta a sí mismo: "Si muevo este bloque aquí, ¿cómo se verá la escena después?" y luego repite esa pregunta para el siguiente movimiento. Al contrastar constantemente sus propias predicciones con el objetivo, el sistema puede medir qué tan lejos está de terminar la tarea. Si una secuencia planeada de movimientos conduce a un callejón sin salida o a un estado que está lejos del objetivo, el sistema reconoce este error y acorta su plan, eligiendo un camino diferente que lo acerque al resultado deseado. Este proceso de planificación, simulación del resultado y corrección del rumbo se repite múltiples veces para asegurar que el robot se mantenga en el camino correcto.

Los investigadores probaron este enfoque en un entorno simulado utilizando un conjunto de datos de operadores humanos teleoperando dos brazos robóticos para ensamblar bloques de madera. Compararon su método contra una técnica líder existente que no rastreaba el estado del entorno de esta manera estructurada. Los resultados mostraron una clara ventaja para el nuevo sistema. Los planes generados por STEP fueron significativamente más prácticos; los investigadores encontraron que las acciones predichas por su método podían ser ejecutadas con éxito por el robot un 32.8 por ciento más de las veces que las del método de referencia. Además, cuando el robot terminó su tarea, la estructura final que construyó estaba un 14.8 por ciento más cerca del objetivo previsto que las estructuras producidas por el método antiguo. El estudio también reveló que, si bien el método anterior a veces producía listas de acciones más largas que coincidían con la secuencia original del humano, esos pasos adicionales eran a menudo innecesarios o incorrectos, mientras que el nuevo método producía planes más cortos y eficientes que alcanzaban el objetivo de manera fiable.

El equipo descubrió que el éxito de este enfoque dependía en gran medida de la precisión de los pasos iniciales. Si el sistema identificaba correctamente lo que el humano intentaba construir y describía con precisión el estado actual de los bloques, la planificación subsiguiente era altamente efectiva. Sin embargo, si el sistema cometía un error al adivinar el objetivo o juzgaba erróneamente la posición de un bloque, esos errores repercutían en el resto del plan. Este hallazgo resalta la importancia de la capacidad del sistema para reevaluar constantemente la realidad física del espacio de trabajo. Los investigadores señalaron que, aunque su método está diseñado actualmente para este escenario específico de construcción de bloques, el principio subyacente de rastrear explícitamente los cambios de estado podría adaptarse para otras tareas industriales, como el ensamblaje de maquinaria o la construcción de accesorios modulares. También reconocieron que el sistema actual requiere un tiempo de computación significativo para ejecutar estos múltiples ciclos de planificación, lo que lo hace más lento que los métodos más simples, pero creen que a medida que la tecnología avance, estos retrasos podrán reducirse. En última instancia, este trabajo demuestra que, al darle a la inteligencia artificial una forma de llevar un recuento constante del mundo físico, podemos crear robots que no sean solo reactivos, sino verdaderos compañeros colaborativos capaces de comprender y completar tareas complejas junto a los humanos.

Resumen Técnico: Estimación de Tareas y Planificación Consciente del Estado con MM-LLMs Multimodales (STEP)

Planteamiento del Problema

La colaboración humano-robot (HRC) efectiva en entornos industriales requiere que los robots infieran las intenciones humanas y generen planes accionables de largo alcance. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MM-LLMs) han mostrado potencial en la Anticipación de Acciones a Largo Plazo (LTA) mediante el aprendizaje en contexto, enfrentan dos limitaciones críticas en robótica:

Falta de Conciencia del Estado: Los MM-LLMs son preentrenados en datos estáticos de texto e imagen sin interacción con el mundo real. En consecuencia, tienen dificultades para rastrear las transiciones de estado del sistema, lo que a menudo conduce a acciones "alucinadas" que se desvían del objetivo previsto. Los enfoques existentes que intentan el seguimiento del estado suelen depender de descripciones en lenguaje natural (que carecen de precisión) o requieren acceso a estados iniciales de verdad fundamental (ground-truth), lo cual es irreal en escenarios industriales dinámicos.
Ambigüedad de la Acción: Las salidas estándar de los MM-LLM suelen limitarse a pares de "verbo-sustantivo" de alto nivel (por ejemplo, "colocar sobre la mesa"). Esta abstracción no logra capturar los parámetros de ejecución necesarios, tales como coordenadas de colocación específicas, orientación del objeto o relaciones espaciales, lo que genera ambigüedad durante la ejecución física.

Metodología: El Marco de Trabajo STEP

Los autores proponen STEP (State-Aware Task Estimation and Planning - Estimación de Tareas y Planificación Consciente del Estado), un flujo de trabajo que induce a un MM-LLM a estimar explícitamente los estados del sistema y predecir las transiciones de estado junto con los planes de acción. El marco opera sin requerir la interacción directa con el entorno o entradas de estado de verdad fundamental.

El flujo de trabajo consta de cinco etapas secuenciales:

1. Estimación de la Tarea

El sistema toma la secuencia de acciones realizadas por un operador humano ( $A_1, ..., A_k$ ) y una imagen de la estación de trabajo actual ( $I$ ). Utilizando un pequeño conjunto de ejemplos en contexto, el MM-LLM estima la tarea general ( $T$ ) que el operador pretende completar (por ejemplo, "Construir un Arco"). La salida está restringida a una lista predefinida de tareas posibles para guiar al modelo.

2. Generación de Representación de Estado

Simultáneamente, el MM-LLM analiza la imagen de la estación de trabajo ( $I$ ) para generar una representación de estado estructurada ( $S$ ) en formato JSON. A diferencia de las descripciones en lenguaje natural, esta salida estructurada captura:

Ubicación: Posición de cada bloque (por ejemplo, sobre la mesa, encima de otro bloque específico).
Orientación: De pie, boca abajo o de lado.
Orientación de la Cara Superior: Paralela o perpendicular a la cámara.
Posicionamiento Relativo: Ubicación específica (izquierda/derecha/centro) si está apilado.

Este formato estructurado permite un análisis cuantitativo del espacio de trabajo.

3. Predicción de Acciones

Utilizando la tarea estimada ( $T$ ) y el historial de acciones ( $A_1, ..., A_k$ ), el MM-LLM predice la secuencia de acciones futuras ( $A_{k+1}, ..., A_n$ ) necesarias para completar la tarea. Notablemente, los autores descubrieron que incluir datos de imagen en este prompt específico degradaba el rendimiento; por lo tanto, esta etapa depende únicamente de la tarea textual y el historial de acciones.

4. Propagación del Estado

Para abordar la falta de seguimiento del estado, STEP propaga el estado de manera explícita. Se le solicita al MM-LLM que, utilizando el estado actual ( $S$ ), el historial de acciones y la próxima acción predicha ( $A_{k+1}$ ), genere el siguiente estado ( $S_{k+1}$ ) como un objeto JSON. Esto se realiza de forma iterativa para generar una secuencia de estados futuros ( $S_{k+1}, ..., S_n$ ) correspondientes a las acciones predichas. Se utiliza un enfoque de cadena de pensamiento (chain-of-thought), donde el modelo primero describe los cambios en lenguaje natural antes de formatear el siguiente estado como JSON.

5. Ejecuciones (Rollouts) y Truncamiento

STEP emplea un mecanismo de "ejecución iterativa" (rollout) para refinar el plan:

Cálculo de Distancia: El sistema calcula una distancia cuantitativa ( $d_T$ ) entre los estados actuales/predichos y el estado objetivo estimado. Esta es la suma total de las diferencias a través de los 5 bloques y sus 4 características (distancia máxima $d_T = 20$ ).
Truncamiento: El sistema evalúa múltiples ejecuciones y trunca la secuencia de acciones en el estado con la menor $d_T$ .
Iteración: El estado truncado se convierte en el nuevo punto de partida para la siguiente ejecución. Este proceso se repite hasta que $d_T = 0$ o se alcanza un número máximo de ejecuciones, asegurando que el plan converja hacia el objetivo.

Configuración Experimental

Conjunto de Datos: Un escenario simulado de ensamblaje de bloques que involucra 495 instancias de 19 usuarios. Los usuarios teleoperaron dos brazos robóticos Franka para ensamblar cinco bloques de madera idénticos en una de ocho estructuras (por ejemplo, Diapasón, Puente, Caballo).
Línea Base (Baseline): Un enfoque de LTA de vanguardia inspirado en AntGPT, que realiza la estimación de la tarea y una única ejecución de predicción de acción sin seguimiento de estado ni representación de estado estructurada.
Métricas:
- Ejecutabilidad: Porcentaje de acciones que pasan las restricciones lógicas y físicas (por ejemplo, precondiciones, poses de objetos).
- Error del Estado Final: La diferencia entre el estado final alcanzable y el estado objetivo real.
- Subsecuencia Común Más Larga (LCS): Mide el solapamiento en el orden de las acciones entre las secuencias predichas y registradas.
- Corrección de la Tarea y Error del Estado Actual: Precisión de la inferencia de la tarea y la estimación del estado.

Resultados Clave

Evaluado en un escenario de completitud de tarea del 50% utilizando GPT-4o, STEP demostró mejoras significativas respecto a la línea base:

Ejecutabilidad: El artículo reporta una mejora general del 32.8% en la ejecutabilidad de las acciones en comparación con el estado del arte. En la ablación específica de GPT-4o (Tabla III), STEP logró un 78.12% de ejecutabilidad frente al 71.68% de la línea base.
Error del Estado Final: El artículo reporta una mejora general del 14.8% en el error del estado final. En la ablación específica de GPT-4o (Tabla III), STEP redujo el error a 4.38 comparado con el 4.53 de la línea base.
LCS: La línea base logró un LCS más alto. Los autores atribuyen esto a que la línea base genera secuencias de acciones más largas y menos eficientes que casualmente se solapan más con los datos registrados, mientras que la estrategia de truncamiento de STEP produce planes más cortos y directos.
Robustez: STEP superó a la línea base en varios tamaños de MM-LLM (GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2), aunque el rendimiento disminuyó con modelos más pequeños (GPT-4o mini) debido a una menor precisión en la estimación de la tarea.

Significado y Reivindicaciones

El artículo afirma que STEP cierra la brecha entre el razonamiento de alto nivel de los MM-LLM y los requisitos precisos de la ejecución robótica en entornos industriales. Al modelar explícitamente las transiciones de estado y utilizar representaciones JSON estructuradas, el método:

Mitiga las Alucinaciones: Evita la generación de acciones que son físicamente imposibles o que divergen del objetivo mediante el seguimiento cuantitativo del estado.
Permite la Ejecución Parametrizada: Va más allá de los pares "verbo-sustantivo" para proporcionar los parámetros de asistencia específicos (ubicación, orientación) requeridos para la ejecución en el mundo real.
Opera Sin Verdad Fundamental: A diferencia de trabajos previos que requieren estados iniciales de verdad fundamental, STEP infiere el estado a partir de la entrada visual, lo que lo hace aplicable a escenarios del mundo real donde tales datos no están disponibles.

Los autores reconocen limitaciones, específicamente que la implementación actual está adaptada al ensamblaje de bloques y que el proceso de ejecución iterativa introduce latencia (aproximadamente 148 segundos frente a los 18 segundos de la línea base), lo cual debe abordarse para el despliegue en tiempo real. Sugieren que el trabajo futuro podría centrarse en automatizar la generación de prompts para nuevos escenarios y optimizar la velocidad de inferencia mediante el alojamiento local o el ajuste fino (fine-tuning) del modelo.