💻 computer science

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

Este artículo presenta DEED, un marco de nivel de sistemas que cierra la brecha entre los bancos de pruebas de laboratorio y las operaciones minoristas del mundo real para robots humanoides mediante la combinación de postentrenamiento eficiente en datos, refinamiento basado en la experiencia y análisis del espacio latente para lograr un rendimiento robusto en una tarea de reabastecimiento de chips utilizando recursos computacionales mínimos.

Autores originales: Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

Publicado 2026-07-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a realizar una tarea doméstica, como doblar la ropa o reponer un estante. Podrías pensar que la parte más difícil es construir el cerebro del robot para que pueda "ver" y "entender" el mundo. Pero en el mundo de la robótica, hay una brecha complicada entre lo que sucede en un laboratorio perfecto y controlado y lo que sucede en una tienda real y desordenada. En el laboratorio, los robots suelen parecer genios, pero sácalos por la puerta y podrían tropezar con una alfombra o dejar caer un objeto porque la iluminación cambió o una caja estaba ligeramente torcida.

Para cerrar esta brecha, los científicos utilizan algo llamado un modelo de Visión-Lenguaje-Acción (VLA). Piensa en un VLA como un cerebro de robot superinteligente que ha leído todo el internet. Sabe cómo se ve una "bolsa de papas fritas", entiende la frase "pon esto en el estante" y sabe cómo mover sus brazos para hacerlo. Estos modelos son poderosos, pero son como estudiantes que solo han estudiado de libros de texto. No han hecho realmente la tarea en el mundo real. Tienen dificultades cuando las cosas no salen exactamente como se planearon y no pueden aprender de sus propios errores una vez que se encienden. La gran pregunta que se hacen los investigadores es: ¿Cómo tomamos estos cerebros de robot brillantes pero inexpertos y los convertimos en trabajadores confiables sin necesidad de millones de dólares en supercomputadoras?

Este artículo presenta un nuevo método llamado DEED (Aprendizaje Impulsado por la Experiencia y Post-Entrenamiento Eficiente en Datos) para resolver exactamente ese problema. Los investigadores probaron su idea en un robot Unitree G1-Edu, un humanoide que se parece un poco a un humano, intentando realizar una tarea muy específica: reponer bolsas de papas fritas en un supermercado. Descubrieron que el secreto para hacer que el robot funcionara no era inventar un cerebro nuevo y más complejo. En su lugar, se trataba de ser un maestro muy cuidadoso.

Primero, se dieron cuenta de que simplemente descargar un cerebro de robot pre-entrenado y decirle "ve" no funcionaba; el robot fallaba por completo. El problema era que el robot estaba tratando de aprender de datos desordenados e inconsistentes y se confundía por el tiempo de sus cámaras y movimientos. El equipo solucionó esto creando una receta "Eficiente en Datos". Limpiaron los videos de entrenamiento para eliminar dudas y errores, sincronizaron la velocidad de la cámara del robot con su velocidad de movimiento (para que no intentara moverse más rápido de lo que podía ver) e incluso utilizaron una herramienta de ayuda para resaltar exactamente dónde debería mirar el robot, como dibujar un cuadro verde alrededor del espacio vacío en el estante. También simplificaron el trabajo del robot tratando su mano como un simple interruptor de encendido/apagado en lugar de intentar controlar cada pequeño músculo. Con solo estos ajustes cuidadosos y una sola tarjeta gráfica, convirtieron un robot con un 0% de éxito en uno que podía reponer papas fritas el 32% de las veces.

Después, intentaron que el robot fuera aún mejor permitiéndole aprender de su propia experiencia, un proceso llamado "Aprendizaje Impulsado por la Experiencia". Dejaron que el robot intentara la tarea por su cuenta y, cuando fallaba, un humano intervenía para corregirlo. El robot luego utilizó estas correcciones para actualizar su cerebro. ¡Esto funcionó! Después de una ronda de esta práctica, la tasa de éxito del robot saltó al 42%, y se volvió más rápido y directo en sus movimientos.

Sin embargo, el artículo sugiere una advertencia sobre hacer esto demasiado. Cuando intentaron una segunda ronda de práctica, el robot en realidad empeoró, cayendo de nuevo al 22% de éxito. Los autores sospechan que esto sucedió porque el robot comenzó a confiar demasiado en sus propias "alucinaciones" de lo que funcionaba, en lugar de los ejemplos sólidos dados por el maestro humano. Es como si un estudiante solo practicara adivinando las respuestas a sus propios exámenes inventados; eventualmente, empiezan a olvidar las reglas reales. El equipo también construyó una herramienta especial para observar el cerebro del robot en tiempo real, midiendo qué tan "extraña" era su situación actual en comparación con aquello para lo que había sido entrenado. Esta herramienta les ayudó a ver exactamente cuándo el robot estaba derivando hacia territorio desconocido y peligroso.

En última instancia, el artículo sugiere que el mayor obstáculo para poner robots humanoides en las tiendas no es construir un cerebro más inteligente, sino construir un mejor sistema de entrenamiento. Al curar cuidadosamente los datos y saber cuándo detener al robot de "practicar" por su cuenta, podemos convertir un modelo pre-entrenado torpe en un trabajador competente utilizando muy poca potencia de cómputo. Los investigadores descubrieron que, si bien una ronda de autocorrección ayuda, demasiada puede perjudicar, y la clave del éxito reside en equilibrar las propias experiencias del robot con la guía confiable de las demostraciones humanas.

Resumen Técnico: Cerrando la brecha del laboratorio a la tienda con DEED

Declaración del Problema
A pesar del surgimiento de los modelos de Visión-Lenguaje-Acción (VLA) como un paradigma dominante para la manipulación robótica de propósito general, persiste una brecha significativa entre el rendimiento en entornos de prueba (benchmarks) y el despliegue fiable en el mundo real. Los VLA actuales suelen entrenarse de forma offline y desplegarse como políticas fijas, careciendo de robustez frente a errores de ejecución, cambios en la distribución y variabilidad ambiental. El artículo argumenta que cerrar esta brecha de "laboratorio a la tienda" es principalmente un desafío de integración de sistemas más que uno arquitectónico. El despliegue de modelos preentrenados (como GR00T) a menudo falla debido a desajustes de ingeniería en la curación de datos, la frecuencia de control y la representación de la acción, más que por una falta de capacidad del modelo. Además, las políticas offline no pueden mejorar a partir de su propia experiencia de despliegue, lo que requiere estrategias de post-entrenamiento efectivas.

Metodología: El Marco DEED
Los autores proponen DEED (Data-Efficient Post-Training and Experience-Driven Learning - Post-entrenamiento eficiente en datos y aprendizaje impulsado por la experiencia), un marco de nivel de sistema evaluado en una tarea de reposición de productos en un supermercado utilizando un robot humanoide Unitree G1-Edu y el modelo fundacional GR00T N1.6. DEED consta de tres componentes principales:

Pipeline de Post-entrenamiento Eficiente en Datos:
Esta etapa se centra en convertir un checkpoint de un modelo fundacional estándar en una política fiable mediante decisiones de ingeniería específicas:
- Jerarquía de Frecuencia: Establecer una relación estricta entre la frecuencia de la cámara ( $f_{cam}$ ), la frecuencia de teleoperación ( $f_t$ ), la frecuencia de grabación ( $f_r$ ) y la frecuencia de control de inferencia ( $f_{ctrl}$ ) para asegurar un movimiento suave y continuo y evitar el aprendizaje basado en observaciones duplicadas.
- Reglas de Curación de Datos: Implementar directrices estrictas para prevenir el ruido, incluyendo la garantía de una cobertura de estados equilibrada, la grabación únicamente de comportamientos exitosos eficientes, la retención de recuperaciones incidentales (para enseñar la corrección de errores), la maximización de la consistencia de la acción, la minimización de la variación ambiental incontrolada y la evitación de estados de "no operación".
- Resaltado Visual Relevante para la Tarea: Integrar un marco IA-VLA adaptado donde un Modelo de Lenguaje-Visión (VLM) de gran tamaño genera máscaras de segmentación para resaltar regiones relevantes para la tarea (por ejemplo, ubicaciones de estantes vacíos), proporcionando al VLA pistas visuales fundamentadas en lugar de depender únicamente de los datos de post-entrenamiento.
- Reducción de la Dependencia del VLA: Utilizar un controlador de mano binario para acciones de agarre discretas y aplicar un filtro Butterworth a las secuencias de acciones predichas durante la inferencia para suavizar las transiciones y mantener las acciones ejecutadas dentro de la distribución de entrenamiento.
- Episodios Continuos: Grabar demostraciones de múltiples sub-tareas como episodios continuos para enseñar las transiciones entre sub-tareas, en lugar de segmentarlas.
Aprendizaje Impulsado por la Experiencia (Adaptación de RECAP):
Para permitir que la política aprenda de su propio despliegue, los autores adaptan el método RECAP (RL with Experience and Corrections via Advantage-conditioned Policies) a la arquitectura desacoplada de GR00T (que separa la percepción/razonamiento del control).
- Adaptación de la Arquitectura: En lugar de modificar el modelo, la política se condiciona mediante un prefijo de ventaja basado en texto ("Advantage=True/False") y una función de valor basada únicamente en visión-lenguaje.
- Función de Valor: Un cabezal MLP ligero se entrena sobre un codificador VLM Eagle-3 congelado para predecir distribuciones de retorno categórico sobre observaciones visuales e instrucciones.
- Cómputo de la Ventaja: Las etiquetas de ventaja de múltiples pasos se computan offline utilizando retornos de Monte Carlo. Las intervenciones correctivas humanas se etiquetan forzosamente como positivas para reforzar los comportamientos de recuperación.
- Bucle de Refinamiento: La política se refina iterativamente entrenando sobre una mezcla de datos de teleoperación originales, ejecuciones autónomas exitosas y correcciones humanas. Crucialmente, cada iteración de refinamiento se inicializa desde el checkpoint base original para evitar la deriva de optimización.
Análisis de Distribución (In/Out-of-Distribution) en el Espacio Latente:
Se introduce una herramienta de diagnóstico para medir qué tan lejos se desvía el estado actual del robot de la distribución de entrenamiento. Al ajustar un Modelo de Mezcla Gaussiana (GMM) a los embeddings latentes del codificador de estado, el sistema calcula distancias de Mahalanobis. Esto permite la detección de estados donde es probable que la política falle, distinguiendo entre variaciones benignas y salidas genuinas del manifold demostrado.

Resultados Clave
El marco fue evaluado en una tarea de reposición de productos que involucra agarre, rotación del torso y colocación.

Fallo de la Línea Base: Un ajuste fino (fine-tuning) ingenuo de GR00T N1.6 (sin la ingeniería de DEED) logró una tasa de éxito del 0%, fallando al agarrar o colocar los objetos de manera fiable.
Etapa de Eficiencia de Datos: Aplicar la receta de Eficiencia de Datos por sí sola mejoró la tasa de éxito al 32% (16/50 episodios) con un tiempo de ejecución medio de 24.30s por bolsa. Esta fue la primera configuración que ejecutó con éxito la secuencia completa de recoger-rotar-colocar de forma autónoma.
Etapa Impulsada por la Experiencia: Una sola iteración de RECAP mejoró la tasa de éxito al 42% (21/50) y redujo el tiempo de ejecución a 22.37s.
Degradación en la Segunda Iteración: Una segunda iteración de refinamiento causó una caída en el rendimiento al 22%. El análisis reveló que esto se debió a la deriva de la distribución: las ejecuciones generadas por sí mismas comenzaron a dominar el conjunto de entrenamiento, estrechando la distribución de estado-acción efectiva y causando que la política se alejara de los comportamientos robustos anclados por los datos de teleoperación originales.
Comportamiento de Reinicio: Las políticas refinadas tendían a detenerse tras una única colocación en lugar de regresar a la configuración inicial, ya que el estado de éxito terminal recibió un valor más alto que las poses de reinicio intermedias.

Significado y Reivindicaciones
El artículo sostiene que la principal barrera para desplegar humanoides basados en VLA en entornos minoristas reales no es la novedad arquitectónica, sino la integración de sistemas. Los autores demuestran que:

Calidad de Datos sobre Cantidad: Una curación de datos cuidadosa y un post-entrenamiento dirigido pueden transformar un checkpoint de modelo fundacional no funcional en un sistema competente en el mundo real utilizando un solo GPU.
Etapas Complementarias: La etapa de Eficiencia de Datos proporciona la base necesaria para la funcionalidad, mientras que el refinamiento Impulsado por la Experiencia ofrece ganancias marginales en robustez.
Límites del Refinamiento Iterativo: En tareas humanoides de alta variabilidad, el refinamiento iterativo sin una mezcla equilibrada de demostraciones y ejecuciones puede conducir a la degradación del rendimiento debido a la deriva de la distribución.
El Monitoreo como Ciudadano de Primera Clase: La herramienta de análisis de espacio latente propuesta proporciona un mecanismo agnóstico al modelo para diagnosticar fallos de despliegue y comprender los límites de la distribución de entrenamiento de una política.

Los autores concluyen que, si bien DEED cierra con éxito la brecha para una tarea específica, los beneficios del aprendizaje impulsado por la experiencia dependen de la variabilidad de la tarea y del mantenimiento de una distribución de entrenamiento equilibrada.

Más como este