Resumen Técnico: Aprendiendo a Doblar en el LeHome Challenge 2026

Definición del Problema

El artículo aborda el LeHome Challenge 2026, una competición centrada en la manipulación bimanual robótica de objetos deformables (prendas de vestir). La tarea requiere un robot con dos brazos de 6 grados de libertad (configuración SO-ARM101) y tres cámaras RGB para doblar cuatro tipos de prendas (camisetas de manga larga/corta, pantalones de pierna larga/corta) que yacen planas sobre una mesa.

El desafío se divide en dos fases:

1. Ronda Online (Simulación): Los equipos compiten en NVIDIA Isaac Sim. El éxito es binario y geométrico, definido por condiciones específicas de distancia de puntos clave (p. ej., encuentro de mangas, alineación del dobladillo). El conjunto de datos incluye 10 prendas "vistas" con demostraciones guionizadas y 10 prendas "no vistas" (2 públicas, 8 privadas) sin datos de entrenamiento.
2. Final en el Mundo Real: Los equipos finalistas se despliegan en robots físicos. Los criterios de éxito incluyen crédito parcial por pasos intermedios, juzgados por un jurado. Una restricción crítica es que el tipo de prenda no se proporciona como entrada; la política debe inferirlo.

Los desafíos clave identificados incluyen la naturaleza deformable de la tela (sensible a la trayectoria), recompensas binarias dispersas, generalización a prendas no vistas sin datos de entrenamiento y una difícil transferencia de simulación a realidad (sim-to-real) donde el robot de evaluación nunca estuvo accesible durante el desarrollo.

Metodología

La solución es un estudio de caso de ingeniería que combina una política de Visión-Lenguaje-Acción (VLA) con un bucle de Aprendizaje por Refuerzo (RL), en lugar de un estudio de ablación controlado.

1. Arquitectura de la Política

El sistema se basa en la arquitectura $\pi_0.5$ (extendida en el BEHAVIOR-1K Challenge 2025), que utiliza un codificador de imágenes SigLIP congelado, un transformador de prefijo Gemma-2B y un experto de acción Gemma-300M que genera fragmentos de acción de 30 pasos mediante flow matching.

• Modificaciones para LeHome:
  • Token de Tipo de Prenda: Un embedding aprendido reemplaza los prompts de texto. Durante la inferencia, un arranque de "Sistema-2" predice el tipo de prenda al inicio del episodio para condicionar el resto del despliegue.
  • Condicionamiento de Ventaja: La política está condicionada por un token de ventaja aprendido (estilo RECAP), lo que permite el uso de Classifier-Free Guidance (CFG) en la inferencia.
  • AdaRMS Multi-señal: La ventaja y el tipo de prenda se inyectan en las normalizaciones de capa del experto de acción mediante un vector aprendido, fortaleciendo el condicionamiento.
  • Atención Exclusiva (XSA): Aplicada para evitar que los tokens enrutan trivialmente sus propios valores, mejorando la estabilidad del entrenamiento.
  • Normalización Suave: Los deltas de acción se normalizan por cada paso de tiempo para manejar la creciente varianza de la trayectoria tipo paseo aleatorio.

2. La Política como su Propia Función de Valor

En lugar de un crítico separado, el modelo VLA incluye cabezales lineales auxiliares que predicen:

• Probabilidad de Éxito: Actúa como la función de valor ($V$).
• Progreso de Completitud: Predice $t/T$ para el modelado basado en potencial.
• Distancias de Puntos Clave: Predice las proporciones específicas utilizadas en el verificador de éxito.
• Predicciones Futuras: Un cabezal de "Función Q" predice el residuo de éxito ($\Delta_{success}$) 30 frames adelante, condicionado al fragmento de acción propuesto. Esto permite la selección Best-of-N en la inferencia.

3. Bucle de Entrenamiento de RL (El Volante de Inercia)

El sistema utiliza un pipeline asíncrono que se comunica vía HuggingFace Hub:

• Algoritmos: Combina AWR (Advantage Weighted Regression) y RECAP (condicionamiento de ventaja).
  • AWR: Los frames con alta ventaja se muestrean con mayor frecuencia ($P \propto e^{A/\beta}$) en lugar de ser reponderados en la pérdida, asegurando una utilización del 100% del lote en datos de alto valor.
  • RECAP: La ventaja se introduce como un token de entrada, permitiendo que el modelo aprenda a "predecir solo buenas acciones" y habilitando CFG.
• Estrategia de Datos:
  • Muestreo de Multi-dataset: El cargador mezcla datos de Behavior Cloning (BC), rollouts de RL y datos de DAgger (humano en el bucle).
  • Decaimiento: Los datos de RL decaen con el tiempo para priorizar datos on-policy.
  • Recuperación: Un bucle DAgger permite a los humanos corregir estados de fallo en simulación (aunque esto resultó difícil en simulación) y en el robot real.
  • Retroceso (Rollback): El proceso de entrenamiento retrocede periódicamente a checkpoints más antiguos para escapar de óptimos locales utilizando datos frescos off-policy.

4. Diseño de Recompensa y Ventaja

Dado que la recompensa real es binaria, el sistema diseña recompensas intermedias densas:

• Puntos de Control (Checkpoints): Se otorgan recompensas intermedias (0.5) al alcanzar hitos específicos de distancia de puntos clave.
• Retiro por Fallo: Si un episodio falla, toda la recompensa acumulada se retira para mantener un retorno binario, evitando que el modelo aprenda a "manipular" los estados intermedios.
• Estimación de Ventaja: Utiliza GAE (Generalized Advantage Estimation) combinando la probabilidad de éxito amortiguada y el progreso de completitud. Para rollouts obsoletos, la ventaja se degrada gradualmente hacia una señal de éxito relativo tipo GRPO.
• Impulso de Precisión: Los episodios exitosos que satisfacen las condiciones de forma "ajustada" reciben una ventaja adicional para fomentar pliegues de alta calidad.

5. Optimización en Tiempo de Inferencia

El mismo checkpoint se optimiza en el despliegue sin reentrenamiento:

• Muestreo de Thompson: Un bandit de múltiples brazos ajusta los hiperparámetros (longitud de ejecución, escala de guía, temperatura de ruido, conteo de candidatos) por tipo de prenda durante la recolección de rollouts.
• Best-of-N: Se muestrean múltiples fragmentos de acción desde el mismo prefijo; se ejecuta aquel con la mayor $\Delta_{success}$ predicha.
• Inpainting Suave: Los fragmentos de acción superpuestos se anclan para asegurar trayectorias suaves y persistencia de modo.

6. Transferencia Sim-to-Real

La transferencia al mundo real fue un "sprint" que involucró:

• Poda del Modelo: Se eliminaron los cabezales exclusivos de simulación (distancias de puntos clave, modelo de mundo) y el condicionamiento de ventaja, manteniendo solo el experto de acción, el cabezal de tipo de prenda y el cabezal de completitud.
• Mezcla de Datos: Se ajustó finamente con una mezcla de datos BC de organizadores, datos personales de teleoperación/DAgger y replays de simulación fuertemente aumentados.
• Alineación y Aumento: Se utilizó una herramienta de superposición de cámara para alinear el montaje físico con el objetivo. Se aplicó un aumento extremo (jitter de color, ruido, caída de cámara, reescalado de intensidad de movimiento) para cerrar la brecha de dominio.
• DAgger en el Robot Real: Se recolectaron datos de recuperación haciendo que un humano interviniera cuando la política fallaba, ponderando los frames según la proximidad de la intervención.

Resultados

• Ronda Online (Simulación): Logró el 1er lugar de entre 62 equipos con una tasa de éxito general del 79.63%, superando al segundo lugar por 6.1 puntos porcentuales.
  • Rendimiento por tipo: Camisetas manga larga (74.5%), Camisetas manga corta (70.0%), Pantalones largos (80.5%), Pantalones cortos (93.5%).
• Final en el Mundo Real: Logró el 2do lugar. La puntuación fue de 865 sobre un máximo de 1080 puntos.
  • La política dobló con éxito prendas no vistas y manejó la dinámica del robot físico, aunque dependió fuertemente de los datos de DAgger para la recuperación.

Significancia y Reivindicaciones

El autor presenta este trabajo como un estudio de caso de ingeniería en lugar de un experimento científico controlado, señalando que el sistema se construyó de forma iterativa bajo la presión de la competición con estudios de ablación limitados.

• Receta Práctica: El artículo afirma que la solución es una "receta" de recombinación de ideas existentes (AWR, RECAP, Flow Matching, DAgger) que pueden usarse juntas o individualmente.
• Política como Función de Valor: Demuestra que un único modelo VLA puede servir eficazmente tanto de política como de función de valor (predictores de éxito/completitud), simplificando el pipeline de entrenamiento y permitiendo una selección Best-of-N eficiente.
• Ajuste en Tiempo de Inferencia: El trabajo destaca que se pueden lograr mejoras significativas de rendimiento optimizando los hiperparámetros de inferencia (vía muestreo de Thompson) sin necesidad de entrenamiento adicional.
• Sim-to-Real mediante Diversidad: Argumenta que un aumento pesado y una aleatorización deliberada del montaje, combinados con una estrategia de transferencia "sim-to-real-to-real", pueden superar brechas de dominio significativas incluso sin acceso al robot de evaluación.
• Limitaciones: El autor admite que el sistema carece de una exploración/recuperación autónoma robusta. La política es excelente refinando comportos conocidos pero tiene dificultades para recuperarse de estados completamente fuera de su distribución de entrenamiento sin intervención humana (DAgger). El autor sugiere que un pipeline unificado que combine la maquinaria de RL de la ronda de simulación con los datos de recuperación del mundo real de la ronda final podría potencialmente alcanzar un éxito >90%.