💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

El artículo presenta NF-P, una política visomotora basada en flujos normalizantes para manipulación bimanual que supera a los modelos difusivos existentes al ofrecer inferencia rápida, cálculo de verosimilitud y estrategias de optimización que mejoran el rendimiento y la gestión de la incertidumbre en robótica real.

Autores originales: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Publicado 2026-02-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres enseñarle a un robot de dos brazos (como un humano) a hacer tareas complejas, como doblar una toalla o apilar bloques, simplemente mostrándole cómo lo haces tú.

Este paper presenta una nueva forma de enseñar a estos robots llamada NF-P (Política de Flujos Normalizadores). Para entenderlo, olvidémonos de las matemáticas complicadas y usemos una analogía de "Cocina y Recetas".

1. El Problema: Los "Cocineros" Antiguos (Modelos de Difusión)

Antes de este trabajo, la forma más popular de enseñar a los robots era usando modelos llamados "Difusión".

La analogía: Imagina que quieres que un robot aprenda a cocinar un plato. El modelo antiguo (Difusión) es como un chef que empieza con un montón de ruido (como sal y pimienta esparcidas por toda la cocina) y tiene que ir limpiando el desorden paso a paso, muy lentamente, hasta que aparece el plato perfecto.
El problema: Es muy lento. Además, si el chef se equivoca a mitad de camino, no sabe exactamente qué tan mal lo está haciendo hasta que termina. No puede decirte: "Oye, esta receta tiene un 90% de probabilidad de salir bien".

2. La Solución: El "Chef Experto" (Flujos Normalizadores)

Los autores proponen usar Flujos Normalizadores.

La analogía: Imagina un chef experto que tiene un mapa perfecto. En lugar de limpiar el desorden paso a paso, este chef sabe exactamente cómo transformar un ingrediente simple (como un huevo crudo, que es fácil de entender) en un plato gourmet complejo (el movimiento del robot) de un solo golpe.
La magia: Este chef tiene dos superpoderes:
1. Velocidad: Puede cocinar el plato de un solo tirón (muy rápido).
2. Confianza: Puede decirte exactamente: "Esta receta tiene un 99% de probabilidad de salir perfecta".

3. ¿Cómo funciona en la práctica? (Las dos estrategias)

Como el robot puede ver el "mapa de probabilidad" (sabe qué movimientos son más seguros), puede usar dos trucos inteligentes antes de moverse:

Estrategia 1: "El Sorteo de los Mejores" (Selección por Lotes)
Imagina que el robot piensa: "Voy a imaginar 128 formas diferentes de hacer este movimiento en mi cabeza". Luego, mira su "mapa de confianza" y elige la única idea que tiene la mayor probabilidad de éxito. Es como probar 128 recetas mentales y cocinar solo la que sabe que saldrá mejor.
Estrategia 2: "El Ajuste Fino" (Refinamiento por Gradiente)
El robot piensa una idea inicial, pero luego se dice: "Es buena, pero puedo mejorarla". Usa su mapa para subir la colina de la probabilidad, ajustando el movimiento un poquito hacia arriba hasta encontrar el punto más alto (el movimiento más seguro). Es como afinar una guitarra: tocas una nota y la ajustas hasta que suena perfecta.

4. El Truco de Entrenamiento: "Saltar los Tics" (Muestreo con Paso)

Cuando los humanos enseñan a los robots (teleoperación), a veces tenemos temblores o pausas nerviosas. Si el robot aprende de todo, también aprenderá esos temblores.

La solución: Los autores usaron un truco llamado "muestreo con paso". Imagina que ves un video de alguien haciendo una tarea, pero en lugar de ver cada fotograma, ves uno cada dos segundos.
Resultado: El robot ignora los temblores pequeños y se enfoca en los movimientos grandes y importantes. ¡Aprende mejor y más rápido!

5. Los Resultados: ¿Funciona de verdad?

Los autores probaron esto en simulaciones y con robots reales (dos brazos Kuka).

Velocidad: El nuevo método es mucho más rápido que los antiguos. Mientras los otros tardaban en "limpiar el ruido", este lo hace de un solo golpe.
Éxito: En tareas difíciles (como pasar un objeto de una mano a otra o doblar una toalla), el nuevo método falló mucho menos.
Robustez: Cuando el robot se atascaba (como quedarse mirando el objeto sin agarrarlo), el nuevo método lograba desatascarse y continuar, mientras que los antiguos se quedaban congelados.

En Resumen

Este paper nos dice que no necesitamos usar los métodos lentos y costosos de "limpieza paso a paso" para enseñar a los robots. Podemos usar Flujos Normalizadores, que son como un GPS de alta precisión para el robot:

Le dicen el camino exacto.
Le dicen qué tan seguro es ese camino.
Le permiten elegir la mejor ruta o ajustarla al instante.

Esto hace que los robots sean más rápidos, más inteligentes y capaces de trabajar en tiempo real en el mundo real, sin necesitar superordenadores gigantes. ¡Es un gran paso para que los robots nos ayuden en casa y en el trabajo!

Resumen Técnico: Normalizing Flows para Políticas Visuo-motores Bimanuales

1. El Problema

El campo de la robótica de propósito general ha adoptado recientemente modelos difusivos (diffusion models) para aprender comportamientos complejos de manipulación. Sin embargo, estos modelos presentan dos desventajas fundamentales que limitan su despliegue en hardware real:

Alto costo computacional en la inferencia: Requieren múltiples pasos de denoising iterativos, lo que genera latencia y dificulta el control en tiempo real.
Incapacidad para cuantificar la incertidumbre: No proporcionan estimaciones de verosimilitud (likelihood) tratables, lo que impide medir la confianza del modelo en sus salidas o optimizar las trayectorias basándose en la probabilidad.

Además, los modelos de regresión tradicionales (como los basados en Transformers) tienden a colapsar ante distribuciones multimodales, regresando hacia la media de las demostraciones en lugar de capturar modos de comportamiento válidos y distintos.

2. Metodología: NF-P (Normalizing Flow Policy)

Los autores proponen NF-P, una política visuo-motora basada en Normalizing Flows (Flujos de Normalización) condicionada a observaciones visuales (RGB) para tareas bimanuales.

Arquitectura Base:
- NF-P aprende una transformación biyectiva y diferenciable ( $T$ ) que mapea la distribución compleja de acciones ( $x$ ) a una distribución prior simple (ruido gaussiano, $z$ ).
- Utiliza capas de acoplamiento (coupling layers) con splines racionales-cuadráticos (Neural Spline Flows) para garantizar que la transformación sea invertible y que el determinante jacobiano sea tratable.
- Codificación de Observación: Utiliza una ResNet18 preentrenada para extraer embeddings de imágenes, que se combinan con el vector de la última acción para condicionar la distribución de probabilidad $p(a|o)$ .
Innovaciones Clave en el Entrenamiento e Inferencia:
1. Muestreo con Stride (Stride Sampling): Para mitigar el ruido de alta frecuencia y los "temblores" inconscientes presentes en los datos de teleoperación humana, el modelo se entrena muestreando observaciones y acciones con un intervalo temporal ( $s$ ). Esto obliga al modelo a aprender transiciones significativas entre estados en lugar de movimientos de alta frecuencia, sin reducir la densidad de los datos de entrenamiento.
2. Optimización de Salida basada en Verosimilitud: Aprovechando la capacidad de calcular la verosimilitud exacta $\log p(a|o)$ $lo g p (a ∣ o)$ , se proponen dos estrategias de optimización en tiempo de inferencia:
  - Selección Estocástica por Lotes (SBS): Genera un lote de candidatos (ej. 128) y selecciona la secuencia con la mayor verosimilitud.
  - Refinamiento por Gradiente (GR): Realiza un ascenso de gradiente sobre la verosimilitud logarítmica de una muestra inicial para "escalar" hacia el máximo local de la variedad de acciones, mejorando la calidad de la trayectoria.

3. Contribuciones Clave

El trabajo presenta tres contribuciones principales:

Propuesta de NF-P: Una arquitectura de flujo de normalización condicionada diseñada específicamente para políticas visuo-motores RGB, incorporando muestreo con stride y optimización de verosimilitud.
Evaluación Exhaustiva: Demostración de que NF-P iguala o supera a las políticas basadas en difusión (Diffusion Policy - DP) en una amplia gama de tareas bimanuales simuladas (RoboTwin 2.0) y en robots reales (Kuka iiwa), con una mayor eficiencia de datos.
Análisis de Escalabilidad y Ablación: Se demuestra que NF-P escala bien con el tamaño del conjunto de datos y se identifican los hiperparámetros óptimos (stride, varianza de muestreo) que maximizan el rendimiento.

4. Resultados

Simulación (RoboTwin 2.0):
- NF-P con refinamiento por gradiente (NF-PGR) logró una tasa de éxito promedio del 38.06%, superando significativamente a la línea base de difusión (28.04%).
- Las mejoras fueron más notables en tareas de alta precisión y contacto (ej. "Abrir Microondas": 77% vs 5%; "Entregar Micrófono": 100% vs 53%).
- La estimación exacta de densidad permitió explotar mejor la variedad de demostraciones en comparación con la difusión.
Robot Real (Kuka Bimanual):
- En tareas como "Apilar Bloques" y "Doblar Toalla", NF-P superó a la línea base de difusión, que a menudo fallaba en la inicialización o se quedaba atascada entre sub-objetivos.
- RoboTwin 2.0: NF-P logró tasas de éxito del 60% (Apilar Bloques) y 75% (Doblar Toalla), frente al 15% y 55% de la difusión, respectivamente.
- NF-P fue capaz de completar tareas con límites de tiempo mucho más estrictos (30 segundos por transición vs. 8 minutos para DP), demostrando una menor latencia y mayor robustez en transiciones de estado.
Eficiencia:
- Entrenamiento: Convergencia en ~300 épocas (aprox. 50 min en RTX 4090).
- Inferencia: Tiempo de inferencia < 20 ms para la estrategia SBS (muestreo directo) y ~455 ms para GR (con optimización), ambos significativamente más rápidos que los modelos de difusión estándar.

5. Significado e Impacto

Este trabajo establece a los Normalizing Flows como una alternativa competitiva y computacionalmente eficiente a los modelos de difusión para el control robótico en tiempo real.

Gestión de la Incertidumbre: La capacidad de calcular la verosimilitud exacta permite una estimación de incertidumbre principista, lo que es crucial para la seguridad y la exploración en hardware real.
Tiempo Real: La inferencia de un solo paso (single-pass) elimina la necesidad de múltiples iteraciones de denoising, habilitando bucles de control de alta frecuencia esenciales para la manipulación reactiva.
Robustez Bimanual: La combinación de muestreo con stride y optimización basada en verosimilitud permite manejar eficazmente las distribuciones multimodales y el ruido inherente a los datos humanos, superando los cuellos de botella de transición que afectan a otros modelos.

En conclusión, NF-P ofrece un marco matemáticamente sólido que equilibra expresividad, eficiencia computacional y cuantificación de incertidumbre, posicionándose como una solución viable para escalar el aprendizaje robótico a entornos multimodales complejos.