🤖 AI

MemCorr-DP: Counterfactual Correspondence Conditioning for a Diffusion Policy Guided by a Reference

MemCorr-DP es una política de difusión que mejora la robustez visuomotriz bajo desplazamientos espaciales y de punto de vista compuestos al elevar las coincidencias de características 2D en relaciones 3D explícitas con una trayectoria de referencia y emplear el condicionamiento contrafáctico para alinear la geometría con la escena actual.

Autores originales: Tan Su, Haoxiang Yang, Ruxin Wang, Binghui Xie

Publicado 2026-09-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tan Su, Haoxiang Yang, Ruxin Wang, Binghui Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que aprenden observando a los humanos realizar una tarea son cada vez más comunes, pero enfrentan una limitación persistente: a menudo fallan en el momento en que el mundo cambia ligeramente. Si un robot aprende a abrir una puerta mientras está parado en un lugar determinado, puede confundirse si la puerta se mueve incluso unos pocos centímetros o si la cámara que observa la escena cambia su ángulo. Esto sucede porque muchos controladores de robots dependen de la memorización de patrones visuales específicos, como la forma exacta de un pomo de puerta en una esquina específica de la imagen, en lugar de comprender la geometría subyacente de la interacción. Cuando la escena cambia, el patrón familiar desaparece y el plan del robot colapsa. Para construir máquinas que puedan adaptarse verdaderamente, los investigadores están explorando formas de enseñar a los robots a concentrarse en la relación espacial entre los objetos y sus propios movimientos, en lugar de solo en los píxeles de una pantalla. Este enfoque tiene como objetivo crear una forma de "memoria muscular" que comprenda cómo debe moverse una pinza con respecto a un objeto, independientemente de dónde se encuentre situado ese objeto o de cómo esté mirando la cámara.

En un nuevo estudio, los investigadores han desarrollado un sistema llamado MemCorr-DP que aborda este problema enseñando a un robot a alinear sus acciones con un ejemplo grabado de éxito, incluso cuando la escena se ve muy diferente. La idea central es simple pero poderosa: en lugar de intentar memorizar la apariencia de un intento exitoso, el robot aprende a hacer coincidir la geometría física de su situación actual con la geometría de una trayectoria guardada y exitosa. Imagine a un robot intentando abrir una puerta. Los investigadores le proporcionan una grabación de video de una apertura exitosa. A medida que el robot intenta la tarea en una nueva ubicación con un ángulo de cámara diferente, utiliza un sistema de coincidencia visual para encontrar puntos correspondientes en la puerta y en la mano del robot, tanto en la vista en vivo como en el video grabado. Luego, eleva estos puntos coincidentes a un espacio tridimensional compartido, creando un conjunto de relaciones que describen dónde está la mano del robot con respecto a la puerta, y dónde estaba la mano en la grabación con respecto a la puerta en ese mismo momento. Esto permite que el robot vea que, aunque la puerta esté en un lugar diferente, la relación física entre la mano y el pomo es la misma, y puede proceder con el movimiento correcto.

Los investigadores probaron este sistema en una tarea simulada donde un robot debe abrir y cerrar una puerta. Deliberadamente dificultaron la tarea moviendo la puerta a posiciones muy fuera del rango que el robot vio durante el entrenamiento y desplazando el ángulo de la cámara quince grados. En estas condiciones desafiantes, el nuevo sistema tuvo éxito en el 96.67% de los intentos. En comparación, un controlador de robot estándar que dependía de imágenes visuales por sí solas, sin esta coincidencia geométrica, tuvo éxito solo el 88% de las veces. La diferencia puede parecer pequeña, pero en el mundo de la robótica, una tasa de falla del 12% frente a una del 3% representa una brecha masiva en la fiabilidad. El estudio mostró que el éxito del sistema dependía fuertemente del uso de las relaciones tridimensionales completas entre los puntos. Cuando los investigadores eliminaron la coincidencia detallada punto a punto y la reemplazaron con información más simple, como solo el centro de la puerta o la dirección general del movimiento, la tasa de éxito disminuyó significativamente. Esto demostró que el robot necesitaba el mapa espacial preciso proporcionado por el sistema de coincidencia para navegar los cambios difíciles.

Para asegurar que el robot estuviera siguiendo realmente las instrucciones en el video de referencia y no solo adivinando, los investigadores introdujeron un método de entrenamiento ingenioso. Enseñaron al robot a distinguir entre abrir y cerrar una puerta dándole exactamente la misma posición inicial y la misma entrada ruidosa e incierta, pero pidiéndole que predijera la acción para dos resultados diferentes basados en dos videos de referencia distintos. Si el robot no podía distinguir entre abrir y cerrar cuando la referencia cambiaba, no estaba aprendiendo la lección correcta. Este entrenamiento "contrafáctico" obligó al sistema a prestar mucha atención a los detalles específicos de la trayectoria de referencia. Los resultados mostraron que cuando se le daba al robot el video de referencia incorrecto, este intentaba la acción incorrecta, lo que demostró que estaba responiendo genuinamente a la guía proporcionada por la referencia en lugar de confiar en un hábito preaprendido.

El estudio también examinó qué tan bien manejaba el sistema los errores en el proceso de coincidencia visual. En el mundo real, la coincidencia de puntos entre dos imágenes diferentes nunca es perfecta; siempre hay algún pequeño error. Los investigadores encontraron que su sistema seguía siendo robusto incluso cuando la coincidencia era imperfecta, manteniendo altas tasas de éxito incluso cuando las posiciones calculadas estaban desviadas por varios centímetros. Esta resiliencia sugiere que el sistema no necesita una alineación de píxel perfecto para funcionar; solo necesita una aproximación lo suficientemente buena de las relaciones tridimensionales para guiar las acciones del robot. Los investigadores señalaron que, si bien el sistema funcionó bien en su simulación, aún no ha sido probado en robots físicos ni con diferentes tipos de tareas. La evaluación se limitó a una única instancia de puerta y tipos específicos de movimiento y desplazamientos de cámara. Sin embargo, los resultados proporcionan una fuerte evidencia de que modelar explícitamente las relaciones tridimensionales entre un robot, un objeto y un ejemplo de referencia es un camino prometedor hacia la creación de robots que puedan generalizar sus habilidades a entornos nuevos e impredecibles.

Resumen Técnico: MemCorr-DP

Declaración del Problema

Las políticas visuomotoras de clonación de comportamiento suelen exhibir una alta precisión dentro de su distribución de entrenamiento, pero fallan cuando las posiciones de los objetos y los puntos de vista de la cámara cambian simultáneamente. Aunque una trayectoria de referencia exitosa contiene la información geométrica necesaria para transferir una interacción a una nueva escena, las políticas estándar luchan por alinear esta geometría con la observación actual y siguen siendo sensibles a ella durante el proceso de generación de acciones. Específicamente, las políticas de difusión pueden depender demasiado de la entrada de acción ruidosa para inferir el comportamiento, debilitando su dependencia de la referencia. Además, existe una brecha entre las condiciones geométricas perfectas disponibles durante el entrenamiento y las condiciones de emparejamiento visual imperfectas encontradas durante la ejecución.

Metodología

Los autores proponen MemCorr-DP, una política de difusión diseñada para cerrar esta brecha condicionando la generación de acciones mediante relaciones 3D explícitas entre una trayectoria de referencia y la escena en vivo. El método opera a través de los siguientes componentes:

1. Construcción de la Relación 3D

En cada paso de replanificación, el sistema utiliza un emparejador RoMa v2 congelado para establecer correspondencias de píxeles densas entre la referencia y las observaciones RGB-D de consulta actuales.

Elevación (Lifting): Las coincidencias válidas se elevan a un marco de mundo de simulador 3D compartido.
Tokens de Relación: Para cada punto emparejado, el sistema construye un conjunto de tokens de relación de 18 dimensiones. Estos tokens codifican:
- La posición del gripper en vivo relativa a la geometría de la escena en vivo.
- La posición del gripper de referencia relativa a la geometría de referencia.
- Desplazamientos de movimiento futuros del gripper de referencia.
- El desplazamiento entre las escenas de consulta y de referencia.
Entrada: Se emparejan hasta 16 puntos de referencia, generando un arreglo de tokens de relación fijo de $64 \times 18$ (incluyendo desplazamientos futuros) que sirve como la entrada de condicionamiento para la política.

2. Arquitectura de Difusión de Acción

La política es un denoiser de acciones basado en Transformer (1.61M de parámetros) que procesa los 64 tokens de relación y el estado de robot de 9D actual. Emplea cuatro bloques de acción Transformer para denotar una secuencia de acción de 16 pasos, donde cada acción consiste en un desplazamiento del efector final 3D y un comando escalar del gripper.

3. Denoising de Pares Contrafactuales

Para asegurar que el comportamiento de la política dependa estrictamente de la referencia seleccionada en lugar de filtrarse desde la entrada de acción ruidosa, los autores introducen un objetivo de pares contrafactuales.

Mecanismo: Durante el entrenamiento, se emparejan comportamientos opuestos (por ejemplo, abrir vs. cerrar una puerta). Comparten exactamente el mismo estado físico del robot y la misma entrada de acción ruidosa ( $z_t$ ).
Diferenciación: Las únicas diferencias son la trayectoria de referencia y el objetivo de denoise limpio ( $\epsilon_b$ ).
Efecto: Esto obliga al modelo a resolver los objetivos de acción distintos basándose únicamente en la entrada de la referencia, evitando que la acción ruidosa actúe como un atajo para la identificación del comportamiento.

4. Estrategia de Entrenamiento de Dos Etapas

El proceso de entrenamiento consta de dos etapas para manejar la discrepancia entre las condiciones de entrenamiento y de ejecución:

Etapa 1: El modelo se entrena con relaciones geométricas de verdad fundamental (ground-truth) para aprender el mapeo ideal.
Etapa 2 (Ajuste Fino): El modelo se ajusta con un conjunto mixto de condiciones: 25% de relaciones de verdad fundamental, 50% de coincidencias de RoMa v2 almacenadas en caché y 25% de relaciones corruptas (simulando errores de emparejamiento y patrones de validez observados durante la ejecución). Esto adapta la política al ruido y los errores inherentes al emparejamiento visual en el mundo real.

Contribuciones Clave

Representación de Relación 3D: Una novedosa interfaz de condicionamiento para el control de difusión que conecta la geometría de la escena actual con los estados del gripper demostrados y el movimiento futuro de la referencia en un marco 3D compartido.
Objetivo de Pares Contrafactuales: Un mecanismo de entrenamiento que asigna los mismos estados y la misma entrada ruidosa a comportamientos opuestos, obligando a la trayectoria de referencia a resolver el objetivo de acción específico.
Estrategia de Entrenamiento Robusta: Un enfoque de dos etapas que aprende de relaciones geométricas exactas y posteriormente se adapta a los errores de correspondencia medidos mediante un ajuste fino de condiciones mixtas.

Resultados Experimentales

El método fue evaluado en una tarea de Meta-World Door involucrando acciones de abrir y cerrar. La evaluación se centró en desplazamientos combinados donde la posición de la puerta se movió a las bandas de entrenamiento más externas (extrapolación) y el punto de vista de la cámara de consulta se desplazó $\pm 15^\circ$ .

Desempeño: Bajo la condición de desplazamiento combinado, MemCorr-DP logró una tasa de éxito de bucle cerrado del 96.67%. Esto superó significativamente a un baseline de Visual Transformer con la misma arquitectura de acción (88.00%) y a una política visual U-Net estándar (74.67%).
Estudios de Ablación:
- Representación: Las relaciones 3D completas superaron significativamente a los controles que usaban solo vectores de movimiento o centroides de objetos, indicando que el conjunto completo de relaciones geométricas es crítico.
- Entrenamiento de Pares: El entrenamiento de pares contrafactuales logró suprimir el comportamiento cuando se proporcionaba una referencia "opuesta", mientras que el entrenamiento estándar a menudo fallaba en distinguir la dirección de la referencia.
- Robustez: El sistema mantuvo altas tasas de éxito incluso cuando los errores de correspondencia 3D aumentaron significativamente (de ~11mm a ~43mm) bajo desplazos extremos.

Significancia y Reclamaciones

El artículo afirma que las relaciones de referencia 3D explícitas proporcionan una interfaz de condicionamiento más robusta para las políticas visuomotoras cuando los cambios espaciales y de punto de vista se combinan. Al elevar los emparejamientos visuales a un marco 3D compartido y forzar la dependencia de la referencia mediante el entrenamiento contrafactual, MemCorr-DP preserva la geometría de la interacción demostrada mientras la adapta a la escena actual.

Los autores señalan que sus conclusiones son específicas para la instancia de la puerta evaluada y los cambios de distribución probados (desplazamiento traslacional de posición y cambios de azimut de la cámara. No reclaman la generalizabilidad a diferentes categorías de objetos, rotaciones o despliegues físicos de robots sin pruebas adicionales, reconociendo las limitaciones respecto a la segmentación, calibración de profundidad y errores de actuadores en entornos reales.