DADP: Domain Adaptive Diffusion Policy

Resumen Técnico: DADP (Domain Adaptive Diffusion Policy)

1. El Problema

El aprendizaje de políticas adaptativas al dominio que puedan generalizarse a dinámicas de transición no vistas sigue siendo un desafío fundamental en el control basado en aprendizaje.

• Limitación actual: La mayoría de los enfoques existentes dependen del aprendizaje de representaciones de dominio para capturar información específica del entorno. Sin embargo, estos métodos a menudo fallan porque las representaciones aprendidas entrelazan información estática del dominio (como la gravedad o la fricción, que son constantes) con propiedades dinámicas variables (como la velocidad instantánea o derivadas temporales de alto orden).
• Consecuencia: Esta mezcla confunde a la política condicionada, limitando severamente su capacidad de adaptación "zero-shot" (sin ejemplos previos del nuevo dominio) y degradando el rendimiento en entornos no vistos (Out-of-Distribution, OOD).

2. Metodología Propuesta

DADP aborda este problema mediante dos innovaciones principales: el desentrelazado no supervisado de representaciones y la inyección consciente del dominio en el proceso de difusión.

A. Predicción Dinámica con Contexto Retrasado (Lagged Context Dynamical Prediction)
Para separar la información estática de la dinámica variable sin supervisión:

• Mecanismo: En lugar de usar el contexto histórico inmediato (los últimos pasos) para predecir el siguiente estado, el método introduce un desplazamiento temporal ($\Delta t$) grande. El contexto se toma de un momento pasado lejano (o incluso de otro episodio dentro del mismo dominio).
• Lógica: Al aumentar la brecha temporal ($\Delta t \to \infty$), la información de variaciones instantáneas (velocidad, aceleración momentánea) pierde correlación con el estado actual a predecir.
• Resultado: El codificador de contexto se ve obligado a aprender únicamente los factores estáticos del dominio ($\xi$) que son invariantes en el tiempo (ej. gravedad, longitud de extremidades), filtrando las propiedades transitorias ($\omega_t$). Esto genera representaciones de alta calidad y puras.

B. Inyección de Representación en la Difusión (Domain-Aware Diffusion Injection)
Una vez obtenidas las representaciones de dominio de alta calidad, DADP no las utiliza simplemente como una entrada adicional (concatenación), sino que las integra directamente en el proceso generativo de la política de difusión:

• Modulación del Prior: En lugar de iniciar el proceso de denoising con ruido gaussiano puro, DADP inicializa con una distribución gaussiana mixta sesgada por la representación aprendida ($z$). Esto coloca el punto de partida del proceso de difusión cerca de la "moda" de acción específica del dominio.
• Reformulación del Objetivo: Se redefine el objetivo de predicción de ruido. El modelo no solo predice el ruido añadido, sino un término compuesto que incluye el desplazamiento de la representación. Esto simplifica el proceso de denoising y guía al modelo hacia la distribución de acciones correcta para ese dominio específico.

3. Contribuciones Clave

1. Aprendizaje de Representación No Supervisado: Introducción de la Predicción Dinámica con Contexto Retrasado, una estrategia simple pero efectiva para extraer representaciones estáticas de dominio puras, eliminando la necesidad de etiquetas de dominio o datos extra generados.
2. Utilización de Representación mediante Predicción de Ruido: Un nuevo esquema de inyección que sesga la distribución previa y reformula el objetivo de difusión, superando a los métodos de condicionamiento estándar.
3. Rendimiento Superior: Validación en un conjunto amplio y desafiante de tareas de locomoción (MuJoCo) y manipulación (Adroit), demostrando superioridad consistente en escenarios zero-shot.
4. Código y Datos Abiertos: Liberación de todo el pipeline, incluyendo algoritmos, datasets y generadores de datos, para facilitar la reproducibilidad y la personalización.

4. Resultados Experimentales

Los experimentos se realizaron en entornos de locomoción (HalfCheetah, Walker2d, Ant, Hopper) y manipulación (Adroit), comparando contra métodos SOTA como CORRO, Prompt-DT y Meta-DT.

• Rendimiento General: DADP logró consistentemente el mejor rendimiento en configuraciones In-Distribution (IID) y Out-of-Distribution (OOD), superando a los baselines en la mayoría de las tareas.
• Estabilidad: Mostró una desviación estándar menor entre diferentes semillas aleatorias, indicando mayor robustez.
• Ablación de $\Delta t$: Se demostró que a medida que aumenta el desplazamiento temporal ($\Delta t$), la calidad de la representación mejora drásticamente (medido por precisión de clasificación lineal y pérdida de reconstrucción), acercándose al rendimiento de un modelo supervisado.
• Mastery (Dominio): DADP alcanzó la mayor tasa de "mastery" (capacidad de lograr >60% del rendimiento del experto en múltiples dominios), demostrando que una sola política puede adaptarse robustamente a una amplia gama de variantes morfológicas y dinámicas.

5. Significado e Impacto

Este trabajo es significativo porque resuelve un problema fundamental en el aprendizaje por refuerzo: la contaminación de las representaciones de dominio con información transitoria.

• Avance Teórico: Demuestra que el desentrelazado de información estática y dinámica es crucial para la generalización y puede lograrse de manera no supervisada mediante el diseño temporal de la tarea de predicción.
• Avance Práctico: La integración de representaciones en el proceso de difusión (en lugar de solo como entrada) ofrece una nueva vía para mejorar las políticas generativas, permitiendo que un agente aprenda una sola política capaz de operar eficazmente en entornos físicos no vistos sin necesidad de reentrenamiento o ajuste fino.
• Aplicabilidad: El enfoque es especialmente relevante para la robótica real, donde los parámetros del entorno (fricción, carga, desgaste) cambian y no se conocen a priori, permitiendo una adaptación rápida y robusta.

En conclusión, DADP establece un nuevo estado del arte en la adaptación de políticas offline, combinando una teoría sólida de desentrelazado de representaciones con una arquitectura de difusión innovadora.