DADP: Domain Adaptive Diffusion Policy

1. 문제 정의 (Problem)

학습 기반 제어 (Learning-based Control) 에서 가장 근본적인 난제 중 하나는 **보이지 않는 전이 역학 (unseen transition dynamics) 에도 일반화될 수 있는 도메인 적응 정책 (Domain Adaptive Policy)**을 학습하는 것입니다.

• 기존 접근법의 한계:
  • 도메인 표현 학습 (Representation Learning): 기존 방법들은 대조 학습 (Contrastive Learning) 이나 동적 예측 (Dynamical Prediction) 을 통해 도메인 정보를 추출합니다. 특히 동적 예측을 사용할 때, 현재 시점과 인접한 컨텍스트 (최근 역사) 를 선택하는 경우, 학습된 표현에 **정적인 도메인 정보 (예: 중력, 마찰 계수)**와 **변동하는 동적 특성 (예: 순간적인 속도, 가속도)**이 뒤섞여 (entangled) 버립니다.
  • 정책 활용 (Policy Utilization): 학습된 표현을 단순히 정책의 추가 입력으로 연결 (concatenation) 하거나 시퀀스 모델링에 의존하는 방식은 학습된 표현의 잠재력을 충분히 활용하지 못해 성능이 저하됩니다.
• 결과: 이러한 표현의 혼란은 제로샷 (Zero-shot) 적응 능력을 제한하고, 학습된 정책이 새로운 도메인에서 성능이 급격히 떨어지는 원인이 됩니다.

2. 제안 방법론 (Methodology: DADP)

저자들은 **DADP (Domain-Adaptive Diffusion Policy)**를 제안하며, 이는 **비지도 해리 (Unsupervised Disentanglement)**와 **도메인 인식 확산 주입 (Domain-Aware Diffusion Injection)**을 통해 강력한 적응 능력을 달성합니다.

가. 지연 컨텍스트 동적 예측 (Lagged Context Dynamical Prediction)

• 목적: 학습된 표현에서 시간적으로 변동하는 정보 ($\omega_t$) 를 제거하고, 도메인 고유의 정적 정보 ($\xi$) 만 추출하기 위함입니다.
• 메커니즘:
  • 기존 방법은 최근의 역사 ($\tau_t$) 를 컨텍스트로 사용하여 다음 상태 ($s_{t+1}$) 를 예측합니다. 이때 최근 역사는 순간적인 동적 특성과 강하게 상관관계가 있어 표현에 섞이게 됩니다.
  • DADP 는 **시간 지연 ($\Delta t$)**을 도입합니다. 즉, 현재 시점 $t+1$의 상태를 예측할 때, 컨텍스트를 $t-\Delta t$ 시점의 역사 ($\tau_{t-\Delta t}$) 에서 가져옵니다.
  • $\Delta t$가 커질수록 (심지어 $\Delta t \to \infty$, 즉 다른 에피소드에서 컨텍스트를 가져올 때), 컨텍스트는 현재 시점의 순간적인 동적 변화에 대한 정보를 제공하지 못하게 됩니다.
  • 결과적으로 모델은 예측 오차를 최소화하기 위해 **시간 불변인 정적 도메인 파라미터 (중력, 마찰 등)**만을 표현 ($z$) 으로 학습하게 되며, 이는 표현의 품질을 획기적으로 높입니다.

나. 표현 기반 확산 주입 (Representation-Prediction Diffusion Injection)

• 목적: 학습된 고품질 도메인 표현을 확산 정책 (Diffusion Policy) 의 생성 과정에 직접 통합하여 성능을 극대화합니다.
• 메커니즘:
  • 사전 분포 편향 (Prior Biasing): 기존 확산 정책은 가우시안 잡음에서 시작하지만, DADP 는 학습된 도메인 표현 $z$를 포함하는 **가우시안 혼합 분포 (Mixed Gaussian)**에서 시작합니다. 이는 각 도메인별 행동 모드 (Action Modality) 를 사전 분포의 피크로 형성하여, 노이즈 제거 과정이 해당 도메인의 구조를 더 잘 따르도록 유도합니다.
  • 확산 목표 재정의 (Reformulated Diffusion Target): 단순히 조건부 입력으로 표현을 사용하는 대신, 확산 모델이 예측해야 할 타겟을 노이즈 ($\epsilon$) 와 표현의 이동 ($z$) 을 합친 복합 항 ($\hat{\epsilon}_\theta$) 으로 변경합니다. 이는 각 디노이징 (Denoising) 단계에서 추가적인 지도 신호를 제공하여 생성 과정을 단순화하고 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 비지도 표현 학습: 동적 예측을 기반으로 한 지연 컨텍스트 (Lagged Context) 전략을 통해, 추가 데이터 생성 없이도 정적 도메인 정보를 효과적으로 분리해내는 방법을 제안했습니다.
2. 표현 활용 방식의 혁신: 조건부 입력 대신 사전 분포 편향과 확산 목표 재정의를 통해 표현을 생성 과정에 직접 주입하는 새로운 방식을 도입했습니다.
3. 우수한 성능: 보행 (Locomotion) 과 조작 (Manipulation) 태스크를 포함한 다양한 벤치마크에서 기존 SOTA 방법들 (CORRO, Prompt-DT, Meta-DT 등) 보다 일관되게 우수한 성능을 입증했습니다.
4. 오픈 소스: 알고리즘, 데이터셋, 데이터 생성 파이프라인을 포함한 전체 코드를 공개하여 커뮤니티의 재현과 확장을 지원했습니다.

4. 실험 결과 (Results)

• 벤치마크: MuJoCo (HalfCheetah, Walker2d, Ant, Hopper) 와 Adroit (Door, Relocate) 환경에서 평가되었습니다.
• 성능:
  • 분포 내 (IID) 및 분포 외 (OOD) 설정 모두에서 가장 높은 정규화된 수익 (Normalized Return) 을 기록했습니다.
  • 특히 Walker2d 와 같은 복잡한 환경에서 기존 방법들보다 훨씬 큰 성능 향상을 보였으며, 표준 편차가 작아 안정성이 뛰어났습니다.
• Ablation Study:
  • $\Delta t$의 영향: $\Delta t$가 증가할수록 표현의 분류 정확도 (Linear Probe Accuracy) 와 파라미터 재구성 손실이 개선되어, 지연 컨텍스트가 정적 정보 추출에 핵심적임을 입증했습니다.
  • 활용 방식 비교: 단순 조건부 입력 (Cond.) 보다 사전 분포 편향과 예측 목표 수정 (w/ Predict) 을 적용한 DADP 가 'Mastery' (전문가 정책의 60% 이상 성능 달성 비율) 에서 압도적인 우위를 보였습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 도메인 적응 분야에서 "정적 도메인 정보"와 "변동 동적 정보"를 효과적으로 분리하는 메커니즘을 규명하고, 이를 확산 모델의 생성 과정에 통합함으로써 성능 한계를 돌파했습니다.
• 실용적 가치: 단일 정책이 다양한 물리적 환경 (중력, 마찰, 체형 변화 등) 에 대해 제로샷으로 적응할 수 있게 하여, 실제 로봇 제어 및 시뮬레이션 - 현실 (Sim-to-Real) 적용의 장벽을 낮춥니다.
• 한계 및 향후 과제: 현재 연구는 정적 (시간 불변) 역학에 초점을 맞추고 있으나, 비정상적 (Non-stationary) 환경에서 변화하는 역학을 추적해야 하는 경우를 위해 시간 변동 정보의 해리와 유지를 동시에 다루는 방향으로 확장할 계획입니다.

요약하자면, DADP는 도메인 적응 문제를 해결하기 위해 시간 지연을 통한 정적 정보 추출과 확산 모델의 생성 과정에 도메인 정보 직접 주입이라는 두 가지 핵심 아이디어를 결합하여, 기존 방법들의 한계를 극복하고 뛰어난 일반화 성능을 달성한 획기적인 연구입니다.