기술 요약: Ada-Diffuser: 의사결정을 위한 잠재 인식 적응형 확산

1. 문제 제기

최근 의사결정 분야의 발전은 생성 모델을, 특히 확산 모델 (diffusion models) 과 트랜스포머 (transformers) 를 활용한 시퀀스 모델링 문제로 문제를 재정의했습니다. 이러한 접근법은 효과적이지만, 종종 숨겨진 잠재 변수 (hidden latent variables) 와 그 시간적 역학 (temporal dynamics) 을 고려하지 못합니다. 로봇공학, 자율주행, 의료와 같은 실제 환경에서는 환경 전이와 보상 구조가 종종 관측되지 않는 요인 (예: 바람과 같은 외부 힘, 다양한 사용자 요구, 숨겨진 작업 매개변수) 의 영향을 받습니다. 이러한 잠재 과정을 무시하면 관측 데이터가 근본적인 잠재 공간을 완전히 포괄하지 못할 때 특히 의사결정이 비최적화됩니다.

부분 관측성을 처리하기 위한 기존 방법들 (예: 히스토리를 신념 상태 (belief states) 로 인코딩) 은 종종 다양한 역사적 궤적이나 다중 환경 데이터에 대한 접근을 요구하며, 이는 계산 비용이 많이 들고 확장하기 어렵습니다. 이 논문이 다루는 핵심 과제는 다음과 같습니다: 우리는 최소한의 관측치로부터 환경 역학과 보상을 지배하는 잠재 요인을 식별하고, 이를 확장 가능한 생성 의사결정 모델에 통합하여 적응형 계획 및 정책 학습을 가능하게 할 수 있는가?

2. 방법론: Ada-Diffuser

저자들은 명시적으로 잠재 역학 추론을 생성 의사결정에 통합하는 통합 인과 확산 프레임워크인 Ada-Diffuser를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다:

A. 이론적 기초: 잠재 식별성

모델을 설계하기 전에 저자들은 관측 데이터로부터 잠재 요인을 식별할 수 있는 이론적 조건을 확립합니다.

• 모델: 그들은 잠재 컨텍스트 $c_t$가 시간에 따라 확률적으로 진화하며 전이 역학과 보상에 영향을 미치는 잠재 시간 가변 컨텍스트 MDP를 정의합니다.
• 식별성 정리 (Theorem 1): 약한 가정 (1 차 MDP, 분포적 변동성, 고유한 스펙트럼 분해) 하에서 저자들은 잠재 요인 $c_t$의 사후 분포가 관측치들의 작은 시간 창만 사용하여 식별 가능 (identifiable) 함 (가역 변환까지) 을 증명합니다. 구체적으로, 4 개의 연속된 시간 단계 ($t-2, t-1, t, t+1$ 포함) 블록은 전체 궤적 접근이나 다중 환경 데이터 없이도 온라인 방식으로 잠재 상태를 복원하기에 충분합니다.

B. 모델 아키텍처

Ada-Diffuser 는 이러한 이론적 통찰력을 모듈식 디자인을 갖춘 확산 기반 프레임워크에 통합하여 계획 (궤적 생성) 과 정책 학습 (행동 생성) 을 모두 지원합니다.

1. 1 단계: 오프라인 잠재 요인 식별

   • 잠재 변수를 블록 단위로 추정하기 위해 변분 오토인코더 (VAE) 프레임워크를 사용합니다.
   • Prior: 이전 잠재 상태에 조건부인 $p_\phi(c_t | c_{t-1})$.
   • Posterior: 관측치의 시간 블록 (오프라인 학습 중 사용 가능한 미래 단계 포함) 에 조건부인 $q_\psi(c_t | x_{t-T_x:t+1})$.
   • 모델은 잠재 변수의 구조화된 표현과 해당 관측 분포를 학습하기 위해 증거 하한 (ELBO) 을 최적화합니다.

2. 2 단계: 인과 확산 모델

   • 자기회귀적 제거 노이즈 (Autoregressive Denoising): 순차적 의사결정의 인과 구조를 존중하기 위해 모델은 인과적 제거 노이즈 일정을 사용합니다. 블록 내 시간 단계에 따라 노이즈 수준이 단조 증가하여 미래 예측의 불확실성이 더 높음을 반영합니다.
   • 제거 노이즈 및 정제 (Denoise-and-Refine) 메커니즘: 미래 관측치가 존재하는 오프라인 학습과 미래 관측치가 존재하지 않는 온라인 추론 사이의 불일치를 해결하기 위해 저자들은 새로운 제거 노이즈 및 정제 절차를 도입합니다.
     • 학습: 모델은 Prior 로 샘플링된 잠재 변수를 사용하여 관측치를 제거 노이즈하는 것과 미래 관측치를 통합하는 Posterior 네트워크를 사용하여 잠재 추정치를 정제하는 것을 번갈아 수행합니다. 대조적 손실 (contrastive loss) 은 Posterior 가 Prior 보다 더 나은 재구성을 산출하도록 장려합니다.
     • 추론: 미래 관측치를 사용할 수 없으므로 모델은 지그재그 샘플링 (zig-zag sampling) 방식을 사용합니다. Prior 추정치를 사용하여 현재 상태를 제거 노이즈한 후, 부분적으로 제거 노이즈된 히스토리 및 예측된 미래에 조건부인 Posterior 네트워크를 사용하여 잠재 변수를 업데이트한 다음, 상태를 추가로 제거 노이즈합니다. 이 "지그재그" 과정은 생성된 시퀀스와 추론된 잠재 역학 간의 일관성을 보장합니다.

3. 주요 기여

1. 식별성 이론: 이 논문은 역학과 보상에 영향을 미치는 잠재 요인이 RL 궤적의 짧은 시간 창으로부터 식별될 수 있는 충분 조건을 확립하여, 전체 궤적 접근이나 다양한 다중 환경 데이터의 필요성을 제거합니다.
2. Ada-Diffuser 프레임워크: 잠재 컨텍스트와 관측 가능한 궤적을 공동으로 모델링하기 위해 블록 단위 잠재 추론을 수행하는 새로운 인과 확산 모델입니다. 주요 혁신 사항은 다음과 같습니다:
   • 식별 가능한 잠재 변수를 위한 최소 충분 블록 (minimal-sufficient block) 디자인과 후방 정제 (backward refinement).
   • 추론과 생성을 연결하기 위한 완전 자기회귀적 제거 노이즈와 지그재그 샘플링의 결합.
3. 통합 적용 가능성: 이 프레임워크는 다른 관측 모달리티에 조건부인 다양한 의사결정 작업 (계획 대 정책 학습) 과 잠재 유형 (역학, 보상, 또는 잠재 행동) 에 적응합니다.

4. 실험 결과

저자들은 Ada-Diffuser 를 보행 (Cheetah, Ant, Walker), 항해 (Maze2D), 로봇 조작 (Franka-Kitchen, LIBERO, RoboMimic) 을 포함한 23 개의 서로 다른 설정에 걸친 8 개의 환경에서 평가했습니다.

• 잠재 식별: 시간 가변 바람을 가진 Cheetah 환경에 대한 실험은 모델이 잠재 요인을 정확하게 식별할 수 있음을 보여주었습니다. 성능 (선형 프로빙 MSE 및 $R^2$로 측정) 은 충분한 시간 블록 크기 (5~20 단계) 로 개선되었고 미래 관측치가 사용 불가능할 때 저하되어 이론적 요구 사항을 검증했습니다.
• 의사결정 성능:
  • 그룹 I (잠재 역학/보상): 명시적 잠재 요인이 있는 환경 (예: 역학에 영향을 미치는 바람, 변경되는 목표) 에서 Ada-Diffuser 는 vanilla 확산 계획자 (Diffuser, DD), 확산 정책 (DP, IDQL), 그리고 잠재 증강 방법 (MetaDiffuser, LILAC, DynaMITE) 을 포함한 베이스라인보다 일관되게 우수한 성능을 발휘했습니다.
  • 그룹 II (잠재 행동): 행동이 없는 시연 설정 (RoboMimic) 에서 Ada-Diffuser 는 성공적으로 잠재 행동을 추론하여 최첨단 LDP(Latent Diffusion Planning) 를 능가했습니다.
  • 그룹 III (명시적 잠재 없음): 명시적으로 설계된 잠재 변수가 없는 환경에서도 잠재 모델링을 통합하면 Ada-Diffuser 는 내재적 확률성과 비정상성을 포착하여 베이스라인과 동등하거나 더 나은 성능을 달성했습니다.
• 절대 실험 (Ablation Studies): 정제 단계나 지그재그 샘플링을 제거하면 성능이 크게 저하되어, 사후 불일치를 줄이기 위한 후방 정제 및 교대 조건부 설정의 필요성을 확인했습니다.

5. 중요성 및 주장

이 논문은 순차적 관측치로부터 잠재 요인을 식별하는 것이 효과적인 의사결정에 필수적이라고 주장합니다. 작은 시간 블록을 사용하여 잠재 식별성을 위한 이론적 보장을 제공함으로써, 저자들은 잠재 추론을 확산 모델에 원칙적으로 통합할 수 있게 합니다.

Ada-Diffuser 의 중요성은 다음과 같은 능력에 있습니다:

• 인과 구조 포착: 표면적 상관관계에 적합하는 것이 아니라 잠재 요인의 영향을 받는 RL 궤적의 근본적인 인과 과정을 모델링합니다.
• 확장성 보장: 비용이 많이 드는 다중 환경 데이터나 전체 궤적 접근을 요구하지 않고, 대신 최소한의 충분 관측치에 의존하여 이를 달성합니다.
• 일반화: 행동이 없는 시연을 포함한 명시적 잠재 구조가 있거나 없는 작업에 광범위하게 적용 가능하며, "깨끗한" 환경에서도 확률성이나 관측되지 않은 구조를 포착하는 암묵적 잠재 과정이 유익함을 보여줍니다.

저자들은 그들의 방법이 계획과 제어 모두를 위해 명시적으로 잠재 역학을 모델링하는 것의 유효성을 검증하며, 부분 관측 가능하고 역동적으로 변화하는 환경을 위한 강력한 해결책을 제공한다고 결론지었습니다.