🤖 AI

From Noise to Control: Parameterized Diffusion Policies

이 논문은 저차원의 연속적인 파라미터를 학습된 행동 매니폴드에 내장함으로써, 확산 모델을 확률적 생성기에서 로봇의 행동을 정밀하게 제어하고 재학습 없이 새로운 제약 조건에 적응할 수 있는 최적화 가능한 도구로 변환하는 프레임워크인 파라미터화된 확산 정책(Parameterized Diffusion Policy, PDP)을 소개한다.

원저자: Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: 하나의 일을 하는 너무 많은 방법들

로봇에게 서랍을 닫는 법을 가르치고 있다고 상상해 보세요. 현실 세계에서는 이 일을 수행하는 데 단 하나의 '완벽한' 방법만 존재하는 것이 아닙니다. 로봇은 손잡이에 왼쪽에서 접근할 수도 있고, 오른쪽에서, 위에서, 혹은 아래에서 접근할 수도 있습니다. 이 모든 방법은 작업을 완수하기 위한 유효한 방법들입니다.

과거의 로봇 학습 방식들은 이 다양한 방법들을 하나로 평균 내려고 시도했습니다. 그 결과는 어땠을까요? 로봇은 실제로 잘 작동하지 않는 '중간' 동작을 취하게 되었습니다. 즉, 장애물에 부딪히거나 손잡이를 놓쳐버리는 일이 발생한 것입니다.

최근 과학자들은 **디퓨전 정책(Diffusion Policies)**을 사용하기 시작했습니다. 이것을 '창의적인 예술가' 로봇이라고 생각하면 쉽습니다. 디퓨전 정책은 평균을 내는 대신, 서랍을 닫는 수많은 독특하고 다양한 방식들을 생성해 낼 수 있습니다. 하지만 이 예술가는 다소 무질서합니다. 만약 당신이 "서랍을 닫아라"라고 명령하면, 예술가는 무작위로 어떤 스타일을 선택할지 모릅니다. 만약 갑자기 책 한 권이 길을 막는다면(새로운 제약 조건), 예술가는 어떻게 대처해야 할지 모릅니다. 예술가는 그저 우연히 하나가 걸리기를 바라며 무작위 스타일을 계속 선택할 뿐입니다. 이는 마치 자동차 핸들을 무작위로 흔들면서 운 좋게 도로 위에 머물기를 바라는 방식으로 운전하는 것과 같습니다.

해결책: PDP (Parameterized Diffusion Policy)

저자들은 PDP라는 새로운 프레임워크를 제안합니다. 이들의 목표는 저 무질서한 예술가를 정밀하고 제어 가능한 운전자로 바꾸는 것입니다.

이들이 어떻게 이를 수행하는지 쉬운 비유를 통해 설명하겠습니다.

1. "행동 지도" (매니폴드, The Manifold)

로봇이 움직일 수 있는 모든 다양한 방식이 그려진 지도가 있다고 상상해 보세요. 표준 디퓨전 방식에서의 지도는 엉망으로 엉킨 실타래와 같아서, 조금만 움직여도 전혀 상관없는 다른 움직임으로 툭 튀어나갈 수 있습니다.

PDP는 깔끔하고 조직된 지도를 만듭니다. 이 지도 위에서 서로 가까운 점들은 물리적으로 유사한 움직임(예: 왼쪽에서 손잡이에 접근하는 것과 그보다 더 왼쪽에서 접근하는 것)을 나타냅니다. 멀리 떨어진 점들은 매우 다른 전략(예: 왼쪽에서 접근하는 것과 오른쪽에서 접근하는 것)을 나타냅니다. 이것을 "기하학적으로 정렬된 행동 매니폴드(geometry-aligned behavior manifold)"라고 부릅니다.

2. "다이얼" (파라미터, The Parameter)

로봇이 무작위로 움직임을 선택하게 하는 대신, PDP는 로봇에게 저차원의 다이얼(파라미터 $z$ )을 부여합니다.

다이얼을 살짝 돌리면 로봇이 하나의 전략에서 유사한 다른 전략으로 부드럽게 이동합니다.
다이얼을 끝까지 돌리면 완전히 다른 전략으로 이동합니다.

이 다이얼은 로봇의 행동을 조절하는 리모컨 역할을 합니다. 생각을 바꾸기 위해 로봇 전체를 다시 학습시킬 필요 없이, 그저 다이얼만 돌리면 됩니다.

3. "GPS" (잠재 피팅, Latent Fitting)

환경이 변하면 어떻게 될까요? 예를 들어, 새로운 장애물이 나타나 "왼쪽" 접근 경로를 막았다고 가정해 봅시다.

기존 방식: 로봇은 무언가 걸리기를 바라며 무작위 전략을 계속 시도합니다.
PDP 방식: 로봇은 새로운 장애물을 보고 이렇게 묻습니다. "내 다이얼의 어떤 설정이 이 장애물을 피해 갈 수 있게 해줄까?" 로봇은 새로운 상황에 딱 맞는 최적의 다이얼 설정( $z$ )을 빠르게 계산해 냅니다. 이는 마치 GPS가 자동차를 새로 만드는 대신 즉시 경로를 재탐색하는 것과 같습니다.

이것이 왜 중요한가 (결과)

논문 저자들은 시뮬레이션 로봇과 실제 로봇 팔(Franka Panda)을 대상으로 테스트를 진행했습니다. 그들은 로봇이 장애물을 피하거나 다양한 각도에서 컵을 집어야 하는 까다로운 시나리오를 만들었습니다.

테스트: 규칙을 변경하고(장애물 추가), 로봇에게 문제를 해결하는 방법의 예시를 단 하나만 제공했습니다.
결과:
- 표준 로봇(그리고 표준 디퓨전 정책)은 처참하게 실패했습니다. 그들은 새로운 장애물에 적응하지 못했습니다.
- PDP는 성공했습니다. PDP는 자신의 "다이얼"을 사용하여 즉시 새로운 전략을 찾아냈습니다. 심지어 알고 있는 두 전략 사이의 지점으로 다이얼을 옮기는 것만으로도, 이전에 본 적 없는 새로운 움직임 방식을 만들어낼 수 있었습니다.

"비법" (The Secret Sauce)

이 작업이 성공할 수 있었던 두 가지 핵심 기술은 다음과 같습니다.

지도가 조직되어 있음: 저자들은 두 점 사이의 거리가 실제 물리적 움직임의 차이와 일치하도록 보장하기 위해 특수한 수학 도구(Soft-DTW)를 사용했습니다. 덕분에 지도는 매끄럽고 탐색하기 쉬워졌습니다.
깊은 연결성: 저자들은 단순히 다이얼 설정을 숫자로 로봇의 뇌에 입력한 것이 아니라, 로봇의 의사 결정 계층 깊숙이 녹여냈습니다. 이를 통해 로봇이 다이얼의 신호를 무시하지 않고, 다이얼에 따라 실제로 행동을 변화시키도록 만들었습니다.

요약

PDP를 로봇에게 '성격에 대한 리모컨'을 쥐여주는 것이라고 생각하세요. 세상이 변했을 때 로봇이 무작위로 옳은 동작을 찾기를 기대하는 대신, 새로운 장애물을 통과하기 위해 필요한 정확한 설정으로 다이얼을 돌리기만 하면 됩니다. 이는 "무작위 추측"을 "정밀한 조종"으로 바꿔줍니다.

기술 요약: 파라미터화된 확산 정책 (Parameterized Diffusion Policies, PDP)

문제 정의

실제 로봇 작업은 종종 하나의 목표를 달로 여러 개의 뚜렷한 행동 시퀀스로 달성할 수 있는 미지정(underspecified) 상태인 경우가 많습니다(멀티모달 행동). 표준 확산 정책(Diffusion Policies, DP)은 이러한 멀티모달 분포를 모델링하는 강력한 패러다임으로 부상했지만, 제어 가능성(controllability)이 부족하다는 단점이 있습니다. 구체적으로, 표준 평가 방식은 주로 관측 측면의 분포 변화(예: 카메라 외관 변화)에 초점을 맞추지만, 실제 배포 실패는 **제약 조건에 의한 행동 변화(constraint-induced behavior shifts)**로 인해 빈번하게 발생합니다. 이러한 시나리오에서는 환경적 변화(예: 새로운 장애물이나 접촉 제약)가 이전에 학습된 전략을 무효화하여, 로봇이 기존의 다른 모드를 선택하거나 새로운 행동을 발견하도록 강제합니다.

현재의 확산 정책은 다양성을 확보하기 위해 확률적 노이즈에 의존합니다. 테스트 시점에 고차원 노이즈 공간을 최적화하여 이러한 정책을 조종하는 것은 종종 조건이 불량합니다(ill-conditioned). 즉, 노이즈의 작은 섭동(perturbation)이 크고 예측 불가능하거나 실행 불가능한 궤적 변화를 초래할 수 있습니다. 또한, 기존의 행동 조종(behavior steering) 방법들은 정책 가중치를 재학습해야 하거나(느리고 데이터 집약적), 제어를 유한한 행동 세트로 제한하는 이산적 스킬 토큰(discrete skill tokens)에 의존하여 부드러운 보간(interpolation)을 방해합니다.

방법론: 파라미터화된 확산 정책 (PDP)

저자들은 **파라미터화된 확산 정책 (PDP)**을 제안하며, 이는 확산을 단순한 확률적 다양성 메커니즘에서 정밀하고 최적화 가능한 행동 조종 도구로 변환하는 프레임워크입니다. PDP는 확산 디노이저(denoiser)가 데모로부터 학습된 저차원의 연속적인 행동 잠재 변수 $z$ 에 조건화되도록 합니다.

1. 기하학적으로 정렬된 행동 매니폴드 (Geometry-Aligned Behavior Manifold)

핵심 혁신은 잠재 코드 간의 유클리드 거리가 물리적 궤적의 의미론적 유사성을 반영하는 행동 매니폴드를 구축하는 것입니다.

궤적 인코더 (Trajectory Encoder): 궤적 인코더 $E_\phi$ 는 데모 궤적 $\tau$ 를 잠재 코드 $z$ 로 매핑합니다.
기하학적 정렬 (Geometry Alignment): 표준 변이형 오토인코더(VAE)와 달리, PDP는 Soft-DTW(Soft Dynamic Time Warping)를 사용하여 잠재 공간의 기하학을 물리적 궤적 유사성과 명시적으로 정렬합니다. 훈련 목적 함수에는 잠재 거리 $\|z_i - z_j\|$ 와 Soft-DTW를 통해 계산된 물리적 궤적 거리 사이의 선형적 대응 관계를 강제하는 기하학적 손실 $L_{geo}$ 가 포함됩니다. 이를 통해 $z$ 의 작은 변화가 실행되는 궤적의 부드럽고 예측 가능한 변화를 유도하도록 보장합니다.
결합 목적 함수 (Joint Objective): 인코더-디코더는 재구성 손실(reconstruction loss), KL-발산(정규화를 위함), 그리고 기하학적 정렬 손실을 최소화하도록 훈련됩니다.

2. 파라미터화된 확산 디노이저 (Parameterized Diffusion Denoiser)

확산 정책 $\pi_\theta$ 는 환경적 컨텍스트 $c_t$ 와 행동 잠재 변수 $z$ 모두에 조건화되어 액션 청크(action chunks)를 생성합니다.

전역 변조 (Global Modulation): 단순한 결합(concatenation) 대신, PDP는 잠재 $z$ 를 FiLM에서 영감을 얻은 전역 변조 메커니즘을 통해 디노이저에 통합합니다. 잠재 변수는 레이어별 아핀 파라미터( $\gamma, \beta$ )로 변환되어 중간 특징 맵(feature maps)을 스케일링하고 이동시킵니다. 이러한 깊은 통합을 통해 저차원의 잠재 변수가 고차원의 액션 생성 과정을 효과적으로 조종할 수 있게 합니다.
분리된 훈련 (Decoupled Training): 인코더는 디노이저 최적화 단계에서 그래디언트 중단(stop-gradient) 연산자와 함께 훈련되어, 확산 손실이 정교하게 구조화된 잠재 매니폴드의 기하학적 구조를 왜곡하지 않도록 합니다.

3. 테스트 타임 제어 및 적응 (Test-Time Control and Adaptation)

PDP는 정책 가중치를 업데이트하지 않고도 빠르고 데이터가 적게 드는 적응을 가능하게 합니다.

잠재 적합 (Latent Fitting): 새로운 제약 조건이나 목표 행동 $\tilde{\tau}$ 에 직면했을 때, 시스템은 확산 일관적 적합 손실(diffusion-consistent fitting loss)을 최소화하도록 잠재 코드 $z$ 를 최적화합니다. 이를 통해 새로운 제약 조건을 가장 잘 만족하는 특정 행동 모드를 식별합니다.
의미론적 웜 스타트 (Semantic Warm-Start): 최적화는 새로운 데모에 대한 인코더의 예측( $z_0 = E_\phi(\tilde{\tau})$ )을 사용하여 초기화되며, 이를 통해 탐색 범위를 잘 조건화된 영역 내로 설정합니다.
장기 호라이즌 적응 (Long-Horizon Adaptation): 복잡한 작업의 경우, PDP는 구간별 상수 잠재 시퀀스(piecewise-constant latent sequences)를 지원하여 작업의 각 단계를 독립적으로 적응시킬 수 있습니다.

주요 기여

파라미터화된 확산 프레임워크: 확률적 노이즈 조종을 명시적인 행동 제어를 위한 연속적이고 기하학적으로 정렬된 잠재 파라미터 $z$ 로 대체하는 PDP를 도입했습니다.
기하학적으로 정렬된 매니폴드: 잠재 거리와 물리적 궤적 유사성(Soft-DTW 활용)을 정렬함으로써 부드러운 보간과 예측 가능한 조종을 가능하게 하여, 노이즈 공간 최적화의 조건 불량 문제를 해결함을 입증했습니다.
깊은 잠재 통합: 저차원 행동 신호를 고차원 확산 디노이저에 성공적으로 통합하는 전역 변조 아키텍처를 제안하여, 단순 결합 방식보다 우수한 성능을 보여주었습니다.
효율적인 테스트 타임 적응: 단 하나의 데모만으로도 가중치 재학습 없이 새로운 제약 조건에 빠르게 적응할 수 있도록 잠재 $z$ 만을 최적화하는 방법을 보여주었습니다.

실험 결과

저자들은 시뮬레이션(RLBench, Robomimic, Franka Kitchen, D3IL)과 실제 Franka Emika Panda 로봇을 포함한 9가지 멀티모달 조작 도메인에서 PDP를 평가했습니다.

원래의 멀티모달 성능: PDP는 모든 작업에서 일관되게 높은 성공률을 달-성하며, 표준 DP, BC-GMM, VQ-BeT를 포함한 최첨단 베이스라인들과 대등하거나 이를 능가하는 성능을 보였습니다. 또한, 모드 모호성(mode ambiguity)으로 인해 노이즈가 섞인 일관성 없는 실행을 생성하는 경우가 많은 표준 DP에 비해 멀티모달 분포 재구성에 있어 탁월한 안정성을 입증했습니다.
제약 조건에 의한 변화: 환경적 제약이 대부분의 훈련 모드를 무효화하는 시나리오에서:
- 기존 모드 적합: PDP는 단일 실행 가능한 모드로 수렴하지 못하는 베이스라인들과 대조적으로, 거의 완벽한 성공률(예: CloseDrawer에서 100%)을 달성했습니다.
- 새로운 행동 발견: 훈련된 모드가 존재하지 않아 새로운 행동을 합성해야 하는 "제로 모드 가능(zero-mode-feasible)" 설정에서, PDP는 일관되게 성공한 유일한 방법이었습니다. 가중치를 미세 조정(BC)하거나 진화적 탐색(Diff-ES)을 사용하는 베이스라인들은 훈련 데이터에 없는 실행 가능한 전략을 합성하는 데 실패했습니다.
실제 로봇 견고성: 실제 로봇 OpenDrawer 작업에서, PDP는 제약 변화 하에서도 100%의 성공률을 유지한 반면, 표준 DP의 성공률은 20%로 떨어졌습니다. 이는 PDP의 실제 세계 노이즈에 대한 견고함과 안정적인 제어 핸들을 제공하는 능력을 강조합니다.
절제 연구 (Ablation Studies):
- 기하학적 정렬을 제거하거나 이산적 잠재 변수를 사용할 경우 성능이 심각하게 저하되었으며, 이는 연속적이고 메트릭이 정렬된 매니폴드의 필요성을 확인시켜 주었습니다.
- 전역 변조는 단순 결합보다 성능이 크게 향상되었으며, 이는 훈련 손실을 줄이고 적응 성공률을 높였습니다.
- 의미론적 웜 스타트는 매우 중요했습니다. 무작위 초기화는 광범위한 최적화 단계 이후에도 실행 가능한 전략을 찾지 못했습니다.

의의 및 주장

본 논문은 PDP가 확산 기반 제어의 패러다임을 "노이즈 기반 다양성"에서 "파라미터화된 행동 조종"으로 근본적으로 전환한다고 주장합니다. 잠재 공간을 물리적 궤적 유사성을 반영하도록 구조화함으로써, PDP는 확산을 표현력이 뛰어날 뿐만 아니라 제어 가능하고 최적화 가능한 도구로 변환합니다.

저자들은 이 접근 방식이 로봇 학습의 핵심적인 공백, 즉 가중치를 재학습하지 않고도 새로운 제약에 빠르게 적응하는 능력을 해결한다고 강조합니다. 그들은 확산 모델이 멀티모달 데이터를 표현하는 데는 뛰어나지만, 구조화된 인터페이스 없이는 실제 배포 시 유용성이 제한된다고 주장합니다. PDP는 이러한 인터페이스를 제공하여 로봇이 다음을 수행할 수 있게 합니다:

알려진 전략 사이를 부드럽게 보간하여 새로운 실행 가능한 행동을 합성합니다.
수백만 개의 네트워크 가중치가 아닌 압축된 파라미터 세트(잠재 $z$ )를 최적화함으로써 새로운 제약에 빠르게 적응합니다.
실행 노이즈와 제약 변화가 흔한 실제 환경에서 견고하게 작동합니다.

이 연구는 명시적이고 기하학적으로 정렬된 행동 매니폴드가 차세대 적응형 로봇 정책, 특히 훈련 데이터에 명시적으로 존재하지 않는 행동의 합성이 필요한 시나리오에서 필수적임을 시사합니다.