🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRect는 후퇴 지평선 디노이징(receding-horizon denoising)을 통해 최종의 깨끗한 궤적에만 제약 조건을 부과함으로써, 기존 방식들이 흔히 겪는 중간 단계의 과도한 제약으로 인한 샘플 품질 저하를 방지하고 확산 모델에서의 안전한 계획을 보장하는 훈련 불필요(training-free) 알고리즘이다.

원저자: Paolo Giaretta, Zeyang Li, Navid Azizan

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paolo Giaretta, Zeyang Li, Navid Azizan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 붐비는 방을 지나 커피 한 잔을 가져오는 법을 가르치고 있다고 상상해 보세요. 당신은 매우 똑똑한 로봇을 가지고 있으며, 이 로봇은 사람들이 이 작업을 수행하는 수천 개의 영상을 시청했습니다. 로봇은 일반적으로 어떻게 움직여야 하는지는 알고 있습니다. 하지만 지금 이 방에 있는 구체적인 의자나 탁자가 어디에 있는지는 모릅니다.

만약 당신이 단순히 로봇에게 "커피를 가져와"라고 요청한다면, 로봇은 창의력을 발휘하려다 테이블에 정면으로 부딪힐 수도 있습니다. 반대로, 로봇이 계획을 세우는 매 단계마다 테이블에 부딪히지 않도록 일일이 막으려 한다면, 로봇은 멈칫거리거나, 버벅거리거나, 혹은 기괴하고 끊기는 듯한 경로를 택하게 될 것입니다. 당신이 로봇의 모든 생각을 마이크로 매니징하게 되는 셈입니다.

이것이 바로 DiRecT라는 논문이 해결하고자 하는 문제입니다.

문제점: "과잉 교정(Over-Correction)"의 함정

저자들은 기존의 AI 플래너를 안전하게 만드는 방법들이 마치 아이의 손을 너무 꽉 잡고 있는 불안해하는 부모와 같다고 설명합니다.

기존 방식: 로봇이 경로를 계획할 때(단계별로), 컴퓨터는 다음과 같이 확인합니다: "이 단계가 안전한가?" 만약 그렇지 않다면, 즉시 그 특정 단계를 수정하도록 강제합니다.
결함: 로봇의 계획 과정에는 많은 '노이즈'나 초안(rough drafts)이 포함됩니다. 이러한 초안에 대해 안전성을 확인하는 것은, 마치 화가에게 "팔레트에서 색을 섞는 동안에는 나무처럼 보이는 붓질을 단 하나도 하지 마세요"라고 말하는 것과 같습니다. 이는 로봇의 창의성을 제한하며, 종종 결과물을 보기 흉하거나, 끊기거나, 목표에 도달하지 못하게 만듭니다.

해결책: DiRecT ( "리세딩 호라이즌(Receding-Horizon)" 코치)

저자들은 DiRecT가 불안해하는 부모보다는 현명한 코치에 가깝다고 소개합니다.

1. "깨끗한 궤적(Clean Trajectory)"의 비전
DiRecly는 모든 초안에 대해 안전성을 확인하는 대신, 로봇이 최종적이고 깨끗한 계획을 머릿속에 완성할 때까지 기다립니다. 그리고 묻습니다: "만약 당신이 이 계획을 정확히 따른다면, 테이블에 부딪히겠습니까?"

비유: 로봇이 종이 위에 경로를 그리고 있다고 상상해 보세요. 기존 방식은 연필이 종이에 닿는 순간 선이 조금이라도 삐뚤어 보이면 바로 지우려고 했습니다. DiRecT는 연필이 자유롭게 그리도록 내버려 둔 다음, 완성된 그림을 봅니다. 만약 완성된 그림이 테이블에 부딪힌다면, 그때 전체 그림을 살짝 밀어서 테이블에서 벗어나도록 조정합니다.

2. "리세딩 호라이즌(Receding-Horizon)" 기술
이 논문은 "리세딩 호라이즌(Receding-Horizon, 예측 제어에서 영감을 얻음)"이라는 개념을 사용합니다.

비유: 안개 낀 헤드라이트로 밤길을 운전한다고 생각해 보세요. 당신은 오직 몇 피트 앞만 볼 수 있습니다.
- 기존 방식: 당신은 도로가 보이지 않는데도 당장 100마일 전체 여정을 완벽하게 운전하려고 애씁니다.
- DiRect: 당신은 바로 앞의 도로를 보고, 다음 몇 초간의 안전한 경로를 계획하여 운전한 뒤, 다시 *재계획(re-plan)*합니다. 당신은 현재 보이는 것에 따라 계획을 지속적으로 업데이트하며, 길의 곡선에 맞춰 차를 억지로 직선으로 몰아붙이지 않으면서도 결코 벽에 부딪히지 않도록 합니다.

3. "훈련이 필요 없는(Training-Free)" 초능력
가장 놀라운 점은 무엇일까요? DiRecT는 로봇을 다시 가르칠 필요가 없습니다. 이는 로봇의 기존 지식(사전 훈련된 모델)과 함께 작동하며, 단지 계획 과정 위에 안전 계층을 추가할 뿐입니다.

비유: 이는 숙련된 운전자에게 이 도시의 특정 구멍(pothole)을 피할 수 있는 도구를 주는 GPS를 제공하는 것과 같습니다. 운전자에게 운전법을 다시 가르칠 필요 없이, 단지 특정 상황을 피할 수 있는 도구를 주는 것입니다.

실제 적용 사례

논문은 이 기술을 여러 로봇 작업에 테스트했습니다:

미로 탐색: 예상치 못한 새로운 벽이 나타나는 미로 속을 굴러가는 공. DiRecT는 벽에 부딪히지 않고 미로를 성공적으로 통과했지만, 다른 방식들은 갇히거나 충돌했습니다.
로봇 팔: 기둥들을 피하면서 물체를 잡기 위해 움직이는 로봇 팔. Di-Rect는 기둥이 까다로운 위치에 놓여 있더라도 팔이 기둥에 절대 닿지 않도록 보장했습니다.
다중 로봇 군집(Multi-Robot Swarms): 서로 부딪히지 않고 함께 이동하는 로봇 그룹. Di-rect는 로봇의 수가 증가하더라도 안전하고 효율적으로 유지했습니다.

핵심 요약

DiRecT는 AI 플래너를 안전하게 만드는 새로운 방법입니다. AI의 사고 과정을 끊임없이 방해하여(이를 통해 AI를 서툴게 만드는 대신), 자유롭게 생각하게 한 뒤 마지막에 완성된 계획을 부드럽게 교정하여 안전을 확보합니다. 이는 학생이 문장을 쓸 때마다 멈추어 검사하는 것이 아니라, 학생이 두려움 없이 초안을 쓰게 둔 다음, 최종본을 편집하여 완벽하게 만드는 것과 같습니다.

그 결과, 로봇은 안전하면서도(충돌하지 않으며) 동시에 숙련된(부드럽게 움직이며 임무를 완수하는) 움직임을 보여줍니다.

기술 요약: DiRecT – 후퇴 지평선 디노이징을 통한 안전한 확산 기반 계획법

문제 정의

확산 모델(Diffusion models)은 행동과 궤적에 대한 다중 모드 분포를 학습함으로써 계획 및 제어를 위한 강력한 프레임워크로 부상했습니다. 그러나 이러한 모델을 안전이 중요한 작업에 배포하는 데에는 중대한 장벽이 존재합니다: 바로 신뢰할 수 있는 추론 시점의 안전성 강제(inference-time safety enforcement)입니다. 제약 조건이 있는 확산 샘플링을 다루는 기존 방식들은 일반적으로 각 노이즈가 섞인 중간 디노이징 반복(intermediate denoising iterate)을 가용 집합(feasible set)으로 투영하여 실행 가능성을 강제합니다. 이는 근본적인 불일치를 초래합니다. 계획 제약 조건은 최종적인 깨끗한 궤적(clean trajectory)에 대해 정의되지만, 중간 샘플들은 본질적으로 노이즈가 섞여 있으며 반드시 실행 가능할 필요가 없기 때문입니다. 샘플링 과정 전반에 걸쳐 제약 조건을 강제하는 것은 학습된 역방향 역학(reverse dynamics)을 과도하게 제한하여, 생성 과정을 왜곡하고 샘로 품질을 크게 저하시킵니다. 또한, 투영 기반 방식(projection-based methods)은 하드 제약 조건(hard constraints)과 추가적인 소프트 보상 또는 비용을 함께 처리할 수 있는 통합된 메커니즘이 부족한 경우가 많습니다.

방법론: DiRecT

이러한 한계를 해결하기 위해, 저자들은 제약 조건이 있는 샘플링을 위한 훈련 불필요(training-free) 알고리즘인 DiRecT(종단 제약 조건을 갖춘 후퇴 지평선 디노이징 기반 확산 계획법)를 소개합니다.

핵심 정식화

DiRecT는 추론 시점의 제약 조건 강제를 **확률적 최적 제어(Stochastic Optimal Control, SOC)**의 관점에서 재정의합니다. 학습된 역방향 확산 과정은 명목상의 확률적 역학(nominal stochastic dynamics) 역할을 하며, 제어 입력은 최종 깨끗한 궤적의 실행 가능성을 향해 샘플러를 유도합니다. 결정적으로, 제약 조건은 최종적인 깨끗한 샘플(terminal clean sample)에만 부과되어, 노이즈가 섞인 중간 반복 단계에 불필요한 제한을 두지 않습니다. 목표는 최종 상태 $X_0$ 가 가용 집합 $S$ 내에 존재한다는 제약 조건을 만족하면서, 비용 함수(종단 비용과 제어 에너지의 균형)를 최소화하는 최적 제어 드리프트 $u^*$ 를 찾는 것입니다.

알고리즘 유도

전체 종단 제약 SOC 문제를 해결하는 것은 신경망 역학의 고차원적이고 비볼록(non-convex)한 특성과 모든 확률적 경로에 대한 기댓값으로 인해 계산적으로 다루기 어렵습니다. DiRecT는 **모델 예측 제어(Model Predictive Control, MPC)**에서 영감을 얻은 두 가지 핵심 근사를 사용하여 확장 가능하고 다룰 수 있는 대리 모델(surrogate)을 도출합니다:

후퇴 지평선 대리 모델(Receding-Horizon Surrogate): 전체 지평선 최적화를 해결하는 대신, DiRect는 문제를 일련의 단일 단계 하위 문제들로 나눕니다. 각 디노이징 단계 $i$ 에서, Tweedie의 공식( $\hat{x}^\theta_0(X_i, t_i)$ )을 사용하여 현재 노이즈 섞인 반복물로부터 암시되는 최종 깨끗한 궤적을 예측합니다.
데이터 도메인 최적화(Data-Domain Optimization): 신경망 디노이징 맵을 통해 제약 조건이 있는 최적화 문제를 반복적으로 해결하는 것을 피하기 위해, 알고리즘은 고정점 논증(fixed-point argument)을 통해 Tweedie의 공식을 근사적으로 역전시킵니다. 이를 통해 최적화를 잠재 공간(latent space)에서 **데이터 도메인(data domain)**으로 이동시킬 수 있습니다. 구체적으로, 잠재 변위(latent displacement)는 예측된 깨끗한 샘플 간의 스케일링된 차이로 근사됩니다.

결과적인 알고리즘(Algorithm 1)은 다음과 같이 작동합니다:

사전 노이즈 벡터를 샘플링합니다.
$t_N$ $t_{N}$ 에서 $t_0$ $t_{0}$ 까지 역방향으로 반복합니다:
- 제어되지 않은 디노이징 제안(uncontrolled denoising proposal)을 계산합니다.
- 스코어 모델을 사용하여 그에 대응하는 깨끗한 샘플을 추정합니다.
- 하드 제약 조건 $S$ 를 만족하고 비용 $C$ 를 최소화하면서, 제어되지 않은 예측값과 가깝게 유지되는 정제된 깨끗한 샘플을 찾기 위해 데이터 도메인에서 제약 조건 최적화 문제를 해결합니다.
- 이 정제 과정을 현재의 노이즈 섞인 반복물에 대한 제어된 업데이트로 변환합니다.
최종적인 실행 가능한 샘플을 반환합니다.

이 설계는 확률적 디노이징과 제약 조건 만족을 깔끔하게 분리하며, 학습된 확산 역학을 왜곡하지 않으면서 샘플을 실행 가능한 최종 궤적으로 점진적으로 유도합니다.

주요 기여

핵심 한계 식별: 본 논문은 노이즈가 섞인 중간 디노이징 반복물에 실행 가능성을 강제하는 것이 샘플링 역학을 과도하게 제한하고 샘플 품질을 저하시킨다는 점을 식별했습니다. 대신 제약 조건이 있는 확산 계획을 종단 제약 SOC 문제로 정식화할 것을 제안합니다.
DiRecT 알고리즘: 복잡한 SOC 문제를 일련의 다룰 수 있는 깨끗한 궤적 최적화 하위 문제로 축소하는 훈련 불필요 제약 확산 샘플러입니다. 이는 학습된 디노이징 과정을 왜곡하지 않으면서 샘플을 제약 조건 만족으로 유도합니다.
유연성: 오프더쉘(off-the-shelf) 및 도메인 특화 최적화 도구를 지원하며, 등식 및 부등식 제약 조건을 모두 처리하고, 추론 시점에 환경 특화 역학 사전 지식과 추가적인 소프트 보상 또는 비용을 통합할 수 있습니다.
실험적 검증: 광범위한 실험을 통해 DiRecT가 기존의 확산 기반 계획 베이스라인들에 비해 데플로이먼트 안전성과 작업 성능을 실질적으로 개선함을 입증했습니다.

실험 결과

저자들은 네 가지 다양한 로봇 계획 벤치마크에서 DiRecT를 평가했습니다:

안전 미로 탐색 (Maze2D): 테스트 타임 장애물이 있는 "넓은(broad)" 및 "좁은(narrow)" 미로 변형 모두에서, DiRec T는 각각 **0.970 및 0.940의 안전율(Safety Rate, SR)**을 달성했으며, 위반 횟수는 거의 0에 가까웠습니다 (0.45 및 0.23). 반면, Diffuser, Gradient Guidance, Projected Diffusion과 같은 베이스라인들은 0.00에서 0.78 사이의 SR을 기록했으며, 위반 횟수가 훨씬 높았습니다. DiRecT는 높은 작업 점수를 유지하면서도 안전성을 확보했습니다.
안전 로봇 조작 (D3IL): 로봇 팔이 기둥을 피하면서 목표에 도달해야 하는 작업에서, DiRecT는 100% 안전율과 100% 작업 성공률을 달성하여, 안전성에서 상당한 저하를 보인 베이스라인들(예: Gradient Guidance의 SR 0.88)을 압도했습니다.
다중 로봇 모션 계획 (MRMP): 최대 20개의 에이전트가 있는 환경에서 테스트되었을 때, DiRecT는 에이전트 수가 증가함에 따라 특히 **제약 안전성(Constraint Safety)**과 성공률 측면에서 MMD-CBS 및 Projected Coupled Diffusion을 포함한 베이스라인들을 지속적으로 능가했습니다. 이는 복잡한 충돌 및 속도 제약 조건을 만족하면서도 기대되는 운동 패턴을 높게 준수했습니다.
접촉 풍부 조작 (PushT): 다양하지만 서로 교차하지 않는 궤적들이 포함된 결합 생성 작업에서, DiRecT 변형 모델들(DiRecT-LB 및 DiRecT-DPP)은 다른 제약 샘플러들에 비해 다양성(DTW 및 DFD로 측정)을 개선하는 동시에 100% 제약 만족을 달성했습니다.

의의 및 주장

본 논문은 DiRecT가 확률적 디노이징 과정과 제약 조건 만족을 분리함으로써 안전한 확산 기반 계획을 위한 원칙적인 접근 방식을 제공한다고 주장합니다. 최종 깨끗한 샘플에 대해서만 제약 조건을 적용함으로써, 기존의 투영 기반 방식들이 겪는 중간 역학의 과도한 제한 문제를 피합니다.

저자들은 DiRecT가 **훈련이 필요 없다(training-free)**는 점을 강조하며, 이는 재학습이나 미세 조정 없이 기존의 사전 학습된 확산 모델에 폭넓게 적용될 수 있음을 의미합니다. 이러한 유연성으로 인해 추가적인 추론 시점 계산량(최적화 하위 문제 해결)이 발생하지만, 이 방법은 소프트 목적 함수와 도메인 특화 역학을 통합할 수 있는 유연성을 유지하면서도 하드 제약 조건 만족을 보장하여 안전이 중요한 계획을 위한 더 강력한 보증을 제공합니다. 이 연구는 단 한 번의 제약 위반만으로도 치명적인 실패로 이어질 수 있는 안전 필수 계획 작업에서 확산 모델의 신뢰할 수 있는 배포 가능성을 강조합니다.