Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

기술 요약: 디노이징 분산 적응형 청킹 (Denoising-Variance Adaptive Chunking, DVAC)

1. 문제 정의

Diffusion 또는 Flow Matching을 활용하는 것과 같은 흐름 기반(Flow-based) 로봇 정책은 연속적인 액션 시퀀스를 생성하기 위한 표준이 되었습니다. 일반적인 배포 전략은 **액션 청킹(Action Chunking)**으로, 정책이 미래의 액션 시퀀스를 예측하면 그 시퀀스의 접두사(prefix)를 실행한 후 정책을 다시 계획(replan)하는 방식입니다. 청킹은 시간적 일관성을 개선하고 추론 비용을 분담(amortize)할 수 있지만, 현재의 구현 방식들은 고정된 실행 호라이즌(fixed execution horizon)(예: 예측된 50개의 액션 중 항상 첫 10개만 실행)에 의존합니다.

이러한 고정된 방식은 본질적인 트레이드오프를 발생시킵니다:

• 예측 가능한 단계(예: 자유 공간에서의 팔 움직임)는 효율성을 유지하기 위해 재계획 빈도를 낮추는 것이 유리합니다.
• 정밀도가 중요한 단계(예: 접촉이 빈번한 상호작용, 물체 조작)는 오류를 수정하기 위해 빈번한 재계획이 필요합니다.
  정적인 호라이즌은 이러한 가변적인 역학에 적응할 수 없으므로, 비효적인 과잉 재계획이나 중요한 작업 중 위험한 과소 재계획을 초래합니다. 기존의 적응형 방법들은 추가적인 후보 청크, 추가적인 선택 휴리스틱, 또는 작업별 학습을 요구하여 배포를 복잡하게 만듭니다.

2. 방법론: DVAC

저자들은 흐름 기반 정책의 추론 과정 내부에 존재하는 역학을 기반으로 실행 호라이즌을 동적으로 결정하는, 학습이 필요 없는(training-free) 테스트 타임 프레임워크인 **디노이징 분산 적응형 청킹(Denoising-Variance Adaptive Chunking, DVAC)**을 제안합니다.

핵심 통찰:
Flow matching 추론 과정 동안, 정책은 노이즈가 섞인 액션 청크를 깨끗한 액션 추정치로 반복적으로 정제하는 디노이징 궤적을 거칩니다. 저자들은 최종 디노이징 단계들 사이에서 발생하는 중간 단계의 깨끗한 액션 추정치($\hat{x}_0$)의 분산이 작업 단계의 안정성을 나타내는 내재적 신호 역할을 한다는 점에 주목했습니다:

• 낮은 분산: 예측 가능한 움직임 단계에서 발생하며, 이는 안정적인 예측을 의미합니다.
• 높은 분산: 접촉이 많거나 정밀도가 민감한 작업 단계에서 발생하며, 이는 불확실성과 재계획의 필요성을 의미합니다.

알고리즘 개요:

1. 분산 추정: 예측된 액션 청크의 호라이즌 $H$에 대해, DVAC는 디노이징 과정의 마지막 $L$ 단계를 모니터링합니다. 각 미래 액션 인덱스 $k$에 대한 깨끗한 액션 추정치의 분산($V_s(k)$)을 계산합니다.
2. 임계값 설정: 특정 수치적 임계값을 사용하는 대신, DVAC는 **스케일 적응형 임계값($\tau_s$)**을 사용합니다. 최근 분산 통계량의 이동 버퍼를 유지하여 국소 평균($\mu_s$)과 표준 편차($\sigma_s$)를 계산합니다. 임계값은 $\tau_s = \mu_s + \alpha\sigma_s$로 설정되며, 여기서 $\alpha$는 불확실성 허용 범위를 정의하는 하이퍼파라미터입니다.
3. 적응형 실행: 정책은 분산이 임계값 미만으로 유지되는 가장 긴 액션 접두사를 실행합니다. 분산이 $\tau_s$를 초과하면(불안정한 단계가 다가옴을 의미), 실행을 중단하고 정책이 재계획을 트리거합니다.
4. 제약 조건: 안정성을 보장하고 과도한 재계획을 방지하기 위해 실행 길이는 최소($N_{min}$) 및 최대($N_{max}$) 제한에 의해 구속됩니다.

3. 주요 기여

1. 내재적 신호 식별: 본 논문은 디노이징 수렴 안정성이 흐름 기반 정책의 적응형 실행을 위한 학습이 필요 없는 내재적 신호이며, 이것이 접촉 중심 및 정밀도 민감 작업 단계와 직접적으로 상관관계가 있음을 입증했습니다.
2. DVAC 프레임워크: 디노이징 분산과 온라인 스케일 적응형 임계값을 사용하여 실행 호라이즌을 적응시키는 플러그 앤 플레이(plug-and-play) 방식의 학습 불필요 추론 타임 방법론을 제안했습니다.
3. 경험적 검증: 다양한 flow-based 백본( $\pi_0.5$, Qwen2.5-VL, GR00T 포함)과 여러 벤치마크(LIBERO, RoboTwin, CALVIN) 및 실제 환경의 조작 작업에 걸친 포괄적인 평가를 수행했습니다.

4. 실험 결과

저자들은 시뮬레이션 벤치마크와 실제 하드웨어에서 DVAC를 고정 호라이즌 베이스라인 및 다른 적응형 방법들과 비교 평가했습니다.

• LIBERO 벤치마크: $\pi_0.5$ 기반 정책을 사용하여, DVAC는 평균 성공률을 94.75%에서 98.00%로 높이는 동시에 재계획 빈도를 43.0% 감소(에피소드당 32.6회에서 18.6회로)시켰습니다. 또한 AAC 및 AutoHorizon과 같은 다른 적응형 베이스라인보다 우수한 성능을 보였습니다.
• RoboTwin 및 CALVIN: DVAC는 RoboTwin에서 평균 성공률을 0.359에서 0.416으로 개선했으며, CALVIN-5에서 평균 완료 서브태스크 수를 3.905에서 4.040으로 증가시켰습니다. 특히, 고정 임계값 변형 모델들이 CALVIN에서 낮은 성능을 보였다는 점은 DVAC의 스케일 적응형 설계의 필요성을 강조합니다.
• 백본 전이 가능성: 이 방법은 모델 아키텍처(예: Qwen2.5-VL 및 Qwen3-VL-GR00T)를 재학습 없이도 개선하는 "플러그 앤 플레이" 능력을 입증했습니다.
• 실제 조작: 큐브 놓기, 쌓기, 시험관 옮기기 등의 작업에서 DVAC는 고정 호라이즌 베이스라인(예: 큐브 놓기에서 0.867 대 0.800)보다 일관되게 높은 성공률을 달}{성하면서도 작업 시간과 재계획 횟수를 크게 줄였습니다.
• 단계 상관관계: 분석 결과, DVAC가 작업 민감 단계에서는 실행 호라이즌을 단축하고, 이동 단계에서는 확장함으로써 이론적 동기와 일치하게 작동함을 확인했습니다.

5. 의의 및 주장

본 논문은 DVAC가 청킹된 로봇 정책의 신뢰도 기반 배포를 위한 단순하면서도 효과적인 메커니즘을 제공한다고 주장합니다. 디노이징 궤적을 이미 추론 중에 계산하므로, DVAC는 다음과 같은 요소들을 제거합니다:

• 추가적인 학습.
• 추가적인 후보 액션 생성.
• 수치적 임계값의 작업별 튜닝.

저자들은 디노이징 안정성이 이미 사용 가능한 내재적 신호로서, 정책이 동적 대응성(필요할 때 재계획)과 추론 효율성(안정적일 때 더 긴 청크 실행) 사이의 균형을 맞출 수 있게 해준다고 주장합니다. 이 접근 방식은 대규모 시각-운동 정책(visuomotor policies) 배포의 핵심 병목 현상인 잦은 재계획에 따른 계산 오버헤드를 줄이면서 동시에 작업 성공률을 높입니다.

인정된 한계점:
저자들은 DVAC가 보정된(calibrated) 불확실성 추정치라기보다는 경험적인 대리 지표로서 디노이징 분산을 사용한다는 점을 언급했습니다. 현재는 중간 궤적을 노출하는 flow-based 또는 diffusion 스타일의 정책으로 제한되며, 내부 상태에 대한 접근을 가정합니다. 실제 환경 평가는 작업 다양성과 엔보디먼트(embodiment) 규모 측면에서 제한적이었습니다.