기술 요약: Spurious-Robust Action Smoothing을 위한 선택적 확산 노이즈 (Selected Diffusion Noise)

문제 정의

$\pi_0$ 및 GR00T와 같은 확산 기반 시각-언어-행동(VLA) 정책은 대규모 데이터셋을 통한 스케일링을 통해 로봇 조작 분야에서 놀라운 일반화 성능을 입증해 왔습니다. 그러나 이러한 파운데이션 정책들은 OOD(Out-of-Distribution) 환경에서 두 가지 결정적인 실패 모드를 보입니다:

1. 가짜 시각적 상관관계 (환각 현상, Hallucinations): 모델은 종종 부차적인 전문가의 변동성이나 배경 단서에 과적합됩니다. 예를 들어, 로봇은 물체의 실제 상태보다는 "시각적 지름길"(예: 배경 맥락)에 의존하여, 파지(grasp) 실패 후에도 "놓기(place)" 궤적을 계속 수행할 수 있습니다.
2. 운동학적 불안정성 (Kinematic Instability): 정책은 물리적 타당성보다 의미론적 가능성(semantic likelihood)을 우선시하는 경우가 많아, 높은 저크(jerk, 급격한 가속도 변화)나 진동 운동을 생성합니다. 이러한 "덜컥거리는" 동작은 기계적 마모를 유발하고 물리적 섭동 하에서 취약한 동작으로 이어질 수 있습니다.

CFG(Classifier-Free Guidance), Best-of-N 샘플링, 또는 비가우시안 사전 확률(non-Gaussian priors)과 같은 기존 솔루션들은 외부 평가기(예: 시각-언어 모델)에 의존하거나, 비용이 많이 드는 재학습을 요구하거나, 물리적 부드러움을 직접적으로 해결하지 못하는 휴리스틱한 파라미터 조작에 의존합니다. 또한, PCD(Policy Contrastive Decoding)와 같은 방법은 음의 관측치(negative observations)를 시뮬레이션하기 위해 계산 집약적인 이미지 인페인팅(inpainting)을 필요로 합니다. 따라서 모델 파라미터를 수정하거나 보조 네트워크를 요구하지 않고도 행동 분포를 자율적으로 정제할 수 있는 **훈련이 필요 없는 테스트 타임 메커니즘(training-free, test-time mechanism)**이 필요합니다.

방법론: 선택적 확산 노이즈 (Selected Diffusion Noise, SDN)

저자들은 초기 확산 노이즈 벡터($A_0$)를 제어 가능한 자유도로 취급하는 훈련이 필요 없는 플러그 앤 플레이(plug-and-play) 프레임워크인 **선택적 확산 노이즈(SDN)**를 제안합니다. SDN은 단일 궤적을 단계별로 유도하는 대신, 서로 다른 노이즈 시드로부터 생성된 여러 후보 궤적에 대해 전역 탐색을 수행하고, 이를 2단계 계층적 선택 과정을 통해 필터링합니다.

1단계: 대비적 접지 필터 (Contrastive Grounding Filter, 시각적 강건성)

이 단계는 부차적인 배경 단서에 의존하는 "환각을 일으키는" 노이즈 시드를 제거하는 것을 목표로 합니다.

• 후보 생성: 각 추론 단계에서 정책은 두 세트의 액션 청크(action chunks)를 생성합니다:
  • 양의 세트 (Positive Set, $G$): 원래의 관측값($o$)과 지시문($\ell$)으로부터 생성됩니다.
  • 음의 세트 (Negative Set, $B$): 대상 물체가 제로 마스킹(zero-masked) 처리된 "혼란스러운" 입력($o_{neg}$)으로부터 생성됩니다. 이 마스킹 방식은 PCD와 같은 선행 연구에서 사용되는 이미지 인페인팅보다 계산 비용이 적게 듭니다.
• 스코어링 메커니즘: 이 방법은 비매개변수적 $k$-최근접 이웃($k$-NN) 밀도 추정을 사용하여 **접지 점수(Grounding Score, $R_{ground}$)**를 계산합니다.
  • 접지된 행동은 양의 세트에서는 밀집되어 있어야 하지만(태스크 정렬), 음의 세트에서는 희소해야 합니다(실패 가능성 낮음).
  • 점수는 거리 차이로 근사됩니다: $R^{(i)}_{ground} = d^{(i)}_B - d^{(i)}_G$, 여기서 $d$는 $k$개의 최근접 이웃까지의 평균 거리를 나타냅니다.
  • 후보들은 이 점수에 따라 순위가 매겨지며, 상위-$M$개가 유지됩니다. 이는 대상 물체가 보이지 않을 때도 높은 신뢰도의 행동을 생성하는 후보들을 효과적으로 필터링합니다.

2단계: 운동학적 안정성 정제 (Kinematic Stability Refinement, 물리적 부드러움)

이 단계는 선택된 궤적이 물리적으로 실행 가능하고 부드러운지 확인합니다.

• 확장된 호라이즌 (Extended Horizon): 짧은 윈도우에서는 보이지 않는 지연된 진동을 감지하기 위해, 실행 호라이즌보다 더 긴 액션 청크를 평가합니다.
• 부드러움 지표: 이 방법은 액션 시퀀스의 3차 유한 차분(discrete jerk)을 정량화하는 Jerk RMS ($S(A_i)$)를 최소화합니다.
• 선택: 최종 행동 $A^*$는 상위-$M$ 접지 세트 중 저크 지표를 최소화하는 후보로 선택됩니다:
  $$A^* = \arg \min_{A_i \in G_M} S(A_i)$$

주요 기여

1. 자기 진단적 잠재 공간 유도 (Self-Diagnostic Latent Steering): 본 논문은 원래의 뷰와 물체 마스킹된 뷰로부터의 정책 출력을 대비함으로써 "환각을 일으키는" 노이즈 시드를 식별하고 필터링하는 메커즘을 도입합니다. 이는 모델을 재학습시키지 않고도 고정된 모델을 부차적인 시각적 상관관계로부터 멀어지도록 유도합니다.
2. 이중 목적 최적화 (Dual-Objective Optimization): SDN은 시각적 접지와 운동학적 안정성을 통합합니다. 이는 음의 세트(negative set)를 통해 신뢰할 수 없는 행동 세트로부터의 분리를 최대화하는 동시에, 고주파 진동을 제거하기 위해 부드러움 지표를 최소화합니다.
3. 플러그 앤 플레이 강화 (Plug-and-Play Enhancement): 이 프레임워크는 다양한 확산 기반 VLA 백본($\pi_0$, GR00T-N1.5, GR00T-N1.6)과 벤치마크(Google Robot, Widow-X, 실세계 ALOHA 로봇)를 통해 검증되었습니다. 보조 네트워크, 파라미터 업데이트, 또는 실시간 이미지 인페인팅 없이도 일관된 성공률 향상과 개선된 물리적 신뢰성을 제공합니다.

실험 결과

저자들은 SIMPLER 시뮬레이션 벤치마크와 실세계 로봇 태스크에서 SDN을 평가했습니다.

• 시뮬레이션 성능:
  • GR00T-N1.6를 사용하는 Google Robot 및 Widow-X 플랫폼에서, SDN은 평균 성공률을 +5.1% 향상시켜 54.5%에 도달했으며, "서랍 열기(Open Drawer)"와 같은 특정 태스크에서는 성공률이 3배 증가했습니다 (4.0% $\to$ 14.0%).
  • $\pi_0$ 모델에서, SDN은 9개 태스크에 걸쳐 평균 **8.7%**의 성공률 향상을 달려냈으며, CFG, WNG, ACG, PCD와 같은 베이스라인을 능가했습니다. 특히 일부 베이스라인이 특정 태스크에서 성능 저하를 보인 것과 달리, SDN은 전반적으로 비음수(non-negative) 이득을 보이는 "해를 끼치지 않는(do-no-harm)" 특성을 보여주었습니다.
• 실세계 성능:
  • ALOHA 로봇(GR00T-N1.5)에 배포된 SDN은 평균 성공률 **48.33%**를 달성하였으며, 이는 바닐라 모델 대비 **18.33%**의 절대적 향상입니다.
  • 운동 품질 (Motion Quality): 저크(Jerk)와 액션 총 변동(ATV)을 크게 증가시키는 베이스라인(예: ACG)과 달리, SDN은 이러한 지표를 바닐라 베이스라인보다 낮게 감소시켜(예: 저크가 12.45에서 11.8로 감소) 더 부드럽고 기계적으로 안전한 궤적을 보장했습니다.
• 효율성: SDN은 이미지 인페인팅을 피하고 직접적인 물체 마스킹을 사용함으로써 PCD보다 1.53배 더 빠르게 작동합니다.

의의 및 주장

본 논문은 **확산 노이즈 선택(diffusion noise selection)**이 테스트 타임에 VLA 정책을 향상시키는 효과적이고 일반적인 메커니즘 역할을 할 수 있다고 주장합니다. 노이즈 공간을 진단 도구로 활용함으로써, SDN은 수십억 개의 파라미터를 가진 모델을 미세 조정하거나 외부 평가기에 의존하는 막대한 계산 비용 없이도 시각적 환각과 운동학적 불안정성이라는 이중 과제를 해결합니다.

저자들은 자신들의 접근 방식이 **범위가 제한적(modest in its scope)**임을 강조합니다: 이는 기존의 고정된 모델을 개선하는 훈련이 필요 없는 래퍼(wrapper)입니다. 또한 현재의 물체 중심 마스킹이 모든 형태의 환각(예: 동적 조명이나 질감 변화로 인한 환각)을 포착하지 못할 수 있다는 점과, 고정된 노이즈 후보의 수가 다양한 태스크 복잡도에 대한 적응성을 제한할 수 있다는 점을 인정합니다. 그러나 결과는 확산 노이즈를 제어 가능한 자유도로 취급하는 것이 실세계 배포를 위한 일반적인 로봇 정책의 신뢰성을 높이는 강력한 경로임을 시사합니다.