기술 요약: 암시적 드리프팅 정책 (Implicit Drifting Policy, IDP)

문제 정의

디퓨전(diffusion) 또는 플로우 매칭(flow matching)에 기반한 생성적 행동 정책은 궤적의 중간 진화 과정을 유지함으로써 점진적인 행동 교정을 가능하게 하여 행동 복제(behavior cloning)에서 탁월한 성능을 보입니다. 그러나 이들의 반복적인 샘플링 과정은 고주파 로봇 제어에 있어 계산 비용이 너무 많이 듭니다. 최근의 단일 단계(one-step) 정식화(예: Consistency Policy, One-Step Diffusion)는 지연 시간을 완화하지만, 중간 교정 메커니즘을 버리게 됩니다.

단일 단계 정책에서 이 교정 메커니즘을 재현하려고 시도할 때 **명시적 드리프팅(Explicit Drifting)**을 통해 중요한 과제가 발생합니다. 드리프팅 모델은 일반적으로 연속적인 벡터 필드를 사용하여 분포를 데이터 쪽으로 이동시키도록 생성기를 훈련합니다. 무조건부 생성(unconditional generation)에서는 이 필드를 풍부한 샘플 집합으로부터 추정할 수 있습니다. 그러나 조건부 행동 복제(conditional behavior cloning)의 경우, 데몬스트레이션은 대개 관측값당 하나의 결정론적인 전문가 행동만을 제공합니다. 명제 3.1에서 보여주듯, 이러한 희소한 설정에서 명시적인 드리프팅 필드를 추정하려고 시도하면 수학적 퇴화가 발생합니다. 즉, 경험적 조건부 드리프팅 필드는 단순한 전문가 행동과 예측값 사이의 차이($a^* - a$)로 붕괴되며, 이로 인해 명시적 필드는 표준 등방성 평균 제곱 오차(MSE) 손실과 동일해집니다. 이는 단일 단계 생성기가 유효한 행동 매니폴드(action manifold)를 준수하는 데 필요한 국소적 기하학적 가이드를 제거합니다.

방법론: 암시적 드리프팅 정책 (IDP)

저자들은 벡터 필드를 명시적으로 추정하지 않고도 드리프팅의 훈련 시 교정 이점을 정책 학습에 도입하는 단일 단계 모방 학습 프레임워크인 **암시적 드리프팅 정책 (IDP)**을 제안합니다. IDP는 동적인 필드를 회귀하는 대신, 유사한 관측값 하에서의 전문가 행동의 국소적 변동으로부터 정적인 **조건부 전문가 기하학(conditional expert geometry)**을 추출하고 이를 사용하여 기하학 인지형 포텐셜 목적 함수를 정의합니다.

1. 암시적 교정 목적 함수 (Implicit Correction Objective)

IDP는 교정 벡터 $\Delta_i(a) = M_i(a^*_i - a)$를 공식화하며, 여기서 $M_i$는 기하학적 적응 가중치 역할을 하는 양의 준정부호 대칭 행렬입니다. 이 벡터는 **기하학 전용 포텐셜 함수(geometry-only potential function)**의 음의 기울기에 해당합니다:
$$E^{geo}_i(a) = \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
전체 훈련 목적 함수는 표준 등방성 오차와 이 기하학적 적응형 패널티를 결합합니다:
$$E_i(a) = \frac{1}{2}\|a - a^*_i\|^2_2 + \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
이는 문제를 동적인 벡터 필드를 회귀하는 것에서, 제약이 있는 방향을 따라 패널티를 적응적으로 증가시키는 포텐셜을 최소화하는 문제로 변환합니다.

2. 조건부 전문가 기하학 추출 (Conditional Expert Geometry Extraction)

적응형 행렬 $M_i$를 구성하기 위해, IDP는 유사한 관측값 하에서의 전문가 행동의 국소적 변동을 분석합니다:

• 이웃 선택 (Neighbor Selection): 주어진 관측값 $o_i$에 대해, 이 방법은 (안정성을 보장하기 위해 stop-gradient를 포함한) 정규화된 특징 임베딩을 사용하여 데이터셋 내의 유사한 관측값을 식별합니다.
• 국소 공분산 (Local Covariance): 이 방법은 유사한 관측값들로부터 얻은 전문가 행동 $a^*_j$의 가중 공분산을 기반으로 조건부 전문가 기하학 행렬 $G_i$를 계산합니다:
  $$G_i = \mathbb{E}_{j \sim \mathcal{D}\setminus\{i\}} [w_{ij}(a^*_j - a^*_i)(a^*_j - a^*_i)^\top]$$
  $G_i$의 분산이 작다는 것은 해당 특정 조건에 대해 엄격한 운영 제약이 있음을 나타냅니다.

3. 국소 기하학 초과량 (Local Geometry Excess)

고유한 글로벌 행동 변동으로부터 조건별 제약을 분리하기 위해, IDP는 국소 조건부 분산을 글로벌 참조 분산($v^{ref}$)과 비교합니다. 이는 두 가지 모두에 대해 정규화된 정밀도 스케일을 계산하고 ReLU 연산자를 사용하여 기하학 초과량(Geometry Excess)($m_{i,d}$)을 정의합니다:
$$m_{i,d} = \text{ReLU}\left( \frac{s^{cond}_{i,d}}{s^{ref}_d} - 1 \right)$$
이는 현재 관측값이 글로벌 사전 확률보다 더 엄격한 제약을 부과하는 차원에서만 패널티를 부여하도록 보장합니다. 결과물인 대각 행렬 $M_i = \text{Diag}(m_i)$는 적응형 가중치 역할을 합니다.

4. 전문가 근접 평가 (Expert-Proximal Evaluation)

네트워크가 포텐셜에 의해 정의된 국소 매니폴드 위상(topology)을 제대로 포착하는지 확인하기 위해, IDP는 훈련 중에 전문가 근접 평가를 도입합니다. 표준 예측 $y_i = f_\theta(o_i, a_0, 0)$만을 평가하는 대신, 모델은 전문가 행동 근처에 위치한 탐사 지점 $z_i$ ($z_i = f_\theta(o_i, a^*_i + \epsilon, t^*)$)에서도 평가됩니다. 전체 손실은 두 지점에서 평가된 포텐셜의 가중 합입니다:
$$\mathcal{L} = \mathbb{E}_{i \sim \mathcal{D}} [E_i(y_i) + \lambda_{prox} E_i(z_i)]$$
이를 통해 원스텝 생성기가 초기 노이즈 분포에만 적합한 위상을 학습하는 것을 방지하고, 전문가 타겟 근처의 국소 교정 구조에 노출되도록 합니다.

주요 기여

1. 암시적 드리프팅 정책 (IDP): 기하학적 포텐셜을 최소화함으로써 훈련 시의 교정을 내재화하여, 희소한 조건부 설정에서 명시적 벡터 필드 추정의 불안정성을 피하는 단일 단계 모방 학습 프레임워크입니다.
2. 조건부 전문가 기하학 추출: 유사한 관측값의 조건부 기하학을 글로벌 참조와 비교하여 국소 행동 교정 구조를 도출하는 방법입니다.
3. 전문가 근접 훈련 평가: 생성기가 정의된 기하학적 포텐셜의 국소 매니폴드 위상을 효과적으로 포착하도록 보장하기 위해 전문가 행동 근처에서 정책을 평가하는 훈련 메커니즘입니다.

실험 결과

저자들은 2D 상태/이미지 벤치마크, 3D 포인트 클라우드 조작 작업 및 실제 로봇 실험을 통해 IDP를 평가했습니다.

• 2D 및 3D 시뮬레이션 작업: IDP는 강력한 단일 단계 베이스라인(예: Consistency Policy, MP1, OFP)에 대해 경쟁력 있는 성공률을 보였으며, 종종 명시적 드리프팅 변형(Naive Drifting)보다 우수한 성능을 보였습니다. 여러 설정에서 IDP (NFE=1)는 다단계 생성 정책(예: 100-step Diffusion Policy)의 성능에 근접했습니다.
• 실제 "Peach Pick" 작업: 바이모달(bimodal) 분포가 존재하는 단일 암 ALOHA 플랫폼에서, IDP는 비전 기반 설정에서 50%의 성공률을 달성한 반면, Diffusion Policy, Naive Drifting 및 MIP는 모두 실패(0%)했습니다. 베이스라인들은 유효한 행동 매니폴드에서 벗어난 반면, IDP는 실시간 반응성을 유지하며 유효한 파지 포즈를 준수했습니다.
• 절제 연구 (Ablation Studies): 전문가 근접 평가를 제거했을 때 성능이 크게 저하되었습니다 (예: ToolHang-State에서 81%에서 40%로 감소). 이는 국소 구조를 내재화하는 데 있어 해당 메커니즘의 필요성을 확인시켜 줍니다. 마찬가지로, 균등하거나 섞인 이웃을 사용하는 것은 성능을 저하시켜, 관측치에 조건화된 기하학의 중요성을 입증했습니다.

의의 및 주장

본 논문은 IDP가 단일 단계 행동 생성에서 발생하는 "중간 오차 교정의 상실" 문제를 성공적으로 해결한다고 주장합니다. 동적인 벡터 필드를 회귀하는 대신 데몬스트레이션에서 유도된 정적이고 기하학을 인지하는 포텐셜을 최소화함으로써, IDP는 훈련 시 신뢰할 수 있는 행동 교정 신호를 제공합니다.

저자들은 IDP가 다음을 수행함을 강조합니다:

• 유효 매니폴드 준수 유지: 단일 단계 생성기에 대한 제약을 효과적으로 강제하여, 유효한 행동 공간으로부터의 이탈을 방지합니다.
• 명시적 드리프팅보다 개선된 성능: 희소한 조건부 행동 복제에서 명시적 드리프팅 필드를 추정할 때 발생하는 수학적 난제(ill-posedness)를 극복합니다.
• 경쟁력 있는 성능 달성: 단일 단계 추론의 저지연 이점을 유지하면서 강력한 단일 단계 베이스라인과 대등하거나 이를 능가하는 성능을 보여줍니다.

논문은 한계점도 겸허히 인정합니다: 단일 단계 정책은 여전히 멀티모달 행동 분포를 다루는 데 어려움이 있으며, 방법론이 국소 기하학을 구축하기 위해 유사한 관측값 하에서의 적절한 전문가 행동 밀도에 의존한다는 점입니다. 향후 연구는 희소 데이터 및 멀티모달 영역을 대상으로 할 것을 제안합니다.