1. 연구 배경 및 문제 제기 (Problem)

로봇 제어 분야에서 최근 생성형 제어 정책 (Generative Control Policies, GCPs) (예: 확산 모델, 흐름 모델 (Flow models), 자기회귀 트랜스포머) 이 행동 복제 (Behavior Cloning, BC) 작업에서 기존의 회귀 제어 정책 (Regression Control Policies, RCPs) 보다 뛰어난 성능을 보이며 각광받고 있습니다.

기존 연구와 업계에서는 GCPs 의 성공 원인을 다음과 같은 가설들로 설명해 왔습니다:

1. 다중 모드 (Multi-modality) 학습: 행동 분포의 여러 모드 (예: 좌/우 선택) 를 포착하는 능력.
2. 표현력 (Expressivity): 반복적인 계산 (Iterative computation) 을 통해 복잡한 관찰 - 행동 매핑을 표현하는 능력.
3. 확률적 데이터 증강: 노이즈 주입을 통한 학습 안정성 및 표현력 향상.
4. 분포 학습 (Distributional Learning): 관찰에 따른 행동의 조건부 분포를 정확히 맞추는 것.

하지만 이 논문은 이러한 가설들이 GCPs 의 성공을 설명하는 데 있어 과장되거나 오해의 소지가 있다고 지적하며, 실제로는 어떤 요소가 핵심인지 규명하기 위해 체계적인 분석을 수행합니다.

2. 방법론 (Methodology)

저자들은 28 개의 다양한 행동 복제 벤치마크 (MetaWorld, Robomimic, Adroit, LIBERO 등) 에서 상태 (state), 픽셀 (pixel), 포인트 클라우드, 언어 등 다양한 입력 모달리티를 가진 작업들을 대상으로 GCPs 와 RCPs 를 비교 평가했습니다.

핵심 방법론은 다음과 같습니다:

• 아키텍처 통제 (Architectural Control): GCPs 와 RCPs 가 동일한 아키텍처 (Chi-Transformer, Sudeep-DiT, Chi-UNet 등) 를 사용하도록 설정하여, 성능 차이가 모델 구조가 아닌 학습 목표나 알고리즘에서 기인하는지 확인했습니다.
• GCPs 설계 공간의 분류 (Taxonomy): GCPs 의 성공 요인을 세 가지 핵심 구성 요소로 분류하고 이를 분리하여 분석했습니다.
  • C1. 분포 학습 (Distributional Learning): 관찰에 따른 행동의 조건부 분포를 맞추는 것.
  • C2. 확률성 주입 (Stochasticity Injection): 학습 중 노이즈를 주입하는 것.
  • C3. 감독된 반복 계산 (Supervised Iterative Computation, SIC): 생성 과정의 각 단계마다 감독 신호 (Loss) 를 주고 반복적으로 정제하는 것.
• 최소 반복 정책 (MIP, Minimal Iterative Policy) 제안: C1(분포 학습) 을 배제하고 C2(확률성 주입) 와 C3(반복 계산) 만 결합한 경량화된 2 단계 정책을 설계했습니다.
  • 학습 시에는 두 단계 모두에서 노이즈와 감독을 적용하지만, 추론 (Inference) 시에는 결정론적 (Deterministic) 으로 동작합니다.
• 다양한 변형 정책 비교:
  • SF (Straight Flow): C2 만 포함 (노이즈 주입).
  • RR (Residual Regression): C3 만 포함 (반복 계산, но 노이즈 없음).
  • MIP: C2 + C3 결합.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1. 기존 신화의 해부 (Myth Busting)

• 다중 모드 (Multi-modality) 는 핵심이 아님: 많은 작업에서 GCPs 와 RCPs 의 행동 분포는 실제로 단봉 (Unimodal) 이거나, 다중 모드라 하더라도 그 분포를 정확히 학습하는 것이 성능 향상의 주된 원인이 아님을 증명했습니다. 결정론적 데이터셋에서도 GCPs 가 우위를 보였습니다.
• 표현력 (Expressivity) 의 한계: 반복 계산이 고리피시츠 (High-Lipschitz) 함수를 더 잘 표현한다는 가설은 사실이 아닙니다. 이론적 분석과 실험을 통해, 다중 모드가 없는 경우 GCPs 가 RCP 보다 복잡한 관찰 - 행동 매핑을 표현하는 데 본질적인 이점이 없음을 보였습니다.
• 아키텍처의 중요성: 성능 차이는 '생성형 vs 회귀'의 차이보다 아키텍처 선택 (Transformer, UNet 등) 과 액션 청킹 (Action Chunking) 전략에 더 크게 의존했습니다. 아키텍처를 통제하면 대부분의 작업에서 RCP 와 GCP 의 성능은 거의 동일했습니다.

3.2. 성공의 진짜 원인: C2 + C3

• 핵심 발견: GCPs 의 성공은 C2(학습 중 확률성 주입) 와 C3(감독된 반복 계산) 의 시너지에서 비롯됩니다.
  • C2 만 (SF): 성능이 RCP 와 비슷합니다.
  • C3 만 (RR): 오히려 RCP 보다 성능이 떨어집니다 (누적 오류 발생).
  • C2 + C3 (MIP): GCP(Flow) 와 동급의 성능을 달성합니다.
• MIP 의 효율성: MIP 는 분포 학습 (C1) 을 수행하지 않고, 2 단계의 반복 계산과 학습 중 노이즈 주입만으로 Flow 모델과 유사한 성능을 내며, 추론 시 계산 비용 (NFEs) 을 크게 줄일 수 있습니다.

3.3. 매니폴드 준거성 (Manifold Adherence)

• 성능 지표의 재정의: 검증 손실 (Validation Loss) 은 정책의 실제 성공률과 상관관계가 낮았습니다.
• 새로운 지표: Off-manifold Norm을 도입하여, 분포 밖 (Out-of-Distribution) 상태에서의 행동이 전문가 행동의 매니폴드 (Manifold) 에 얼마나 잘 부합하는지 측정했습니다.
• 결론: C2+C3 조합 (MIP, Flow) 은 RCP 나 SF 보다 매니폴드 준거성 (Manifold Adherence) 이 훨씬 뛰어납니다. 즉, 반복 계산 과정에서 노이즈가 주입됨으로써 모델이 분포 밖으로 벗어난 예측을 보정하고, 전문가 행동의 매니폴드 위에 머무르게 하는 유도 편향 (Inductive Bias) 을 학습합니다. 이는 누적 오류를 줄이고 폐루프 (Closed-loop) 제어 성능을 높이는 핵심 메커니즘입니다.

4. 실험 결과 (Results)

• 벤치마크 성능: LIBERO, Tool-Hang, Transport 등 다양한 고난이도 작업에서 MIP 는 Flow 기반 GCPs 와 동급의 성공률을 보였습니다.
• 단축 모델 (Shortcut Models) 대비 우위: MIP 는 Consistency Models (CTM) 등 기존 단축 모델들보다 더 적은 학습 시간과 추론 단계 (2 단계) 로 더 나은 또는 동급의 성능을 보였습니다. 이는 분포 학습 (C1) 이 로봇 제어에 필수적이지 않음을 시사합니다.
• 확장성 (Scaling): 모델 크기가 커질수록 MIP 와 Flow 는 RCP 보다 더 좋은 확장성을 보였으며, 이는 반복 계산이 더 큰 모델 용량을 효과적으로 활용하게 해주기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 제어 분야에서 생성형 모델의 성공에 대한 통념을 깨뜨리고 다음과 같은 중요한 통찰을 제공합니다:

1. 분포 학습의 불필요성: 로봇 제어에서 행동의 정확한 확률 분포를 학습하는 것 (C1) 은 필수 조건이 아닙니다. 단순히 "잘 작동하는 행동"을 선택하는 것이 목적입니다.
2. 새로운 설계 공간: 확률성 주입 (C2) 과 감독된 반복 계산 (C3) 의 결합이 로봇 제어 성능 향상의 핵심입니다. 이는 복잡한 분포 모델링 없이도 고품질 제어를 가능하게 하는 새로운 알고리즘 설계 방향을 제시합니다.
3. 실용적 제안 (MIP): MIP 와 같은 경량화된 정책은 복잡한 생성 모델의 계산 비용을 줄이면서도 동급의 성능을 제공하므로, 실제 로봇 시스템에 더 효율적으로 적용될 수 있습니다.
4. 이론적 기여: "매니폴드 준거성"이 폐루프 제어 성능의 핵심 지표임을 제시하며, 왜 반복적이고 확률적인 학습이 안정적인 제어를 가능하게 하는지에 대한 새로운 이론적 기반을 마련했습니다.

요약하자면, 이 논문은 **"생성형 로봇 제어의 성공은 복잡한 분포 학습 때문이 아니라, 노이즈가 주입된 반복적 정제 과정을 통해 학습된 매니폴드 준거성 (Manifold Adherence) 에 기인한다"**는 것을 증명하며, 로봇 제어 연구의 방향을 단순화하고 효율화하는 데 기여합니다.