기술적 요약: 액션-처킹 행동 복제에서의 다중 모드 실패 이해

문제 제기

행동 복제 (BC) 는 전문가의 조건부 행동 분포가 다중 모드 (multimodal) 일 때 근본적인 도전에 직면합니다. 단일 관측치에 대해 여러 개의 서로 다른 유효 행동이 존재할 수 있기 때문입니다 (예: 서로 다른 역운동학 해법이나 장애물 우회 경로). L2 손실이나 단일 가우시안과 같은 단일 모드 헤드를 사용하는 표준 BC 접근법은 조건부 평균으로 회귀하여 실패하며, 종종 유효 모드 사이의 간격에 위치하여 물리적으로 불가능한 행동을 생성합니다.

이를 해결하기 위해 현대적인 방법들은 액션-처킹(단일 단계가 아닌 행동 시퀀스 예측) 과 다중 모드 파라미터화를 도입합니다. 이러한 방법들은 일반적으로 두 가지 범주로 나뉩니다:

1. 잠재 변수 정책 (Latent-Variable Policies): 행동의 모호성을 인코딩하기 위해 관찰되지 않은 잠재 변수 $Z$를 도입합니다 (예: CVAE).
2. 행동 공간 생성 정책 (Action-Space Generative Policies): 명시적인 중간 잠재 코드 없이 플로우 (flows) 나 확산 모델 (diffusion models) 을 사용하여 행동 분포를 직접 모델링합니다.

경험적 성공에도 불구하고, 이러한 정책들이 다중 모드를 유지하거나 실패하게 만드는 이론적 메커니즘은 여전히 불명확합니다. 구체적으로, 어떤 훈련 단계의 양들이 서로 다른 모드의 유지를 통제하는지는 알려지지 않았습니다.

방법론 및 이론적 프레임워크

저자들은 전문가 행동 분포 $p_D(\cdot|s)$의 지지 (support) 가 $K(s)$개의 잘 분리된 모드 집합 $C_k(s)$ 내에 포함되는 것을 다중 모드의 속성으로 형식화했습니다. 그리고 특정 제약 하에서 두 가지 주요 정책 계열이 이러한 모드를 유지하지 못하는 방식을 분석했습니다.

1. 잠재 변수 정책 (CVAE)

이 연구는 조건부 변이 오토인코더 (Conditional Variational Autoencoders) 에서 후방 - 사전 정규화(일반적으로 점별 KL 발산 항, $\beta D(q_\phi \| p_\psi)$) 의 역할을 조사합니다.

• 정보 요구 사항: 관측치 $S$로부터 특정 시연 모드 $M$을 복원하기 위해, 잠재 변수 $Z$는 행동 조건부 정보를 인코딩해야 합니다. 저자들은 모드 정체성을 유지하는 데 필요한 조건부 상호 정보 $I(A; Z | S)$에 대한 하한을 유도했습니다.
• 붕괴 메커니즘: 그들은 정규화 강도 $\beta$가 증가함에 따라 변이 목적 함수가 후방과 사전 분포 사이의 발산을 패널티로 부과함을 증명했습니다. 이는 후방을 사전 분포 쪽으로 붕괴시켜, 모드 간을 구별하는 데 필요한 행동 조건부 정보를 효과적으로 제거합니다.
• 주요 결과: 비자명한 다중 모드 인증을 달성하기 위한 필요 조건 $\beta < C/b_0$이 존재합니다. 과도한 정규화는 정책이 데이터의 실제 복잡성과 무관하게 단일 모드가 되는 "모드 붕괴 (mode collapse)"로 이어집니다.

2. 행동 공간 생성 정책

이 연구는 기본 노이즈 $u$(예: 가우시안) 를 액션 처크로 매핑하는 결정론적 샘플러 $G_{\theta,s}(u)$를 분석합니다.

• 기하학적 제약: 여러 개의 분리된 모드를 표현하는 능력은 운송 맵 (transport map) 의 리프시츠 상수($L_{\theta,s}$) 에 달려 있습니다.
• 부드러움 트레이드오프: 저자들은 작은 리프시츠 상수를 가진 맵은 동시에 많은 잘 분리된 모드에 상당한 확률 질량을 할당할 수 없음을 증명했습니다. $K$개의 분리된 모드를 커버하기 위해 생성기는 다음 중 하나를 수행해야 합니다:
  1. 기본 공간에서 날카로운 전이 (큰 리프시츠 상수) 를 나타냅니다.
  2. 모드 간에 전이하는 "브리지 영역 (bridge regions)"을 행동 공간에서 활용합니다. 이는 종종 유효하지 않은 (지지 밖의) 궤적을 통과합니다.
• 주요 결과: 부드러움 (작은 리프시츠 상수) 을 강제하는 정규화 기법은 본질적으로 다중 모드 분포를 표현하는 모델의 능력을 제한하여, 안정성과 모드 커버리지 사이의 트레이드오프를 강요합니다.

주요 기여

1. 다중 모드의 형식적 정의: 이 논문은 분리된 모드 집합과 모드 할당 함수에 기반한 엄밀한 다중 모드 행동 복제 정의를 제공합니다.
2. 실패 메커니즘의 식별:
   • 잠재 정책의 경우: 행동 조건부 잠재 정보를 억제하여 모드 붕괴를 유발하는 점별 KL 정규화 강도를 결정적 요인으로 식별했습니다.
   • 행동 공간 정책의 경우: 기본에서 행동으로의 매핑의 리프시츠 상수를 표현 가능한 모드의 수를 제한하는 기하학적 병목 현상으로 식별했습니다.
3. 이론적 경계:
   • 모드 복원에 필요한 상호 정보 ($I(A; Z | S)$) 에 대한 하한을 유도했으며, 이는 Fano 보정 모드 엔트로피와 연결됩니다.
   • 리프시츠 생성기에 대한 표현 가능한 모드의 수에 대한 상한을 유도하여, 이는 리프시츠 상수와 모드 분리 거리의 비율에 따라 스케일링됨을 보였습니다.
4. 경험적 검증: 합성 2D 내비게이션 작업 (실제 모드 레이블 포함) 과 표준 로봇 시뮬레이션 벤치마크 (Push-T, UR3 BlockPush, Kitchen) 에서 이러한 메커니즘을 검증했습니다.

실험 결과

실험은 이론적 예측을 지지합니다:

• 잠재 정책: CVAE 에서 KL 가중치 $\beta$를 증가시키면 상호 정보 $I(A; Z | S)$가 급격히 감소하고 모드 커버리지가 붕괴됩니다. 집계 매칭 (예: MMD-CWAE) 은 후방 모드 정보를 유지할 수 있지만, 배포 성공은 사전 분포가 유효 행동으로 디코딩되는 잠재 영역을 커버하는지에 크게 의존합니다.
• 행동 공간 정책: 생성 모델 (Flow/Diffusion) 은 모드를 성공적으로 커버하지만 트레이드오프를 보입니다. 고-카디널리티 작업 ($K=16$) 에서 그들은 날카로운 전이 대신 "브리지"궤적 (모드 간의 유효하지 않은 경로) 의 높은 비율을 생성함으로써 다중 모드의 비용을 치릅니다.
• 벤치마크 성능:
  • 거의 단일 모드인 작업 (UR3 BlockPush) 에서는 결정론적 BC 가 생성 방법보다 성능이 뛰어납니다.
  • 고도로 다중 모드인 작업 (Kitchen, Push-T Image) 에서는 생성 방법이 결정론적 베이스라인보다 성능이 뛰어납니다.
  • 학습된 사전 분포와 집계 매칭은 표준 점별 KL-CVAE 보다 성능을 향상시키지만, 사전 분포가 디코더의 유효 잠재 영역과 정렬되는 경우에만 해당됩니다.
  • 행동 공간 운송 방법은 잠재 기반 방법보다 추론 시 약 6 배 느립니다.

중요성 및 주장

이 논문은 경험적 작업 중심 비교를 넘어 모드 유지를 위한 이론적 기준을 제공함으로써, 다중 모드 모방 학습이 왜 실패하는지 이해하는 데 있어 중요한 공백을 메운다고 주장합니다.

• CVAE 에 대한 실질적 함의: 저자들은 ACT 와 같은 주목받는 연구들에서의 기본 선택인 $\beta=10$이 이론적으로 단일 모드 정책을 생성할 가능성이 높음을 강조하며, 실무자들은 모드 정보에 대한 필요성과의 균형을 맞추기 위해 정규화를 신중하게 조정해야 한다고 제안합니다.
• 생성 모델에 대한 실질적 함의: 이 분석은 확산 또는 플로우 모델에서 과도한 부드러움을 강제하는 것 (정규화를 통해) 이 우연히 모드 붕괴를 초래할 수 있음을 시사합니다. 모델이 분리된 모드를 커버하기 위해 잠재 공간을 충분히 늘릴 수 없으면 부드러움 제약을 위반하게 되기 때문입니다.
• 소극적 범위: 저자들은 그들의 결과가 훈련과 무관한 구조적 한계와 필요 조건을 기술한다고 인정합니다. 훈련이 이러한 조건을 만족하는 최적화자를 찾을 것이라고 보장하지 않으며, 작업별 모호성을 추정하지 않고 $\beta$를 선택하는 보편적 규칙을 제공하지도 않습니다. 그들은 "최고의" 정책 클래스는 단순히 모델의 표현력이 아니라 데이터의 특정 모호성 구조에 달려 있음을 강조합니다.

요약하자면, 이 작업은 행동 복제에서 다중 모드를 유지하는 것이 명시적이고 정량화 가능한 제약에 의해 지배됨을 확립합니다. 즉, 잠재 모델에서의 정규화 강도와 생성 모델에서의 운송 맵의 기하학적 부드러움입니다.