기술 요약: 비전 - 언어 - 행동 모델용 적응형 실패 정보 학습 (AFIL)

1. 문제 제기

비전 - 언어 - 행동 (VLA) 모델은 대규모 사전 훈련된 비전 - 언어 표현을 활용하여 구체화된 의사결정을 가능하게 함으로써 로봇 조작을 위한 확장 가능한 패러다임으로 부상했습니다. 그러나 현재 VLA 모델은 배포 중 심각한 취약성을 겪고 있습니다. 이러한 한계는 주로 **성공 사례만을 기반으로 한 행동 복제 (success-only behavioral cloning)**에 대한 의존성에서 비롯됩니다. 훈련 데이터는 일반적으로 제한된 환경에서 수집된 원격 조작 궤적으로 구성되어 있으며, 비최적 또는 미관측 상태에 대한 교정 신호가 결여되어 있습니다.

결과적으로 성공적인 시연만으로 훈련된 정책은 좁은 행동 다양성 (behavioral manifolds) 에 과적합되는 경향이 있습니다. 사소한 실행 오류가 발생하면 이는 신속하게 복구 불가능한 분포 외 (out-of-distribution) 실패로 증폭됩니다. 최근 연구는 실패 데이터로부터 학습하면 견고성을 향상시킬 수 있음을 시사하지만, 기존 접근법은 다음과 같은 치명적인 한계에 직면해 있습니다:

• 수동 설계: 많은 방법론이 "미끄러짐" 또는 "불완전한 파지"와 같은 특정 범주를 정의하는 수동으로 제작된 실패 분류 체계에 의존하며, 이는 도메인 전문 지식을 요구할 뿐만 아니라 실제 세계 실패의 확률적 다양성을 포착하지 못합니다.
• 인간 의존성: 복구 과정은 종종 작업별 휴리스틱이나 실시간 인간 개입에 의존하여 확장성을 제한합니다.
• 계산 비용: 이미지 생성에서의 부정적 프롬프팅과 유사한 부정적 안내 (negative guidance) 를 순차적 로봇 행동에 적용하는 것은 쉽지 않습니다. 기존 방법론은 종종 원하는 분포와 원하지 않는 분포를 위해 별도의 모델을 요구하며, 이는 대규모 비전 - 언어 모델 (VLM) 백본을 기반으로 구축된 VLA 시스템에게는 계산적으로 prohibitive 합니다.

2. 방법론: 적응형 실패 정보 학습 (AFIL)

저자들은 확산 (diffusion) 및 흐름 매칭 (flow-matching) 기반 VLA 정책을 위해 설계된 종단간 (end-to-end) 프레임워크인 **적응형 실패 정보 학습 (AFIL)**을 제안합니다. AFIL 은 실패 궤적을 적응형 부정적 안내로 활용하여 행동 생성을 실패가 빈번한 영역에서 벗어나도록 유도합니다.

2.1 듀얼 액션 생성기 (DAG) 아키텍처

AFIL 은 매개변수 효율성을 유지하면서 성공 및 실패 데이터 모두로부터 공동 학습하는 듀얼 액션 생성기 (DAG) 아키텍처를 도입합니다:

• 공유 백본: 두 생성기 모두 시각적 지각 및 의미적 그라운딩을 위해 공통의 사전 훈련된 VLM 백본 ($\Phi_{VLM}$) 을 공유합니다.
• 듀얼 헤드: 아키텍처는 두 가지 고유한 행동 생성기를 사용합니다:
  1. 성공 생성기 ($\mathcal{G}_{succ}$): 성공 궤적만으로 훈련되어 $p_{succ}(a | o, \ell)$ 분포를 모델링합니다.
  2. 실패 생성기 ($\mathcal{G}_{fail}$): 실패 궤적만으로 훈련되어 $p_{fail}(a | o, \ell)$ 분포를 모델링합니다.
• 온라인 실패 생성: 수동 주석에 의존하는 대신, AFIL 은 작업 조건부 실행 하에서 사전 훈련된 VLA 를 롤아웃 (rollout) 하여 실패 궤적을 온라인으로 생성합니다. 이러한 궤적은 자연스럽게 발생하는 및 증폭되는 오류 모드를 포착합니다.

2.2 훈련 전략

모델은 혼합 데이터셋 $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$로 훈련됩니다.

• 확산 기반정책의 경우, 각 생성기는 노이즈 $\epsilon_\theta$를 예측하고 respective 데이터셋에서 표준 확산 목적 함수를 최소화합니다.
• 흐름 매칭정책의 경우, 헤드는 노이즈에서 데이터 분포로 샘플을 이동시키기 위한 속도장을 예측합니다.
• 핵심적으로, 근본적인 생성적 훈련 목적 함수는 변경되지 않습니다. 혁신은 공동 훈련 구조와 추론 시 안내 메커니즘에 있습니다.

2.3 적응형 실패 정보 샘플링

추론 시, AFIL 은 텍스트 - 이미지 생성의 **부정적 프롬프팅 (Negative Prompting)**에서 영감을 받은 동적 안내 메커니즘을 사용합니다. 정적 안내 스케일을 사용하는 대신, AFIL 은 각 확산 단계에서 성공 및 실패 예측 간의 발산도에 기반하여 부정적 안내의 강도를 적응적으로 조절합니다.

가이드된 점수 $\epsilon^*_{FI}$는 다음과 같이 계산됩니다:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
여기서 적응형 안내 스케일 $\hat{\lambda}_\eta$는 성공 및 실패 생성기의 예측 노이즈 벡터 간의 코사인 유사도에 의해 결정됩니다:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

적응성의 근거:

• 초기 단계: 에피소드 초기에는 성공 및 실패 롤아웃이 종종 유사한 도달 동작을 공유합니다. 여기서 코사인 유사도는 높으므로, 유효한 행동을 억제하지 않도록 낮은 안내 스케일이 적용됩니다.
• 발산 단계: 궤적이 진행됨에 따라 실패 모드 (예: 물체 떨어뜨리기) 가 나타나면 예측이 발산합니다. 코사인 유사도가 감소하면 안내 스케일이 증가하여 정책을 실패 다양성에서 적극적으로 밀어내고 교정 행동으로 유도합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. AFIL 프레임워크: 확산 및 흐름 기반 VLA 를 위한 적응형 실패 정보 학습의 도입으로, 순차적 행동 생성을 위한 원칙적인 적응형 부정적 안내로서 온라인 생성된 실패 롤아웃을 활용합니다.
2. DAG-VLA 아키텍처: 공유 VLM 백본을 통해 성공 및 실패 행동을 공동 학습하는 새로운 아키텍처로, 제한된 매개변수 오버헤드로 효율적인 실패 인지 정책 학습을 가능하게 합니다.
3. 실증적 검증: AFIL 이 짧은 및 긴 시간 범위 설정을 포함한 다양한 도메인 내 및 도메인 외 조작 작업에서 일관되게 성공률과 견고성을 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 $\pi0.5$ 백본을 사용하여 ManiSkill 및 LIBERO 벤치마크에서 AFIL 을 평가했습니다.

4.1 도메인 내 성능 (ManiSkill)

• 단기 작업: AFIL 은 성공 사례만 기반 베이스라인에 비해 성공률을 크게 향상시켰습니다. 예를 들어, "수직으로 핀 들어 올리기" 작업에서 성공률은 70.7%(성공만) 에서 90.7%(Adaptive-FIL) 로 증가했습니다.
• 장기 작업: 오류가 증폭되는 복잡하고 다단계 작업에서 개선 폭이 가장 두드러졌습니다. "접시에 캔과 바나나 놓기" 작업에서 성공률은 39.3% 에서 **71.3%**로 상승하여 정적 실패 정보 샘플링보다 12% 이상 우월한 성능을 보였습니다.
• 애블레이션: 연구는 적응형 안내 ($\alpha=1.0$) 가 정적 안내보다 우수하며, 특히 초기 궤적 단계에서 유효한 행동을 억제하지 않으면서 실패 모드를 밀어내는 균형을 맞추는 데 특히 효과적임을 확인했습니다.

4.2 벤치마크 평가 (LIBERO)

• AFIL 은 네 가지 LIBERO 스위트 (Spatial, Object, Goal, Long) 전반에서 최첨단 성능을 달성했습니다.
• 까다로운 LIBERO-10(장기) 스위트에서, 이 방법은 베이스라인 $\pi0.5$ 성능을 92.4% 에서 **95.8%**로 향상시켰습니다.
• 모든 스위트의 평균 성공률은 96.9% 에서 **98.4%**로 향상되어, 강력한 사전 훈련된 정책조차도 적응형 실패 안내로부터 혜택을 받는다는 것을 입증했습니다.

4.3 도메인 외 (OOD) 평가

• 보이지 않는 물체, 새로운 기하학적 구조, 혼잡한 환경이 포함된 시나리오에서 성공 사례만 기반 정책은 크게 저하되었습니다 (예: 과일 분류에서 10.7%).
• AFIL 은 강력한 일반화를 보여주어 과일 분류 작업에서 **64.0%**의 성공률을 달성했으며, 적응형 안내가 없는 "성공 + 실패 교정" 베이스라인을 포함한 성공 사례만 기반 베이스라인보다 크게 우월한 성능을 보였습니다.

5. 중요성 및 주장

본 논문은 AFIL 이 다음과 같은 요소 없이도 견고한 로봇 행동 생성을 위한 확장 가능하고 효율적인 메커니즘을 제공한다고 주장합니다:

• 수동으로 제작된 실패 모드 또는 분류 체계.
• 작업별 복구 휴리스틱.
• 실패 감지를 위한 별도의 대규모 VLA 모델.

실패 분포를 명시적으로 모델링하고 이를 적응형 부정적 안내로 사용함으로써, AFIL 은 성공 사례만 기반 훈련에 내재된 취약성을 해결합니다. 저자들은 이 접근법이 오류, 분포 변화 및 복구 필요성이 불가피한 현실적인 배포 설정으로 일반화 가능한 VLA 정책을 개발하기 위한 유망한 방향을 제시한다고 주장합니다. 이 방법은 모델과 무관하며, 모든 확산 또는 흐름 매칭 기반 VLA 정책에 적용 가능한 것으로 제시됩니다.