기술 요약: 행동 예측 체화된 추론의 자기지도 부트스트래핑

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 인터넷 규모의 기반 모델을 활용하여 범용 로봇 정책을 성공적으로 구축해 왔습니다. 그러나 사고의 사슬 (Chain-of-Thought, CoT) 추론을 이러한 모델에 통합하는 데는 결정적인 병목 현상이 존재합니다. 현재 방법론들은 추론 원시 (reasoning primitives, 예: 모든 가시 객체 나열, 고수준 계획, 또는 구조적 affordance) 를 지정하기 위해 경직된 "일률적 (one-size-fits-all)" 템플릿에 의존합니다. 이러한 템플릿은 종종 정책이 관련 없거나 산만하게 만드는 정보를 처리하도록 강요하여 행동 예측을 저하시킵니다.

근본적인 "체화 (embodiment) 에서 추론으로의 그라운딩 격차"가 존재합니다. 방대한 이미지 - 텍스트 코퍼스로 훈련된 비전 - 언어 모델 (VLM) 과 달리, 로봇 공학은 비전과 언어를 특정 행동과 연결하는 인터넷 규모의 데이터를欠乏합니다. 결과적으로 물리적 제어를 위한 효과적인 추론 과정은 관찰되지 않은 잠재 변수 (latent variable) 로 남습니다. 특정 사고가 움직임을 효과적으로 안내하는지 확인해 줄 오라클이 없기 때문에, 견고한 훈련에는 고품질의 추론이 필요하지만 그러한 추론을 식별하려면 성공적인 정책이 필요하다는 순환적 의존성이 발생합니다. 현재 접근 방식들은 이 문제에 직면하여, 인터넷 규모의 지식을 특정 로봇 컨텍스트에 그라운딩하지 못하는 장황한 추론에 종종 의존합니다.

방법론: R&B-EnCoRe

저자들은 R&B-EnCoRe(Refine and Bootstrap Embodiment-specific Chain-of-Thought Reasoning, 체화 특화 사고의 사슬 추론 정제 및 부트스트래핑) 를 소개합니다. 이는 고정된 주석으로 간주되지 않고, 발견되고 최적화되어야 할 잠재 변수($Z$) 로서 체화된 추론을 다루는 프레임워크입니다. 이 방법은 외부 보상, 검증자, 또는 인간 주석 없이 자기지도 정제를 통해 인터넷 규모의 지식으로부터 추론을 부트스트래핑할 수 있게 합니다.

이 프레임워크는 세 단계로 작동합니다:

1. 추론 드롭아웃을 통한 웜스타팅

특정 작업에 대한 최적의 추론 원시 조합을 발견하기 위해, 저자들은 모델에 다양한 추론 전략을 노출시킴으로써 "웜스타트" 데이터셋 ($D_{warm}$) 을 구축합니다.

• 원시 (Primitives): 가설적 추론 원시 집합 ($\mathcal{R}$) 이 정의됩니다 (예: 계획, 가시 객체, 하위 작업, 이동, 자기 상태).
• 드롭아웃: 각 데모 $(C, A)$ 에 대해, 각 원시를 고정된 확률 $d$(추론 드롭아웃) 로 독립적으로 포함하거나 제외함으로써 합성 흔적 (traces) 이 생성됩니다. 이는 간결한 것부터 장황한 것까지 다양한 흔적 분포를 생성하여 모델이 다양한 전략을 탐색할 수 있게 합니다.

2. 사전 및 사후 모델의 공동 훈련

단일 모델이 이중 역할을 수행하도록 훈련되며, 이는 변분 오토인코더 (VAE) 의 인코더 - 디코더 구조를 반영합니다:

• 사전 모델 ($p(Z, A | C)$): 컨텍스트 $C$가 주어졌을 때 추론 전략 $Z$를 생성하고 행동 $A$를 예측하도록 훈련됩니다. 이는 온라인 정책을 나타냅니다.
• 사후 모델 ($q(Z | C, A)$): 컨텍스트 $C$와 실제 행동 $A$ 모두를 조건으로 하여 추론 후보 $Z$를 생성하도록 훈련됩니다. 이는 사후적으로 행동을 설명하기 위한 제안 분포 (proposal distribution) 로 작용합니다.

3. 중요도 샘플링을 통한 정제 및 부트스트래핑

핵심 혁신은 중요도 가중 오토인코더 (IWAE) 를 사용하여 추론 분포를 정제하는 데 있습니다.

• 샘플링: 각 데모에 대해 $K$개의 후보 추론 흔적이 사후 분포 $q(Z | C, A)$ 에서 샘플링됩니다.
• 가중치 부여: 각 흔적에 대해 중요도 가중치가 계산됩니다: $w(Z_k) = \frac{p(Z_k, A | C)}{q(Z_k | C, A)}$.
• 재샘플링: 단일 흔적 $Z^*$이 이러한 가중치에 비례하는 카테고리 분포를 기반으로 후보들로부터 재샘플링됩니다.
• 정보 이득: 이론적으로 이 과정은 전문가 분포와 모델의 행동 분포 간의 발산을 줄이는 추론 전략 (긍정적 정보 이득) 을 증폭시키고 산만하게 만드는 전략은 억제합니다.
• 부트스트래핑: 최종 VLA 는 고품질의 행동 예측 추론 흔적들로 구성된 정제된 데이터셋으로 재훈련되어, 추론 템플릿의 수동 엔지니어링 필요성을 우회합니다.

주요 기여

1. R&B-EnCoRe 프레임워크: 체화된 추론을 잠재 변수로 공식화하여, 중요도 가중 변분 추론을 사용하여 합성 사전 지식에서 자기 개선되는 드롭인 (drop-in) 훈련 레시피를 제공합니다. 이는 "일률적" 휴리스틱과 비싼 인간 주석의 필요성을 제거합니다.
2. 자기지도 필터링: 이 접근 방식은 외부 보상 없이 "산만하게 만드는" 정보 (예: 작업과 무관한 객체의 바운딩 박스) 를 효과적으로 필터링하고 중요한 신호 (예: 보행 로봇을 위한 구조적 affordance) 를 증폭시킵니다. 이는 필수 단서와 노이즈를 구분하는 고품질의 해석 가능한 추론 흔적을 생성합니다.
3. 크로스 도메인 검증: 이 방법은 1B 에서 30B 파라미터에 이르는 VLA 아키텍처를 사용하여 조작 (Franka Panda, WidowX), 보행 내비게이션 (이족, 바퀴, 자전거, 사족), 그리고 자율 주행 분야에서 검증되었습니다.

실험 결과

저자들은 세 가지 도메인에서 상당한 성능 향상을 보고합니다:

• 조작 (LIBERO-90 및 Bridgev2):

  • 모든 사용 가능한 원시에 대해 무차별적으로 추론하는 모델에 비해 조작 성공률이 28% 향상되었습니다.
  • 생성된 토큰의 평균 수가 절반으로 감소하여 더 간결한 추론을 나타냅니다.
  • 객체 중요도 비율(나열된 객체가 작업과 관련 있는 흔적의 비율) 이 모든 객체를 나열할 때의 0.03% 에서 25.02% 로 향상되었습니다.
  • 산만 요소가 있는 분포 외 (OOD) 설정에서 견고성을 입증했으며, 기존 모델들은 성능 저하를 겪었습니다.

• 보행 내비게이션 (NaviTrace):

  • 이족, 바퀴, 자전거, 사족 체화 전반에 걸쳐 내비게이션 점수 (NaviTrace 지표) 가 101% 향상되었습니다.
  • 주관적인 날씨 설명과 같은 관련 없는 원시를 성공적으로 제거하면서 중요한 affordance 및 장애물 추론은 유지했습니다.

• 자율 주행 (nuScenes):

  • 기존 모델 대비 충돌률 지표가 21% 감소했습니다.
  • 충돌률을 낮게 유지하면서 궤적 예측 오차 (L2 경로 오차) 가 감소했습니다.
  • 중요도 샘플링 단계에서 사후 샘플 수 ($K$) 를 증가시키는 것이 성능을 단조롭게 향상시키며, 약 16 개 샘플에서 포화됨을 보여주었습니다.

중요성 및 주장

이 논문은 R&B-EnCoRe 가 성공적인 제어를 예측하는 추론을 정제 (distill) 함으로써 체화된 추론의 순환적 의존성을 해결한다고 주장합니다. 추론을 잠재 변수로 취급하고 자기지도 중요도 가중치를 사용함으로써, 이 방법은 수동 주석 엔지니어링 없이 인터넷 규모의 지식을 물리적 실행에 그라운딩합니다.

저자들은 이 접근 방식의 효과성이 개별 원시의 품질보다는 초기 웜스타트 원시의 다양성과 범위에 달려 있다고 강조합니다. 중요도 샘플링 단계는 자동으로 정보 제공이 부족한 원시의 가중치를 낮춥니다. 궁극적으로 R&B-EnCoRe 는 행동하는 것뿐만 아니라 행동하기 전에 "올바른 질문을 숙고"하기 위해 사전 지식을 활용하는 자기 개선 정책을 생성할 수 있게 하여, 작업 성공률과 추론 효율성 (장황한 추론을 제거하여 지연 시간 감소) 을 크게 향상시킵니다.