기술 요약: 비전 - 언어 - 행동 모델의 하이브리드 학습

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 로봇용 데이터셋으로 미세 조정된 대규모 사전 학습 비전 - 언어 모델 (VLM) 을 활용하여 범용 로봇 제어에 유망한 접근법으로 부상했습니다. 그러나 성능과 추론 효율성 사이에는 상당한 병목 현상이 존재합니다. Embodied Chain-of-Thought (ECoT) 와 같은 최근 전략은 모델이 행동을 실행하기 전에 중간 언어적 '생각 (reasoning traces)'을 생성하도록 학습시킴으로써 성능을 향상시킵니다. 이러한 중간 출력은 에이전트의 계획 수립과 일반화 능력을 향상시키지만, 추론 지연 시간을 크게 증가시킵니다. 실제 세계의 로봇 조작 작업에서는 긴 행동 시퀀스가 필요하기 때문에 이러한 지연은 사용성과 제어 주파수에 부정적인 영향을 미칩니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 성능 향상을 달성하기 위해 긴 사고 연쇄 (chains-of-thought) 의 생성이 필수적인 전제 조건입니까? 저자들은 CoT 로 인한 성능 향상이 테스트 시 생각 생성에서 비롯된 것이 아니라, 학습 단계 동안 추론 패턴의 내면화에서 비롯된 것이라고 가설을 세웁니다. 그들은 모델이 학습 단계에서 추론 흔적 (reasoning traces) 을 학습함으로써 높은 정확도로 행동을 직접 예측할 수 있게 하는 '숙련된 직관 (skilled intuition)' (인간 인지에서의 시스템 1 사고에 비유됨) 을 개발할 수 있다고 주장합니다.

방법론: 하이브리드 학습 (HyT)

이 논문은 VLAs 가 추론 흔적에서 학습하면서도 빠르고 직접적인 행동 추론 수행 능력을 유지할 수 있도록 설계된 하이브리드 학습 (HyT) 프레임워크를 소개합니다.

핵심 개념

HyT 는 **모달리티 변수 ($m$)**에 기반하여 여러 조건부 분포를 학습할 수 있는 단일 모델로 VLA 를 취급합니다. '생각하기 (ECoT)'와 '행동하기 (표준 VLA)'를 위한 별도의 모델을 학습하는 대신, HyT 는 세 가지 구별된 모드를 처리하도록 단일 매개변수 집합 ($\theta$) 을 공동으로 최적화합니다:

1. 행동 모드 ($m_a$): 모델은 관찰과 작업 설명 ($p(a_t | x_t, l)$) 에만 조건부로 행동을 직접 예측합니다. 이는 표준 VLA 추론을 모방합니다.
2. 생각 모드 ($m_\tau$): 모델은 먼저 중간 생각 ($\tau_t$) 을 예측한 다음, 그 생각에 조건부로 행동을 예측합니다 ($p(a_t, \tau_t | x_t, l)$). 이는 ECoT 와 유사합니다.
3. 추종 모드 ($m_f$): 모델은 외부 소스 (예: 인간 또는 오라클) 로부터 제공된 생각/지시에 조건부로 행동을 예측하며, 계층적 시스템에서 저수준 정책으로 작용합니다 ($p(a_t | x_t, \tau_t, l)$).

학습 목적 함수

학습 목적 함수는 각 분포에 대한 음의 로그 가능도 손실의 가중 합으로 공식화됩니다:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

모든 데이터 포인트가 세 가지 모드를 모두 포함하는 경우 발생할 수 있는 배치 변동성 감소를 피하기 위해, 저자들은 몬테카를로 추정을 사용합니다. 학습 중에는 각 배치에 대해 모델이 계수 ($w_\alpha, w_\tau, w_f$) 로 정의된 확률에 따라 입력과 출력을 샘플링합니다. 실험에서 저자들은 $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$ 계수를 사용하여 추론 흔적로부터의 학습 신호를 극대화하기 위해 '생각' 분포에 우선순위를 두었습니다.

추론 유연성

테스트 시에는 모델의 동작을 제어하기 위해 모달리티 변수를 명시적으로 설정합니다:

• 기본 (행동): 모델은 $m = \langle act \rangle$로 지시되어 행동을 직접 출력합니다. 이는 학습 중 내면화된 지식의 혜택을 받으면서도 A100 GPU 에서 약 3Hz 의 표준 VLA 추론 속도를 유지합니다.
• 대안 모드: 모델은 해석 가능성을 위해 '생각' 모드로 전환하거나, 오라클 또는 인간이 제공하는 세밀한 지시를 실행하기 위해 '추종' 모드로 전환할 수 있습니다.

주요 기여

1. HyT 프레임워크: 표준 VLA 학습, ECoT, 계층적 지시 추종을 단일 모델 아키텍처로 통합하는 새로운 학습 전략.
2. 학습과 추론의 분리: 모델이 학습 중에는 추론 흔적 (CoT) 에서 학습하지만 추론 중에는 행동을 직접 실행할 수 있음을 입증하여, 추론 지연을 발생시키지 않으면서 추론 과정을 모델의 내부 표현으로 '증류'할 수 있음을 보여줌.
3. 유연한 추론 모드: 동일한 모델 내에서 직접 행동 예측, 생각 생성, 지시 추종 간에 동적으로 전환할 수 있는 능력으로, 속도와 해석 가능성 간의 균형을 제공.
4. 실증적 검증: 시뮬레이션 벤치마크 (ClevrSkills, LIBERO) 와 실제 세계 로봇 작업 (UFactory xArm 6) 을 통한 광범위한 평가.

실험 결과

시뮬레이션 벤치마크

• ClevrSkills: HyT 로 학습된 모델은 일관되게 표준 VLA 보다 우수한 성능을 보였으며, 일반적으로 모든 데이터셋 크기 (300~3000 개 데모) 에서 ECoT 및 계층적 (HiRobot) 베이스라인을 능가했습니다. 특히 HyT 는 복잡하고 긴 시간 범위를 가진 작업에서 가장 큰 개선을 보였습니다.
  • 추론 속도: HyT 와 표준 VLA 는 약 3Hz 를 달성한 반면, ECoT 는 3 배 느리고 HiRobot 은 4 배 느렸습니다.
  • 데이터 효율성: 소규모 데이터셋 (300 개 데모) 으로 학습된 HyT 모델은 베이스라인보다 우수한 성능을 보여주어, 데이터가 부족할 때 '생각' 분포가 강력한 학습 신호를 제공함을 시사합니다.
• LIBERO: OFT (최적화된 미세 조정) 레시피와 결합되었을 때, HyT 는 특히 'Goal' 및 'Long' 작업 스위트에서 다른 CoT 기반 및 표준 VLA 접근법보다 뛰어난 최첨단 결과를 달성했습니다.

실제 세계 실험

• 설정: 실험은 두 손가락 그리퍼가 장착된 UFactory xArm 6 에서 수행되었습니다.
• 성능: HyT 는 41% 인 OpenVLA 베이스라인에 비해 63% 의 전체 성공률을 달성하여 OpenVLA 를 크게 능가했습니다.
• 일반화: 성능 격차는 분포 외 (OOD) 작업에서 가장 두드러졌으며 (54% 대 29%), HyT 가 새로운 물체 배열 및 시나리오에 대한 모델의 일반화 능력을 향상시킨다는 것을 나타냅니다.
• 정성적 분석: HyT 모델은 OpenVLA 에 비해 픽 - 앤 - 플레이스 위치 도달 정밀도가 더 높고 물체 선택 오류가 적음을 보여주었습니다.

제거 실험 (Ablation Studies)

• 계수: '생각' 분포는 소규모 데이터셋에서 결정적인 것으로 나타났으며, '추종' 분포는 모델이 외부 오라클 지시를 따라야 할 때 성능을 향상시켰습니다.
• 추론 모드: 평가된 설정에서 '행동' 및 '생각' 모드는 유사한 성능을 보여주어, 기본 조작 작업의 경우 테스트 시 중간 생각 생성이 반드시 필요하지 않다는 가설을 뒷받침했습니다.

중요성과 주장

이 논문은 VLA 에서 CoT 기법의 주요 유용성이 실행 중 필수적인 중간 단계로 작용하는 것이 아니라, 모델의 학습된 표현을 개선하는 데 있다고 주장합니다. 추론 패턴을 내면화함으로써 모델은 견고하고 고주파수 제어를 가능하게 하는 '전문가 직관'을 개발합니다.

저자들은 HyT 를 고성능 추론과 실시간 로봇 제어 사이의 간극을 메우는 확장 가능한 솔루션으로 위치시킵니다. 그들은 고급 메모리나 추론이 필요한 복잡한 작업은 여전히 테스트 시 CoT 의 혜택을 받을 수 있지만, 많은 표준 조작 작업은 HyT 를 활용하여 낮은 추론 비용으로 견고하게 해결될 수 있다고 주장합니다. 이 프레임워크는 일반화 혜택을 희생하지 않으면서 지연 시간이 중요한 실제 환경에서 고성능 VLA 를 배포하기 위한 실용적인 경로를 제공합니다.