기술 요약: QuoVLA: 비전 - 언어 - 행동 모델을 위한 몫 공간

1. 문제 제기

비전 - 언어 - 행동 (VLA) 모델은 사전 학습된 비전 - 언어 모델 (VLM) 을 적응시켜 시각적 관찰과 언어 지시를 연속적인 로봇 행동으로 매핑하는 것을 목표로 합니다. 그러나 다중 모달 이해에 최적화된 표현과 제어에 필요한 표현 사이에는 근본적인 불일치가 존재합니다.

기존 접근법들은 일반적으로"행동 불충분성"진단 하에 작동합니다. 이들은 사전 학습된 VLM 잠재 공간이 행동 관련 정보가 부족하거나 행동 감독 신호에 의해 과도하게 오염되어 있다고 가정합니다. 결과적으로 현재 방법론들은 행동 지식을 주입하기 위해 VLM 을 공격적으로 파인튜닝하거나, 간섭을 방지하기 위해 VLM 을 행동 기울기로부터 격리시킵니다.

저자들은 이러한 지배적인 관점에 도전합니다. 그들은 사전 학습된 VLM 잠재 공간이 행동이 불충분한 것이 아니라, 오히려 **행동은 충분하지만 과완전 (overcomplete)**하다고 주장합니다. Transformer 아키텍처의 단사성 (injectivity) 으로 인해 이러한 잠재 공간은 최적의 행동 거동을 변경하지 않는 미세한 프롬프트 수준의 변이 (예: 특정 문구나 시각적 세부 사항) 를 보존합니다. 이러한 중복성은 행동 공간으로 전파되어 부수적인 행동 변이를 초래하고, 분포 변화 하에서 일반화를 저해할 수 있습니다. 핵심 문제는 이러한 과완전한 표현을 최적 제어에 필요한 정보만 유지하고 행동과 무관한 변이는 제거하는 **행동 최소 (action-minimal)**형태로 압축하는 방법입니다.

2. 방법론: QuoVLA

이를 해결하기 위해 저자들은 새로운 **VLA 를 위한 몫 이론 (Quotient Theory)**에 기반한 QuoVLA프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

2.1 VLA 를 위한 몫 이론

이 이론은 이상적인 VLA 표현은 동일한 최적 행동 거동을 유도하는 잠재 공간이 단일 동치 클래스로 축소되는 **몫 공간 (quotient space)**이라고 가정합니다.

• 행동 동치성: 두 VLM 잠재 $h$와 $h'$가 동일한 베이지안 최적 행동 궤적 법칙을 유도한다면 동치 ($h \sim_A h'$) 입니다.
• 최소 충분성: 몫 사상 $q^*_A$는 최적 행동을 결정하는 데 필요한 모든 정보를 보존하면서 행동과 무관한 모든 구분을 제거하는 "정확한 행동 충분성"을 유지하는 가장 거친 표현입니다.
• 일반화 경계: 저자들은 몫이 비자명한 행동과 무관한 변이를 제거한다고 가정할 때, 이 몫 공간에서 학습하는 것이 원시 VLM 공간보다 더 엄격한 일반화 경계를 산출함을 증명합니다.

2.2 트랜스포머 기반 접두사 양자화

몫 이론을 실현하기 위해 QuoVLA 는 VLM 접두사 인코더와 행동 전문가 사이에 경량의 양자화 모듈을 삽입합니다.

• 아키텍처: 단일 레이어 트랜스포머 블록이 어텐션 하위 레이어 이후 MLP 하위 레이어 이전에 배치됩니다.
• 양자화: 연속적인 VLM 잠재 공간은 대칭 균일 양자화를 사용하여 공유된 이산 코드로 매핑됩니다.
• 적응형 직통 추정기 (STE): 양자화는 미분 불가능하므로, 저자들은 적응형 STE 를 사용합니다. 학습 가능한 게이트 매개변수 $\alpha$가 행동 감독으로부터 VLM 으로 흐르는 기울기를 조절하여, 몫을 학습해야 할 필요성과 사전 학습된 다중 모달 지식을 보존해야 할 필요성 사이의 균형을 맞춥니다.

2.3 듀얼 브랜치 행동 생성

양자화된 표현이 행동 충분성을 유지하고 중요한 제어 정보를 잃지 않도록 하기 위해 듀얼 브랜치 설계가 채택됩니다:

• 양자화 브랜치 (주): 압축된 양자화 잠재 공간으로부터 행동을 예측합니다.
• 참조 브랜치 (그리드 정지): 원래의 양자화되지 않은 VLM 잠재 공간으로부터 행동을 예측합니다. 이 브랜치는 참조 역할을 하지만 제약 손실로부터 기울기를 받지 않습니다.
• 상대적 시간 복잡도 제약: 손실 항 ($L_{tc}$) 은 양자화 브랜치의 예측된 속도장이 참조 브랜치보다 시간적으로 더 복잡 (높은 주파수 진동) 할 때만 양자화 브랜치를 패널티 처리합니다. 이는 몫이 중복성을 제거하되 행동 궤도에 비자연스러운 고주파 노이즈를 도입하지 않도록 보장합니다.

최종 목적 함수는 양자화 브랜치를 위한 흐름 매칭 손실과 상대적 시간 복잡도 제약을 결합합니다.

3. 주요 기여

1. VLA 를 위한 몫 이론: 이 논문은 VLA 적응을 "행동 불충분성"에서 "행동 최소성"으로 재정의하는 이론적 프레임워크를 제시하며, 사전 학습된 VLM 잠재 공간이 행동은 충분하지만 과완전함을 입증합니다.
2. 능동적 양자화 메커니즘: 적응형 STE 에 의해 제어되는 접두사 양자화를 통해 VLM 표현에서 중복 정보를 명시적으로 제거하는 새로운 방법입니다.
3. 듀얼 브랜치 행동 생성: 양자화 브랜치를 안내하기 위해 그리드 정지 참조 브랜치와 상대적 시간 복잡도 정규화를 사용하는 학습 전략으로, 중복성이 제거되는 동안 행동 충분성이 보존되도록 보장합니다.

4. 실험 결과

저자들은 QuoVLA 를 여러 시뮬레이션 벤치마크와 실제 로봇 작업에서 평가했습니다.

• 시뮬레이션 벤치마크 (LIBERO, LIBERO-PRO, LIBERO-Plus, RoboTwin 2.0):
  • QuoVLA 는 모든 스위트에서 최첨단 (SOTA) 또는 경쟁력 있는 성능을 달성했습니다.
  • LIBERO에서 평균 성공률 99.6% 를 기록하여 $\pi0.5$(96.9%) 와 OpenVLA(76.5%) 와 같은 강력한 베이스라인을 능가했습니다.
  • 분포 변화 (객체, 위치, 의미, 작업) 에 대한 강건성을 테스트하는 LIBERO-PRO에서 QuoVLA 는 뛰어난 강건성을 보여주어 20 개 설정 중 17 개에서 최상이거나 공동 최상의 성능을 달성했습니다.
  • RoboTwin 2.0에서 QuoVLA 는 "Hard" 설정의 성공률을 $\pi0.5$의 43.84% 에서 58.6% 로 향상시키면서 "Easy" 성능은 경쟁력 있게 유지했습니다.
• 실제 로봇 평가:
  • 작업당 100 개의 훈련 샘플만으로 네 가지 조작 작업 (예: 접시 위에 물체 놓기) 에서 테스트되었습니다.
  • QuoVLA 는 평균 성공률을 $\pi0.5$의 64.5% 에서 88.0% 로 향상시켰으며, 정밀 배치 작업 (예: 접시 위에 사과 올리기 +52%) 에서 큰 향상을 보였습니다.
• 애블레이션 연구:
  • 양자화를 제거하거나 과도한 양자화 깊이/비트 너비를 사용하면 성능이 저하되어 균형 잡힌 병목 현상의 필요성을 확인했습니다.
  • 듀얼 브랜치 설계나 시간 제약을 제거하면 성능이 감소하여 행동 구조를 보존하는 데 있어 그들의 역할을 검증했습니다.
• 강건성 분석:
  • 증가하는 가우시안 잡음 하에서 QuoVLA 는 베이스라인 대비 가장 높은 성공률을 유지하며 가장 느리게 저하되어, 작업과 무관한 시각적 교란을 필터링하는 능력을 입증했습니다.

5. 중요성과 주장

이 논문은 QuoVLA 가 VLA 적응에서 패러다임 전환을 제공한다고 주장합니다. VLM 이 행동 정보를 부족하게 가지고 있다는 가정에 도전함으로써, 일반화의 주요 장벽은 종종 부족함이 아닌 중복성임을 보여줍니다.

그 중요성은 다음과 같습니다:

• 일반화: 몫 기반 접근법은 작업과 무관한 변이 (시각적 또는 언어적) 를 효과적으로 억제하여 다른 모델이 실패하는 분포 변화 하에서도 강건한 성능을 이끌어냅니다.
• 데이터 효율성: 이 방법은 제한된 데이터 (100 개 샘플) 로 강력한 실제 로봇 성능을 달성하여, 표현을 행동 최소 형태로 압축하는 것이 더 빠르고 안정적인 적응을 돕는다는 것을 시사합니다.
• 이론적 근거: 휴리스틱 아키텍처 변경을 넘어 VLM 잠재 공간의 압축이 제어를 개선하는 이유에 대한 몫 공간과 일반화 경계를 통한 공식적 정당성을 제공합니다.

저자들은 한계점을 지적하며, 특히 이 방법이 충분히 강력한 사전 학습된 VLM 에 의존하며 실제 로봇 평가가 현재 테이블톱 조작으로 제한되어 있음을 언급합니다. 그들은 이 방법이 모든 오픈 월드 로봇 공학 과제를 해결한다고 주장하지는 않지만, 일반화 가능한 VLA 적응을 위한 견고한 기반으로서 위치를 매깁니다.