기술 요약: µVLA – VLA 모델의 부분 관측 가능 조작을 위한 순환 기억(Recurrent Memory)에 대하여

문제 정의

Vision-Language-Action (VLA) 모델은 일반적으로 현재의 관찰(짧은 컨텍스트 윈도우로 보강될 수 있음)이 제어를 위한 충분 통계량(sufficient statistic)이라고 가정하며, 로봇 제어를 멀티모달 시퀀스에 대한 다음 토큰 예측으로 정식화합니다. 이러한 마르코프적(Markovian) 가정은 완전 관측 가능한 환경에서는 유효하지만, 결정적인 정보가 일시적이거나, 가려지거나, 에피소드 초기에 설정되는 부분 관측 가능(partly observable) 상황에서는 실패합니다.

VLA에서의 기억에 관한 기존 접근 방식들은 종종 순환(recurrence)을 외부 검색 시스템, 계층적 기억 구조, 보조 목적 함수(예: 과거 관찰 예측) 또는 태스크 특화된 아키텍처 변경과 같은 복잡한 메커니즘과 결합합니다. 결과적으로, 순환 그 자체의 구체적인 기여도가 이러한 주변 메커니즘과 얽혀 있어, 성능 향상이 순환 상태(recurrent state) 덕분인지 아니면 보조 구성 요소들 덕분인지를 분리하여 파악하기 어렵게 만듭니다.

방법론: µVLA

저자들은 강력하게 사전 학습된 VLA 백본(OpenVLA-OFT) 내에서 순환을 통제된 격리 연구(controlled isolation study)를 수행하는 µVLA를 제시합니다. 핵심 공식은 트랜스포머에 타임스텝을 통해 전달되고 표준 셀프 어텐션을 통해 업데이트되는 최소한의 학습 가능한 메모리 토큰($M_t \in \mathbb{R}^{m \times d}$) 세트를 추가하는 것입니다.

주요 설계 선택 사항

1. 최소주의적 아키텍처 (Minimalist Architecture): 모델은 입력 시퀀스에 $m$개의 학습 가능한 메모리 토큰만을 추가합니다(고유 수용 감각(proprioception)과 텍스트 토큰 사이에 배치). 새로운 레이어, 외부 메모리 뱅크 또는 검색 모듈은 도입되지 않습니다.
2. 훈련 체계 (Training Regime):
   • 에피소드형 데이터 로더 (Episodic Dataloader): 표준적인 셔플링 훈련과 달리, 상태 연속성을 유지하기 위해 라운드 로빈(round-robin) 데이터 로더를 사용하여 시간 순서대로 정렬된 에피소드로 모델을 훈련합니다.
   • 절단된 BPTT (Truncated Backpropagation Through Time, TBPTT): 모델은 $K$ 스텝의 윈도우에 대해 TBPTT를 사용하여 엔드 투 엔드로 미세 조정됩니다. 그래디언트는 윈도우 내의 순환 체인을 통해 흐르지만, 경계에서는 차단(detach)됩니다.
   • 보조 손실 없음 (No Auxiliary Losses): 모델은 과거 관찰 예측과 같은 보조 목적 함수 없이, 오직 표준 액션 예측 손실(L1 회귀)만으로 훈련됩니다.
3. 어텐션 마스크 가드 (Attention Mask Guard): 핵심적인 설계 요소는 메모리 토큰이 액션 토큰을 어텐션하지 못하도록 방지하는 수정된 어텐션 마스크입니다. 이는 모델이 예측된 액션 청크를 메모리에 단순히 복사하는 퇴보적인 솔루션을 방지하여, 모델이 태스크 관련 환경 단서를 인코딩하도록 강제합니다.
4. 후퇴 지평 제어 (Receding-Horizon Inference): 훈련과 추론을 일치시키기 위해, 모델은 매 환경 스텝마다 모델을 쿼리하고 예측된 청크의 첫 번째 액션만을 실행하는 후퇴 지평 제어를 사용합니다. 이를 통해 오픈 루프 청킹(open-loop chunking)에서 발생하는 훈련-테스트 불일치를 피하고 메모리 업데이트가 올바른 주기로 발생하도록 보장합니다.

실험 설정

연구는 두 가지 벤치마크에서 µVLA를 평가합니다:

• MIKASA-Robo: 기억 의존성(예: 단서 회상, 폐쇄 추적, 순차적 기억)을 격리하도록 설계된 부분 관측 가능 조작 벤치마크입니다.
• LIBERO: 마르코프 환경에서의 성능 저하를 테스트하기 위한 대조군으로서의 완전 관측 가능 벤치마크입니다.

저자들은 세 가지 파라미터를 변화시켜 모델 패밀리를 생성합니다: 메모리 너비($m$), TBPTB 길이($K$), 그리고 메모리 업데이트 규칙(TBPTT vs. 차단된 지수 이동 평균).

주요 기여

1. 통제된 격리 연구 (Controlled Isolation Study): 본 연구는 검색, 압축 또는 보조 손실과 얽히지 않고 순환을 단일 실험 축으로 변화시키며 사전 학습된 VLA 백본 내에서 순환을 처음으로 통제된 격리 연구를 수행했습니다.
2. µVLA 패밀리: 동일한 백본, 옵티마이저 및 추론 프로토콜을 공유하면서 오직 순환 상태 구성만 다른, OpenVLA-OFT의 매개변수화된 순환 미세 조정 모델 패밀리를 도입했습니다.
3. 역량 캘리브레이션 (Capability Calibration): 백본 내 최소한의 순환이 갖는 "역량 포괄 범위(capability envelope)"를 캘리브레이션하여, 그것이 충분한 특정 영역과 실패하는 영역을 식별했습니다.

결과

부분 관측 가능 태스크에서의 성능 (MIKASA-Robo)

• 훈련 태스크: 다섯 가지 훈련 태스크(단서 회상, 폐쇄, 순차적 기억 포함)에서 최적의 µVLA 구성($m=64, K=2$)은 평균 성공률(SR)을 0.42(메모리 없는 베이스라인)에서 0.84로 개선했습니다.
  • 단서 회상 태스크(예: RememberColor5: 0.04 $\to$ 0.93)에서 상당한 이득이 관찰되었습니다.
• 홀드아웃 태스크 (매칭된 시맨틱): 훈련 시와 동일한 메모리 시맨틱을 공유하지만 난이도가 다른 태스크에서, 최적의 µVLA는 메모리 없는 베이스라인의 0.07 대비 0.23의 SR을 달축했습니다.
• 홀드아웃 태스크 (새로운 시맨틱): 훈련 혼합물에 존재하지 않는 메모리 구조를 요구하는 태스크(예: 색상으로 훈련되었을 때 형태 전용 메모리 요구)의 경우, 성능이 베이스라인 근처에 머물렀습니다. 이는 최소한의 순환이 재학습 없이는 완전히 새로운 메모리 시맨틱으로 자동 일반화되지 않음을 나타냅전다.
• 절단 길이 ($K$): U자형 성능 곡선이 관찰되었습니다. $K=2$가 $K=1$(교차 스텝 그래디언트 없음)과 $K=8$(더 긴 그래디언트)보다 우수한 성능을 보였는데, 이는 신호 해상도 대 크레딧 할당(credit assignment) 사이의 최적 지점을 시사합니다.

완전 관측 가능 태스크에서의 성능 (LIBERO)

• 성능 저하 없음: 완전 관측 가능한 LIBERO 제품군에서 가장 강력한 순환 변형($m=64, K=8$)은 **96.2%**의 평균 SR을 달성하여 메모리 없는 OpenVLA-OFT 베이스라인과 일치하거나 이를 능가했습니다. 이는 순환 채널을 추가하는 것이 마르코프 환경에서 성능을 저하시키지 않음을 확인해 줍니다.
• 추론 민감도: 결과는 후퇴 지평 추론의 중요성을 강조했습니다. 동일한 µVLA 모델을 오픈 루프 청킹(청크당 한 번만 메모리 업데이트)으로 평가했을 때, 성능이 급격히 하락했습니다(예: Long-10 SR이 95.8%에서 5.4%로 하락). 이는 훈련과 추론의 주기 간의 결정적인 정렬을 보여줍니다.

진단 및 개입

• 인과적 개입 (Causal Interventions): 추론 중 메모리 토큰을 가우시안 노이즈로 교체했을 때, 메모리 의존적 태스크에서 성공률이 급격히 떨어졌습니다(예: RememberColor5: 0.94 $\to$ 0.09). 이는 정책이 순환 상태를 능동적으로 읽고 있음을 확인시켜 줍니다.
• 어텐션 롤아웃 (Attention Rollouts): 어텐션 분석 결과, 메모리 토큰은 관찰 단계 동안 단서 영역(예: 램프 또는 그리드)에 집중되었다가, 폐쇄 단계 동안 확산되는 것을 보여주었습니다. 이는 태스크의 단계 전환과 일치합니다.
• 일반화: 모델은 OOD(분포 외) 단서 정체성(예: 색상 교체)에 대해서는 부분적인 강건성을 보였으나, 페이즈 길이(단서와 액션 사이의 지연 시간)가 훈련 호라이즌을 초과할 경우 크게 저하되었습니다.

의의 및 주장

저자들은 µVLA를 새로운 파운데이션 모델 아키텍처가 아니라, 역량 포괄 범위를 캘리브레이션하는 작업으로 규정합니다.

• 순환은 강력한 성분이다: 결과는 순환 자체가 VLA 시스템에서 강력하고 연구가 부족한 구성 요소임을 주장합니다. 아주 작은 세트의 학습 가능한 토큰이라도, 보조 손실 없이 엔드 투 엔드로 훈련된다면, VLA의 운용 영역을 질적으로 변화시켜 메모리 없는 정책으로는 불가능한 부분 관측 가능 태스크를 해결할 수 있게 합니다.
• 최소한의 순환의 한계: 이 연구는 명확한 한계를 드러냅니다. 최소한의 순환은 메모리 요구 사항이 훈련 분포 내에 있고 시간적 호라이즌이 짧은 태스크에는 충분합니다. 그러나 구조화된 메모리 메커니즘 없이 새로운 메모리 시맨틱이나 매우 긴 호라이즌 의존성으로 자동 일반화되지는 않습니다.
• 설계적 함의: 본 연구는 향로의 메모리 증강 VLA가 검색 및 계층 구조로부터 순환의 기여도를 신중하게 분리해야 함을 시사합니다. TBPTT 길이의 "스윗 스팟"($K=2$)과 어텐션 가드의 필요성은 효율적인 순환 VLA를 설계하기 위한 구체적이고 실행 가능한 발견입니다.

요약하자면, 본 논문은 순환 그 자체가, 격리되고 적절히 훈련되었을 때, 태스크 시맨틱이 모델의 학습된 분포 내에 있고 추론 프로토콜이 훈련 주기와 일치한다면, 로봇 조작의 부분 관측 가능성을 처리하기 위한 강력한 메커니즘임을 입증합니다.