기술 요약: EventVLA

문제 정의

표준 시각-언어-행동(Vision-Language-Action, VLA) 로봇 조작 정책은 일반적으로 현재의 관측값과 언어 지시사항을 행동으로 직접 매핑하는 엄격한 마르코프 가정(Markovian assumption) 하에 작동한다. 이러한 방식은 결정적인 작업 관련 정보가 시간이 지남에 따라 일시적으로 가려지거나 관찰 불가능해지는 장기적(long-horizon), 비마르코프적(non-Markovian) 과업에서 실패한다. 예를 들어, 로봇은 위치가 바뀐 물체의 원래 위치를 기억하거나, 덮개 아래에 잠시 드러났던 물체의 색상을 기억해야 할 수도 있다.

기존의 메모리 증강 솔루션들은 세 가지 주요 한계점을 가진다:

1. 이중 시스템 구조(Dual-system architectures): 인지(cognition)와 제어(control)를 분리하여 높은 지연 시간과 심각한 오차 전파를 초래한다.
2. 순환 구조(Recurrent architectures): 이력을 은닉 상태(hidden states)로 압축함으로써 미세한 시각적 세부 정보를 버리는 정보 병목 현상을 만든다.
3. 메모리 버퍼(Memory Buffers): 선택적 메커니즘 없이 중복된 프레임을 맹목적으로 축적하여 계산 오버헤드를 높이고 희소하고 결정적인 증거를 희석시킨다.

해결하고자 하는 핵심 과제는 실행 성공률을 극대화하면서도 계산적 한계를 초과하지 않도록, VLA가 언제, 어떤 시각적 증거를 보존해야 하는지를 결정하는 것이다.

방법론: EventVLA 프레임워크

EventVLA는 희소 시각 증거 메모리(sparse visual evidence memory) 개념을 중심으로 설계된 엔드투엔드(end-to-end) 프레임워크이다. 이 모델은 정적 휴리스틱과 동적 예측 메모리 모듈을 결합하여 방대한 중복성을 피한다.

1. 기초 시각 앵커 ($A_t$)

구조적으로 단순한 메모리 요구 사항을 처리하기 위해, EventVLA는 다음과 같은 결정론적 규칙 기반 베이스라인을 채택한다:

• 초기 프레임 ($o_0$): 작업 공간의 불변하는 전역 레이아웃을 포착한다.
• 단기 이력 윈도우(Short-term History Window): 최근 프레임($o_{t-K} \dots o_{t-1}$)의 슬라이딩 윈도우를 통해 국소적인 움직임 단서를 제공한다.
  이러한 앵커들은 영구적인 공간 참조 및 즉각적인 시간적 맥락 역할을 하지만, 실행 중간에 발생하는 예측 불가능하고 일시적인 이벤트를 포착하는 데는 한계가 있다.

2. 키프레임 증거 메모리 (Keyframe Evidence Memory, KEM) 모듈

일시적인 상호작용 기반 이벤트(예: 덮개 아래에 잠시 드러난 물체)를 포착하기 위해, EventVLA는 KEM 모듈을 도입한다.

• 예견 기반 예측(Foresight-Driven Prediction): 규칙 기반 휴리스틱과 달리, KEM은 메인 액션 헤드와 함께 작동하는 경량 병렬 예측 헤드로 동작한다. 이는 VLA의 자기회귀 트랜스포머(autoregressive transformer)로부터 추출된 은닉 상태($h_t$)를 입력으로 받는다.
• 청크 단위 확률 예측(Chunk-wise Probability Forecasting): 단계별 분류 대신, KEM은 미래 실행 지평($H$)에 걸친 확률 벡터($\hat{p}_t$)를 예측한다. 이를 통해 정책은 결정적인 중간 상태가 관찰 불가능해지기 전에 선제적으로 "메모리 스케줄"을 식별할 수 있다.
• 희소 메모리 쓰기(Sparse Memory Writes): 예측된 확률이 임계값($\hat{p}_i^t \ge \tau_{commit}$)을 초과하면, 해당 시점의 원본 이미지를 이벤트 버퍼($E_t$)에 기록한다.
• 버퍼 관리: 이벤트 버퍼는 최대 용량($N_{max}$)에 의해 제한되며, 실시간 효율성을 보장하기 위해 FIFO(First-In-First-Out) 제거 정책에 의해 관리된다.

3. 학습 및 추론

• 자동 레이블링: 과도한 수동 주석 작업을 피하기 위해, 저자들은 Qwen3-VL 기반의 오프라인 파이프라인을 사용하여 데모로부터 작업에 결정적인 이벤트의 타임스탬프를 추출한다.
• 손실 함수: 모델은 표준 액션 생성 손 loss($L_{action}$)와 키프레임 예측을 위한 시퀀스 평균 이진 교차 엔트로피 loss($L_{kem}$)를 결합하여 엔드투엔드로 학습되며, 시간적 모호성을 완화하기 위해 시간적으로 평활화된 소프트 레이블을 사용한다.
• 커리큘럼 학습: 학습-테스트 분포 차이를 메우기 위해, 메모리 구축 과정을 그라운드 트루스(ground-truth) 레이블에서 자율적 예측으로 전환하는 스케줄링된 교사-학생 커리큘럼을 활용한다.
• 추론: 추론 시에는 밀집된 확률 예측을 1D NMS(Non-Maximum Suppression)와 시간적 쿨다운(cooldown) 파이프라인을 통해 이산적인 쓰기 이벤트로 정제하여 엄격한 희소성을 강제한다.

주요 기여

1. EventVLA 프레임워크

본 논문은 기초 시각 앵커와 동적 예견 기반 KEM 모듈을 매끄럽게 결합하는 새로운 아키텍처를 제시한다. 이 접근 방식은 정책이 희소하고 작업에 결정적인 시각적 이벤트를 자율적으로 포착하고 저장하게 함으로써, 이벤트의 짧은 출현 시점과 향후 실행 시점 사이의 시간적 간극을 메운다.

2. RoboTwin-MeM 벤치마크

저자들은 상호작용하는 시각적 증거를 가진 비마르코프적 조작 과업을 평가하기 위해 설계된 진단용 시뮬레이션 벤치마크인 RoboTwin-MeM을 제안한다.

• 차별성: 정적 앵커만으로 해결 가능한 기존 벤치마크(예: RMBench)와 달리, RoboTwin-MeM은 결정적인 증거가 일시적으로 나타났다가 사라지는 과업들을 특징으로 한다.
• 구조: 8개의 도전적인 과업으로 구성되며, 실행 지평은 평균 4301544 스텝이다. 과업 복잡도는 반드시 기억해야 하는 중간 키프레임의 개수인 $n$(15)에 의해 매개변수화된다.
• 테스트 역량: 이 벤치마크는 일시적 메모리, 시퀀스 추적/카운팅, 그리고 인-컨텍스트 러닝(in-context learning) 능력을 평가한다.

실험 결과

시뮬레이션 벤치마크

• RMBench (표준 메모리 과업): 기초 시각 앵커만을 사용한 EventVLA는 평균 **67.8%**의 성공률을 달성하여, 정적 공간 레이아웃이 유지되는 과업에서는 규칙 기반 앵커만으로도 충분함을 입증하며 새로운 SOTA(State-of-the-Art)를 기록했다.
• RoboTwin-MeM (비마르코프적 과업):
  • 메모리가 없는 기존 VLA(예: $\pi_{0.5}$)는 단 **7.8%**의 성공률을 보였다.
  • 기존 메모리 증강 VLA(예: MemoryVLA)는 **10.8%**를 달성했다.
  • 시각 앵커만 사용한 EventVLA(VA only)는 **18.0%**를 기록하여, 일시적 이벤트를 처리하기에는 정적 앵커가 불충분함을 보여주었다.
  • **전체 EventVLA (VA + KEM)**는 **75.2%**의 평균 성공률을 달성하며 모든 베이스라인을 압도했다.
  • 어블레이션 연구(Ablation studies)를 통해 KEM을 제거하거나, 암묵적 잠재 메모리를 사용하거나, 버퍼 용량을 제한할 경우 성능이 크게 저하됨을 확인했다.

실제 환경 평가

ARX ACONE 양팔 로봇을 대상으로 4가지 비마르코프적 과업(Find Block, Pick-X-Times, Pick in Order)에 대해 평가하였다:

• $\pi_{0.5}$ (반응형): 거의 실패함 (성공률 0~10%).
• $\pi_{MEM}$ (메모리 증강 베이스라인): 부분적인 성공을 보였으나, 복잡한 다중 이벤트 과업에서는 성능이 저하됨 (예: 30~40%).
• EventVLA: 과업 전반에 걸쳐 **60%에서 90%**의 성공률을 달성하며, 물리적 환경에서도 견고한 상황 인지 능력과 결정적인 일시적 시각 단서를 유지하는 능력을 입증했다.

의의 및 주장

본 논문은 EventVLA가 "맹목적 축적"에서 "희소하고 이벤트 중심적인 보존"으로 전환함으로써 장기적 로봇 조작의 핵심 병목인 메모리 문제를 해결한다고 주장한다. 결정적인 시각적 증거만을 선제적으로 예측하고 저장함으로써, 이 프레임워크는 다음을 달성한다:

1. 효율성: 밀집된 메모리 버퍼의 계산적 오버헤드와 중복성을 피한다.
2. 강건성: 정보가 일시적으로 가려지는 비마르코프적 역학을 처리할 수 있게 한다.
3. 확장성: 시뮬레이션과 실제 양팔 로봇 과업 모두에서 우수한 성능을 보여주며, 기존의 메모리 증강 VLA보다 월등히 뛰어난 성능을 입증한다.

저자들은 제한된 이벤트 버퍼가 이벤트 밀도가 매우 높은 극단적으로 긴 지평의 과업에서는 확장성을 제한할 수 있지만, 제안된 프레임워크가 메모리 효율적인 장기 로봇 제어를 위한 새로운 패러다임을 구축한다고 결론짓는다.