기술 요약: NativeMEM – 장기 지평 로봇 조작을 위한 네이티브 메모리 압축

1. 문제 정의

사전 학습된 시각-언어-행동(Vision-Language-Action, VLA) 모델은 체화된 의사결정 분야에서 유망한 가능성을 보여주었으나, 근본적으로 반응적인 성격으로 인해 한계를 가집니다. 대부분의 기존 VLA는 현재의 관측값과 언어 지시문에만 행동을 조건화하며, 장기적인 시각적 이력을 보유하는 능력은 부족합니다. 이러한 한계는 물체의 개수를 추적하거나, 가려진 상태를 기억하거나, 실패한 시도를 회상하거나, 작업 진행 상황을 모니터링하는 것과 같이 과거의 상호작용에 따라 올바른 행동이 결정되는 비마르코프(non-Markovian) 조작 작업에서 매우 치명적입니다.

현재의 메모리 증강 접근 방식은 다음과 같은 상당한 트레이드오프에 직면해 있습니다:

• VLM 기반 메모리: 외부의 고수준 시각-언어 모델(VLM)을 사용하여 텍-스트 기반의 노트나 하위 작업을 생성하는 방식은 비용이 많이 드는 주석(annotation)을 요구하며, 언어로 미세한 시각적 세부 사항을 충실하게 인코딩하는 데 어려움을 겪습니다.
• 외부 메모리 모듈: VLA 내부로 새롭게 초기화된 메모리 모듈(예: 순환 상태, 검색 뱅크)을 도입하는 방식은 아키텍처의 복잡성을 증가시킵니다. 이러한 모듈은 VLA의 사전 학습 과정에서 관찰되지 않았기 때문에, 사전 학습된 정책의 성능을 저하시킬 위험이 있으며 "압축 딜레마"를 야기합니다. 즉, 압축이 불충분하면 계산 비용이 높아지고, 과도하면 행동에 중요한 세부 정보를 버리게 됩니다.

핵심 과제는 VLA가 사전 학습된 정책의 토큰 공간 및 어텐션 메커니즘과 완전히 호환되면서도, 최소한의 메모리 비용으로 정교한 장기 시각 이력을 보유할 수 있는 메커니즘을 설계하는 것입니다.

2. 방법론: NativeMEM

저자들은 외부 플래너나 새로운 메모리 모듈 없이, 사전 학습된 모델의 아키텍처 내에 장기적이고 실시간으로 업데이트되는 메모리를 직접 통합하는 VLA 정책인 NativeMEM을 제안합니다. 핵심 혁신은 **네이티브 메모리 압축(Native Memory Compression)**입니다.

2.1 네이티브 메모리 압축

별도의 메모리 아키텍처를 도입하는 대신, NativeMEM은 VLA 고유의 비전 인코더를 재사용하여 모든 카메라 뷰의 각 과거 프레임을 단일 네이티브 메모리 토큰으로 압축합니다.

• 단일 토큰 압축: 각 프레임-뷰 쌍은 하나의 토큰($M=1$)으로 요약되어, 전체 시각 토큰을 유지할 때보다 시퀀스 길이를 획기적으로 줄입니다.
• 네이티브 통합: 이 토큰들은 현재 관측치와 동일한 시각적 경로를 통해 생성되며, 원래의 토큰 시퀀스에 추가됩니다. 이를 통해 사전 학습된 VLA는 기존의 어텐션 메커화를 사용하여 장기 이력에 주목할 수 있으며, 이 토큰들을 외부 상태가 아닌 "네이티브 시각 증거"로 해석하게 됩니다.

2.2 2단계 학습 파이프라인

이러한 압축된 토큰이 정보가 풍부하면서도 사전 학습된 정책과 정렬되도록 하기 위해, 저자들은 2단계 학습 과정을 도입합니다.

1. 1단계: 일반적인 메모리 토크나이저 학습 (행동 감독 방식)

   • 사전 학습된 VLA는 **동결(frozen)**됩니다.
   • VLA의 네이티브 비전 인코더로부터 초기화된 메모리 토크나이저가 과거 관측치를 압축하도록 학습됩니다.
   • 목적: 토크나이저는 VLA의 원래 **행동 예측 손실(action prediction loss)**을 사용하여 최적화됩니다. 이는 압축된 토큰이 "재구성 감독(reconstruction-supervised)"(불필요한 시각적 세부 사항을 유지할 수 있음)이 아닌 "행동 감독(action-supervised)"(행동 예측에 유의미한 정보를 인코딩함)되도록 보장하기 위함입니다.
   • 데이터: 토크나이저는 일반적인 조작 데이터와 메모리가 요구되는 작업의 혼합 데이터를 사용하여 VLA의 토큰 공간과 정렬된 일반적인 표현을 학습합니다.

2. 2단계: 작업 특화 파인튜닝

   • 학습된 메모리 토크나이저는 동결됩니다.
   • VLA 백본과 행동 헤드는 **언프리즈(unfrozen)**되어 제한된 데모를 사용하여 특정 타겟 작업에 대해 파인튜닝됩니다.
   • 입력: 입력 시퀀스는 현재 관측치, 언어 지시문, 고유 수용 감각 상태(proprioceptive state), 그리고 캐싱된 메모리 토큰으로부터 파생되어 추가된 시퀀스로 구성됩니다.
   • 이 단계는 단일 프레임 VLA를 최소한의 작업 특화 데이터를 사용하여 메모리 증강 정책으로 변환합니다.

2.3 실시간 추론

배포 중에는 메모리 토크나이저가 VLA 정책과 독립적으로 작동합니다. 새로운 관측치가 도착함에 따라, 토크나이저는 높은 빈도(예: 10Hz 이상)로 관측치를 메모리 토큰으로 변환합니다. VLA 정책은 단순히 최신 압축 메모리 큐를 입력 토큰에 결합하기만 하면 됩니다. 이러한 디커플링(decoupling)은 무시할 수 있는 수준의 레이턴시 오버헤드로 분 단위의 이력 유지를 가능하게 합니다.

3. 주요 기여

• 네이티브 메모리 압축: VLA의 기존 비전 인코더를 사용하여 역사적 프레임을 단일 토큰으로 압축함으로써, 외부 메모리 모듈이나 플래너가 필요 없는 새로운 스킴을 제시했습니다.
• 행동 감독 토크나이징: VLA의 행동 예측 목적 함수를 통해 메모리 표현을 직접 학습하는 훈련 전략을 통해, 압축된 이력이 의사결정에 유의미하도록 보장했습니다.
• 효율적인 장기 지평 유지: 이 방법은 낮은 추론 레이턴시와 GPU 메모리 사용량을 유지하면서도, 이전 방식들보다 9배에서 40배 더 긴 호리즌(160 프레임 이상)에 대한 어텐션을 가능하게 합니다.
• 높은 데이터 효율성: 이 접근 방식은 기존의 최첨단 방법들과 경쟁할 만한 성능을 단 20%의 훈련 데이터만 사용하여 달성했습니다.

4. 실험 결과

저자들은 시뮬레이션과 실제 환경 모두에서 메모리 의존적 조작 작업에 대해 NativeMEM을 평가했습니다.

• 시뮬레이션 성능: RMBench 작업 및 버튼 누르기 작업을 포함한 벤치마크에서, NativeMEM은 평균 **84.0%**의 성공률을 기록하며 최상의 베이스라인(Mem-0, 32.4%) 및 기타 메모리 증강 방식들을 크게 앞질렀습니다.
• 실제 환경 성능: 실제 로봇에서 NativeMEM은 세 가지 작업(버튼 클릭, 블록 되돌려 놓기, 식료품 체크아웃 스캐닝)에 대해 **98.7%**의 성공률을 달s성했습니다. 특히, 첫 번째 단계의 토크나이저 학습 시 본 적 없는(unseen) "식료품 체크아웃 스캐닝" 작업에서도 우수한 성능을 보여 강력한 일반화 능력을 입증했습니다.
• 효율성:
  • 추론: NativeMEM은 32GB 메모리 예산 내에서 최대 5,000개의 역사적 프레임을 지원하며, 실시간 반응성(약 200 프레임에 대해 100ms 미만의 레이턴시)을 유지합니다.
  • 데이터: 단 10개의 데모만으로 NativeMEM은 60%의 평균 성공률에 도달하여, Mem-0보다 3.5배 높은 성능을 보였습니다.
• 어블레이션 연구(Ablation Studies):
  • 2단계 훈련(토크나이저 학습 중 VLA를 언프리즈하는 것)을 제거했을 때 성능이 23.2%로 떨어졌으며, 이는 사전 학습된 프라이어를 보존하기 위해 VLA를 동결하는 것이 필수적임을 강조합니다.
  • 일반적인 시각적 특징(평균 풀링)을 학습된 네이티브 토큰 대신 사용했을 때, 미세한 세부 사항이 필요한 작업(예: 블록 되돌려 놓기)에서 실패가 발생했습니다.
  • 희소한 업데이트(sparse updates)나 짧은 호리즌은 성능을 크게 저하시켜, 조밀하고 장기적인 커버리지가 필요함을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 NativeMEM이 VLA의 기존 비전 인코더를 재사용함으로써 장기 지평 조작을 위한 통합된 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 호환성: 아키텍처 변경이나 외부 모듈 없이도 사전 학습된 단일 프레임 VLA가 장기 이력에 접근할 수 있게 하여, 정책의 "네이티브"한 성격을 보존합니다.
2. 확장성: 이력을 프레임당 단일 토큰으로 압축함으로써, 트랜스포머에서 메모리 유지를 제한하는 컨텍스트 길이 및 계산 병목 현상을 극복합니다.
3. 실용성: 최소한의 파인튜닝 데이터와 낮은 계산 오버헤드로 실제 로봇에서 복잡한 메모리 의존적 작업을 해결할 수 있음을 입증했습니다.

저자들은 본 시스템이 몇 시간 또는 며칠 동안 지속되는 메모리를 위해 설계된 것은 아니며, 행동 감독에 대한 의존도가 향후 더 복잡한 작업에서의 매우 추상적인 메모리 요구 사항에 대해 의미론적 격차(semantic gap)를 만들 수 있다는 점을 언급하며 한계를 인정했습니다. 그러나 NativeMEM이 반응적인 VLA 정책과 장기 지평 로봇 조작의 필요성 사이의 간극을 효과적으로 메운다고 주장합니다.