기술 요약: 압축된 행동 메모리 정책 (Compressed Action Memory Policy, CAMP)

문제 정의

장기적(long-horizon)이고 접촉이 빈번한(contact-rich) 로봇 조작 작업은 본질적으로 부분 관측 가능(partially observable) 상태입니다. 이러한 시나리오에서 단일 시각적 관찰은 이전의 시도, 물리적 상호작ation, 또는 현재 작업 진행 단계와 같은 로봇의 전체 행동 맥락을 포착하기에 충분하지 않습니다. 결과적으로, 표준 비주오모터(visuomotor) 정책 및 시각-언어-행동(VLA) 모델은 시각적으로는 동일해 보이지만 상호작용 이력은 다른 상태를 구분하지 못하는 '건망증' 현상을 겪으며, 모호한 신호에 기반하여 동작하게 됩니다.

기존 솔루션들은 다음과 같은 중대한 한계에 직과합니다:

• 메모리 없는 정책 (Memoryless Policies): 접촉이 빈번한 환경에서 진행 상황을 추적하거나 실패한 시도로부터 학습하는 데 실패합니다.
• VLA 기반 접근 방식: 무엇을 기억할지 지시하기 위해 번거롭고 확장성이 낮은 인간의 프롬프팅이 필요하거나, 고차원의 미래/과거 시각적 관찰을 예측하는 데 의존해야 하는데, 이는 계산 비용이 매우 높고 작업과 무관한 세부 사항까지 학습할 위험이 있습니다.
• 시각적 메모리 (Visual Memory): 시각적 토큰 메모리나 키프레임 검색에 의존하는 방법은 중요한 정보가 시각적 외형이 아닌 물리적 접촉 이력에 인코딩되어 있을 때 어려움을 겪습니다.

방법론: 압축된 행동 메모리 정책 (CAMP)

CAMP는 로봇 자신의 **행동 이력(action history)**을 매우 유익한 자기 지도 학습(self-supervised) 신호로 활용하여 이러한 과제를 해결합니다. 핵심 통찰은 과거의 행동을 재구성하는 법을 학습함으로써, 정책이 부분 관측 가능한 상태를 구별하는 데 필요한 가장 결정적인 행동 정보만을 자연스럽게 추출하고 유지할 수 있다는 것입니다.

CAMP 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 메모리 모듈 사전 학습 (자기 지도 학습)

재귀적 메모리 모듈(2층 LSTM으로 구현)이 상호작용 이력을 요약하도록 사전 학습됩니다.

• 입력: 모듈은 관찰-행동 쌍을 처리하며, 특히 일관된 공간 참조를 위해 고정된 제3자 시점 카메라와 고유 수용성 감각(proprioception)을 활용합니다.
• 목표: 모듈은 가공되지 않은 행동 시퀀스를 암기하는 대신, **이산 코사인 변환(Discrete Cosine Transform, DCT)**을 사용하여 과거 행동 궤적의 압축된 표현을 예측합니다.
• 손실 함수: 학습 목표는 다음을 결합합니다:
  • 재구성 손실 ($L_{rec}$): 주파수 영역에서의 DCT 계수 예측을 감독합니다. 주파수 가중치를 통해 고주파 계수의 비중을 낮춤으로써, 메모리가 단계별 노이즈는 버리고 궤적의 저주파 구조(형태)를 포착하도록 강제합니다.
  • 시간적 일관성 ($L_{cons}$): 에피소드가 진행됨에 따라 고정된 과거 행동의 재구성이 일관되게 유지되도록 하여, 메모리 계정이 표류(drift)하는 것을 방지합니다.
• 결과: 은닉 상태 $h_t$는 단순한 원시 버퍼가 아니라 행동 이력의 압축된 잠재적 요약본이 됩니다.

2. 이산화 (벡터 양자화)

일반화 성능을 높이기 위해, 연속적인 은닉 상태 $h_t$를 **벡터 양자화기(Vector Quantizer, VQ)**를 사용하여 이산화합니다.

• 상태는 학습된 코드북의 가장 가까운 항목으로 매핑됩니다.
• 이 이산화 과정은 메모리가 미세한 궤적의 정체성보다는 거친 입도의 행동 상태를 인코딩하도록 강제하며, 저자들은 이것이 다양한 데모 간의 일반화에 결정적임을 발견했습니다.
• 양자화된 상태는 행동 헤드로 전달되는 유일한 이력 신호인 메모리 코드 $m_t$로 투영됩니다.

3. 디퓨전 행동 헤드 (Diffusion Action Head)

행동 헤드는 미래의 행동 묶음(chunk)을 예측하는 디퓨전 정책 프레임워크를 따릅니다.

• 조건화 (Conditioning): 디퓨전 모델은 시각적 특징(제3자 및 손목 카메라 모두에서 추출), 고유 수용성 감각, 그리고 이산화된 메모리 코드 $m_t$의 결합에 조건화됩니다.
• 학습 일정: 단계적인 웜업 후 미세 조정(warm-up-then-finetune) 일정이 적용됩니다. 메모리 모듈을 사전 학습시킨 후 동결한 상태에서 행동 헤드가 이에 적응하도록 학습시키며, 그 후 메모리의 동결을 해제하고 행동 헤드와 공동으로 미세 조정합니다. 이는 행동 손실이 사전 학습 중에 설치된 장기적 정보를 침식하는 것을 방지합니다.

주요 기여

1. 자기 지도 학습 기반 메모리 공식화: 외부 감독 없이도 작업 관련 행동 메모리를 포착하기 위해, DCT 압축을 통한 행동 이력 재구성을 도입하여 확장 가능한 자기 지도 학습 신호를 제시했습니다.
2. CAMP 아키텍처: (DCT 압축을 통해 학습된) 재귀적 메모리 모듈과 디퓨전 정책을 통합하여, 부분 관측 가능한 환경에서 장기적이고 접촉이 빈번한 조작을 가능하게 하는 새로운 프레임워크를 제안합니다.
3. 새로운 벤치마크: 진행 상황 추적 및 실패로부터의 학습을 평가하기 위해 설계된 Memory-T-Bench(2D 접촉 풍부 푸싱)와 Memory-Manip-Bench(3D 시각 기반 조작)를 공개합니다.
4. 광범위한 검증: 시뮬레이션 및 4개의 실제 로봇 설정에 걸쳐 최첨단 베이스라인 대비 CAMP의 우수성을 실증적으로 입증했습니다.

실험 결과

시뮬레이션 벤치마크

• Memory-T-Bench: CAMP는 부분 관측 변형 모델에서 메모리가 없는 디퓨전 정책(DP)보다 크게 앞섭니다.
  • Multi-Goals: 94.0% (CAMP) vs. 56.0% (DP).
  • Swap-Shuffle: 92.0% (CAMP) vs. 48.0% (DP).
  • 완전 관측 가능한 작업(표준 Push-T)에서 CAMP는 DP와 유사한 성능(98.0% vs. 94.0%)을 보였으며, 이는 메모리가 필요하지 않을 때 성능 저하가 없음을 입증합니다.
• Memory-Manip-Bench: CAMP는 평균 성공률 **64.3%**를 달성하여, 가장 강력한 베이스라인인 DP(40.9%)를 23% 이상 앞질렀습니다. 특히 상태 회상이 필요한 작업(예: Swap-Block: 86.0% vs. 18.0%)에서 가장 큰 격차를 보이며 7개 작업 중 6개에서 우위를 점했습니다.
• 데이터 효율성: CAMP의 성공률은 데모 수가 증가함에 따라(80개에서 320개로 증가 시 42%에서 94%로) 단조 증가하는 반면, 메모리 없는 정책은 일관된 이득을 보이지 못했습니다. 이는 메모리 없는 정책의 병목 현상이 데이터 양이 아닌 부분 관측 가능성에 있음을 나타냅니다.

실제 로봇 실험

Push-T-Multi-Goals, Swap-Can, Wipe-Plate, Probe-Insert의 네 가지 작업에 대해 평가되었습니다.

• 베이스라인: 모든 메모리 없는 베이스라인(ACT, DP, $\pi^{0.5}$, MemoryVLA)은 Push-T-Multi-Goals, Swap-Can, Wipe-Plate에서 0/10의 성공률을 기록하며 무너졌습니다.
• CAMP: 세 가지 작업 모두에서 7/10의 성공률을 달성했으며, Probe-Insert에서는 11/15를 달성했습니다.
• 실패 모드: 베이스라인들은 목표 사이에서 진동하거나, 부분적인 스왑 후 멈추거나, 무한 루프(브러시/플레이트 재사용)에 빠지는 등의 이유로 실패했습니다(이는 어떤 하위 목표가 완료되었는지 추적하지 못했기 때문입니다). CAMP는 과거의 상호작용을 기억함으로써 이를 성공적으로 해결했습니다.

절제 연구 (Ablation Studies)

• 이산화 (Discretization): 벡터 양자화를 제거하면 성능이 하락(94% $\to$ 60%)하여, 거친 행동 상태가 미세한 궤적 정체성보다 더 잘 일반화됨을 확인했습니다.
• 압축 (Compression): DCT를 원시 웨이포인트(raw waypoints)나 DFT로 교체하면 성능이 감소하며, 이는 저주파 압축의 필요성을 강조합니다.
• 학습 일정: 처음부터 공동 학습(66%)하거나 사전 학습 후 즉시 미세 조정(46%)하는 방식은 실패했습니다. 웜업 후 미세 조정 일정이 사전 학습된 메모리를 유지하면서 정책에 적응시키는 데 필수적입니다.
• 재구성 vs. 효용성 (Reconstruction vs. Utility): 미세 조정된 메모리는 더 높은 정책 성공률(94%)을 달지만, 사전 학습된 메모리(0.35)보다 더 나쁜 재구성 손실(1.46)을 보입니다. 이는 정책이 완벽한 과거 재구성이 아닌, 의사 결정에 부합하는 압축된 요약을 필요로 함을 나타냅냅니다.

의의 및 주장

본 논문은 CAMP가 저자들이 아는 바로는 학습된 메모리만을 통해 접촉 풍부하고 부분 관측 가능한 조작 작업에서 상당한 성공을 입증한 최초의 정책이라고 주장합니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

• 메모리는 부분 관측 가능성을 해결합니다: 행동 이력을 압축함으로써, CAMP는 부분 관측 문제를 정책을 위한 효과적인 마르코프(Markovian) 문제로 전환합니다.
• 자기 지도 학습만으로 충분합니다: 로봇은 명시적인 작업 레이블이나 인간의 프롬프팅 없이도 자신의 행동 이력으로부터 강력한 행동 메모리를 학습할 수 있습니다.
• 확장성: 이 방식은 시각적 예측의 계산 비용이나 수동 프롬프트 엔지니어링의 확장성 문제를 피합니다.

저자들은 한계점으로, 이 방법이 여전히 극도로 긴 호흡의 메모리 요구 사항에는 어려움이 있으며, 이를 정교한 조작(dexterous manipulation)으로 확장하는 것이 향로적인 과제로 남아 있다고 언급했습니다.