Gated Memory Policy

1. 문제 정의 (Problem Statement)

로봇 조작 (Robotic Manipulation) 작업은 메모리 요구 사항이 매우 다양합니다.

• 마르코프성 (Markovian) 작업: 현재 상태만으로 결정이 가능하여 과거 정보가 필요 없는 작업 (예: 단순 픽 앤 플레이).
• 비마르코프성 (Non-Markovian) 작업: 과거의 행동이나 관측 이력을 기반으로 결정해야 하는 작업. 이는 단일 실행 내의 맥락 (in-trial memory) 이나 여러 번의 시도 간에 축적된 정보 (cross-trial memory) 를 필요로 합니다.

기존 방법의 한계:

1. 성능 저하: 단순히 관측 이력 (observation history) 을 길게 늘리는 것은 마르코프성 작업에서 성능을 급격히 떨어뜨립니다. 이는 입력 차원의 증가로 인한 **과적합 (Overfitting)**과 훈련/배포 간의 분포 이동 (Distribution Shift) 때문입니다.
2. 계산 비용: 긴 이력을 처리할 경우 트랜스포머 기반의 자기 주의 (self-attention) 메커니즘은 이력 길이에 따라 제곱 ($O(H^2)$) 으로 계산 비용이 증가하여 비효율적입니다.
3. 노이즈 민감도: 훈련 시 깨끗한 이력 데이터를 사용하다 보면, 추론 시 노이즈가 있거나 부정확한 과거 데이터에 과도하게 의존하여 실패할 수 있습니다.

따라서, "언제 (When)" 메모리를 불러와야 하는지, 그리고 "무엇을 (What)" 효율적으로 불러와야 하는지를 학습할 수 있는 새로운 정책 설계가 필요합니다.

2. 제안 방법: 게이트드 메모리 정책 (Gated Memory Policy, GMP)

GMP 는 시각 - 모션 (visuomotor) 정책이 필요에 따라 메모리를 선택적으로 불러오고, 이를 효율적으로 활용하는 프레임워크입니다.

핵심 구성 요소

1. 학습된 메모리 게이트 (Learned Memory Gate):

   • 목적: "언제" 메모리를 불러올지 결정.
   • 동작: 현재 관측 ($I_t$) 과 로봇의 고유 감각 ($P_t$) 을 MLP 를 통해 입력받아 시그모이드 활성화 함수를 적용한 이진 게이트 값 ($\mu_t \in \{0, 1\}$) 을 생성합니다.
   • 효과: 불필요한 메모리 참조를 차단하여 마르코프성 작업에서의 성능 저하를 방지하고, 추론 속도를 높입니다.

2. 크로스 어텐션 모듈 (Cross-Attention Module):

   • 목적: "무엇을" 불러올지 효율적으로 결정.
   • 동작: 전체 히스토리를 시퀀스로 연결하는 대신, 캐시된 히스토리 토큰 (이미지 특징 및 행동 토큰) 에 대해 크로스 어텐션을 수행합니다.
   • 효율성: 히스토리 길이에 대해 선형 ($O(H)$) 으로 계산 복잡도가 증가하며, 불필요한 히스토리 내 상호작용 계산을 제거합니다.

3. 확산 노이즈 주입 (Diffusion Noise Augmentation):

   • 목적: 히스토리 노이즈에 대한 강건성 (Robustness) 향상.
   • 동작: 훈련 및 추론 시 과거 행동 데이터에 확산 (Diffusion) 스케줄에 따른 노이즈를 주입합니다.
   • 효과: 모델이 깨끗한 과거 데이터에만 의존하지 않도록 하여, 실제 환경에서의 오차 누적이나 노이즈에 강인하게 만듭니다.

4. 메모리 게이트 보정 (Memory Gate Calibration):

   • 문제: 엔드 투 엔드 (End-to-End) 학습 시 게이트가 과적합을 피하기 위해 메모리를 과도하게 사용하거나 (마르코프성 작업 저하), 반대로 너무 자주 꺼지는 문제가 발생합니다.
   • 해결: 검증 세트 (Validation Set) 에서 '메모리 사용 정책 ($\pi_{mem}$)'과 '메모리 미사용 정책 ($\pi$)'의 행동 예측 오차를 비교합니다.
     • 메모리 미사용 정책의 오차가 메모리 사용 정책보다 임계값 ($\theta$) 이상 크다면, 해당 시점을 "메모리 필요 ($\mu_t=1$)"로 레이블링합니다.
     • 이렇게 생성된 레이블로 게이트를 독립적으로 보정 (Calibration) 한 후, 전체 데이터셋으로 정책을 재학습합니다.

3. 주요 기여 (Key Contributions)

1. Gated Memory Policy (GMP) 프레임워크:

   • 마르코프성 작업의 성능을 유지하면서 비마르코프성 작업 (단일 실행 내 및 다중 시도 간 메모리) 을 효과적으로 수행하는 효율적이고 실용적인 정책.
   • 필요 시에만 메모리를 활성화하여 강건성과 반응성을 동시에 확보.

2. MemMimic 벤치마크:

   • 기존 벤치마크가 간과했던 다중 시도 간 메모리 (Cross-trial memory) 작업과 실제 환경 (In-the-wild) 데이터를 포함한 새로운 평가 기준.
   • 물리적 속성 (마찰계수, 질량 등) 을 추론하고 적응해야 하는 복잡한 작업들을 포함.

3. 종합적인 실증 연구:

   • 시뮬레이션 및 실제 로봇 환경에서의 광범위한 실험을 통해 메모리 관련 설계 선택이 성능, 강건성, 계산 효율성에 미치는 영향을 분석.

4. 실험 결과 (Results)

• 비마르코프성 작업 (MemMimic):
  • 제안된 GMP 는 긴 이력을 사용하는 기존 베이스라인 (Long-history baselines) 대비 평균 30.1% 의 성공률 향상을 보였습니다.
  • 특히 'Iterative Pushing', 'Iterative Flinging', 'Iterative Casting'과 같이 과거 실패/성공 경험을 통해 물리적 속성을 추론해야 하는 작업에서 뛰어난 적응 능력을 입증했습니다.
• 마르코프성 작업 (RoboMimic):
  • 메모리가 필요 없는 작업에서도 게이트가 꺼진 상태로 작동하여, 기존 Diffusion Policy 와 경쟁력 있는 성능을 유지했습니다. (긴 이력을 단순히 늘린 방법들은 성능이 크게 저하됨)
• 계산 효율성:
  • 게이트가 꺼진 상태에서는 히스토리 어텐션을 완전히 생략하여 추론 시간을 일정하게 유지하며, 게이트가 켜진 상태에서도 선형 복잡도로 인해 기존 방법보다 훨씬 빠릅니다.
• 강건성:
  • 노이즈가 주입된 히스토리 데이터에 대한 실험을 통해, GMP 가 노이즈가 있는 환경에서도 안정적으로 작동함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 학습 분야에서 **"메모리의 필요성"**과 **"메모리의 효율적 활용"**이라는 두 가지 핵심 문제를 해결했습니다.

• 실용성: 단순히 이력을 늘리는 것이 아니라, 언제 메모리가 필요한지 스스로 판단하는 메커니즘을 도입함으로써, 복잡한 실제 환경에서의 로봇 배포 가능성을 높였습니다.
• 효율성: 계산 비용을 줄이면서도 장기적인 의존성을 학습할 수 있어, 실시간 로봇 제어에 적합합니다.
• 미래 방향: 제한된 어텐션 창 (Window) 내에서 중요한 정보를 선택적으로 캐싱하거나 교체하는 전략 등, 더 긴 시퀀스를 다루기 위한 후속 연구의 기반을 마련했습니다.

결론적으로 GMP 는 로봇이 과거 경험을 지능적으로 활용하면서도, 불필요한 정보로 인해 성능이 떨어지지 않도록 하는 적응형 메모리 메커니즘의 새로운 표준을 제시합니다.