ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems

ELMUR 은 각 레이어가 LRU 기반의 외부 메모리를 통해 장기 의존성을 효과적으로 관리하도록 설계된 트랜스포머 아키텍처로, 부분 관측성과 긴 시간 범위를 가진 복잡한 로봇 제어 및 의사결정 과제에서 기존 방법론을 크게 능가하는 성능을 입증했습니다.

핵심

이 논문은 **"ELMUR"**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 로봇이나 게임 캐릭터가 아주 긴 시간 동안 복잡한 일을 할 때, 과거의 중요한 정보를 잊지 않고 기억할 수 있도록 도와주는 기술입니다.

기존의 인공지능은 "지금 보고 있는 것"만 기억하는 경우가 많아서, 1000 걸음 전에 본 단서를 잊어버리고 실수를 하곤 했습니다. ELMUR 은 이 문제를 해결하기 위해 **특별한 '외부 메모리'**를 장착했습니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "소금 넣기 실수"

논문 도입부에서 아주 재미있는 예시를 들었습니다.

"로봇이 파스타를 만들고 있습니다. 소금을 넣고, 저어주고, 나중에 다시 소금을 넣습니다. 로봇은 소금이 이미 들어갔는지, 혹은 얼마나 더 넣어야 하는지 기억하지 못해서 결국 소금에 절인 파스타를 만들어냅니다."

왜 그럴까요? 로봇은 **지금 눈앞에 보이는 것 (Partial Observability)**만 보고 결정하기 때문입니다. 소금이 녹아서 보이지 않으면, 로봇은 "아까 소금을 넣었나?"라는 질문을 할 수 있는 기억이 없습니다.

2. ELMUR 의 해결책: "지혜로운 도서관 사서"

기존의 인공지능 (변환기 모델 등) 은 단순한 메모장처럼 작동합니다. 페이지가 꽉 차면 가장 오래된 정보를 지워버립니다. 하지만 ELMUR 은 지혜로운 도서관 사서처럼 작동합니다.

• 층별 외부 메모리 (Layer-Local Memory):
  ELMUR 은 뇌의 각 층마다 작은 개인용 메모장을 하나씩 가지고 있습니다. 모든 층이 각자 중요한 정보를 따로 저장하고 공유합니다.
• LRU (최소 사용 빈도) 관리 시스템:
  이것이 ELMUR 의 핵심입니다. 사서는 메모장이 꽉 차면, 가장 오랫동안 한 번도 안 쓴 (Least Recently Used) 페이지를 찾아냅니다.
  • 새로운 정보: 아주 중요한 새로운 정보가 오면, 오랫동안 안 쓴 페이지를 지우고 그 정보를 적습니다.
  • 혼합 (Blending): 만약 그 페이지에 아주 오래된 중요한 정보가 있다면, 그냥 지우지 않고 새 정보와 섞어서 (Convex Blending) 업데이트합니다. 마치 오래된 레시피에 새로운 팁을 추가하는 것과 같습니다.

이 방식 덕분에 ELMUR 은 100,000 배 더 긴 시간 동안 정보를 기억할 수 있습니다.

3. 어떻게 작동할까요? (독서와 필기)

ELMUR 은 두 가지 행동을 반복합니다.

1. 읽기 (mem2tok): 현재 상황을 판단할 때, 과거의 메모장을 뒤져서 "아, 1000 걸음 전에 빨간색을 봤었지?"라고 정보를 찾아옵니다.
2. 쓰기 (tok2mem): 새로운 중요한 정보를 발견하면, 메모장의 가장 오래된 페이지를 찾아 그 정보를 적어 넣습니다.

이때 LRU가 "어떤 페이지를 지울지"를 결정해주기 때문에, 메모리가 꽉 차도 중요한 정보는 계속 살아남습니다.

4. 실험 결과: 얼마나 잘할까요?

논문은 ELMUR 이 얼마나 뛰어난지 세 가지 테스트로 증명했습니다.

• 미로 탈출 (T-Maze):
  로봇이 100 만 걸음이나 되는 긴 미로를 걸어가야 합니다. 시작점에 있는 단서를 기억하고 끝에 가서 올바른 길을 선택해야 합니다.
  • 결과: ELMUR 은 100% 성공률을 기록했습니다. 다른 모델들은 100 걸음만 지나도 잊어버렸지만, ELMUR 은 100 만 걸음 후에도 기억했습니다.
• 로봇 조종 (MIKASA-Robo):
  로봇 팔로 물건을 잡거나 색깔을 기억하는 작업입니다.
  • 결과: 기존 최고의 모델보다 성공률이 거의 2 배나 높아졌습니다. 특히 23 개 작업 중 21 개에서 1 위를 차지했습니다.
• 퍼즐 게임 (POPGym):
  복잡한 규칙과 기억력을 요구하는 48 가지 퍼즐 게임입니다.
  • 결과: 절반 이상의 게임에서 다른 모델들을 압도했습니다.

5. 요약: 왜 이것이 중요한가요?

지금까지의 인공지능은 **"지금 당장 보이는 것"**에만 집중하는 경향이 있었습니다. 하지만 현실 세계 (로봇, 자율주행, 복잡한 게임) 는 오래된 정보가 나중에 결정에 영향을 미치는 경우가 많습니다.

ELMUR은 마치 **"과거의 경험을 체계적으로 정리해두는 지혜로운 사서"**처럼 작동하여, 인공지능이 아주 긴 시간 동안에도 중요한 정보를 잊지 않고, 더 똑똑하게 행동할 수 있게 해줍니다.

이 기술이 발전하면, 소금을 너무 많이 넣지 않는 로봇 요리사나, 아주 긴 미로를 헤매지 않고 목적지에 도달하는 자율주행 로봇을 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 부분 관측 가능성과 장기 의존성: 실제 세계의 로봇 에이전트는 환경의 완전한 상태를 직접 관찰할 수 없으며 (POMDP), 중요한 단서 (Cue) 가 결정 시점보다 훨씬 이전에 나타날 수 있습니다. 예를 들어, 파스타에 소금을 넣은 후 나중에 다시 넣지 않도록 기억해야 하는 경우와 같습니다.
• 기존 모델의 한계:
  • RNN/Transformer: 표준 순환 신경망 (RNN) 이나 트랜스포머는 짧은 관찰 창 (Context Window) 에 의존합니다. 트랜스포머의 경우 컨텍스트 윈도우를 늘리면 계산 비용이 제곱 ($O(N^2)$) 으로 증가하며, 창을 잘라내면 (Truncation) 과거 정보가 손실되어 장기 기억이 불가능해집니다.
  • 메모리 확장: 기존 메모리 증강 모델들은 확장성 (Scale) 과 희소성 (Sparsity) 문제 하에서 장기 의존성을 효과적으로 유지하지 못했습니다.
• 핵심 질문: 어떻게 효율적인 장기 기억을 갖춘 IL(모방 학습) 정책을 설계하여 부분 관측 가능성 하의 장기 과제를 해결할 수 있을까요?

2. 제안 방법론: ELMUR (Methodology)

**ELMUR (External Layer Memory with Update/Rewrite)**는 각 트랜스포머 레이어에 구조화된 외부 메모리를 통합한 아키텍처입니다.

핵심 구성 요소

1. 레이어 로컬 외부 메모리 (Layer-Local External Memory):

   • 각 트랜스포머 레이어는 토큰 처리 경로 (Token Track) 와 병렬로 실행되는 별도의 **메모리 트랙 (Memory Track)**을 가집니다.
   • 메모리는 시퀀스 (Segment) 간에 지속되며, 각 레이어가 독립적으로 자신의 메모리를 관리합니다.

2. 양방향 교차 어텐션 (Bidirectional Cross-Attention):

   • mem2tok (Read): 토큰이 메모리에서 정보를 읽습니다. 메모리 임베딩이 키 (Key) 와 값 (Value) 으로 작용하여 토큰 표현을 풍부하게 합니다.
   • tok2mem (Write): 토큰이 메모리에 새로운 정보를 기록합니다. 메모리 임베딩이 쿼리 (Query) 로 작용하여 토큰의 상태를 업데이트합니다.
   • 상대적 편향 (Relative Bias): 절대적인 시간 인덱스 대신 토큰과 메모리 엔트리 간의 상대적 시간 거리를 인코딩하는 학습 가능한 편향을 사용하여 긴 시간 간격에서도 일관된 상호작용을 보장합니다.

3. LRU 기반 메모리 업데이트 (LRU Update Rule):

   • Least Recently Used (LRU): 메모리 슬롯의 용량이 제한되어 있으므로, 가장 최근에 사용되지 않은 슬롯을 선택하여 업데이트합니다.
   • 교차 혼합 (Convex Blending): 메모리가 가득 찬 경우, 새로운 내용을 기존 메모리와 $\lambda$ (블렌딩 파라미터) 비율로 혼합하여 덮어씁니다.
     • $m_{new} = \lambda \cdot \text{content} + (1-\lambda) \cdot m_{old}$
   • 초기화: 메모리가 비어 있는 슬롯이 있으면 완전히 교체 (Full Replacement) 합니다.
   • 이 메커니즘은 메모리 용량을 유한하게 유지하면서도 중요한 정보를 장기적으로 보존합니다.

4. 세그먼트 수준의 재귀 (Segment-Level Recurrence):

   • 무한한 시퀀스를 한 번에 처리하는 대신 시퀀스를 세그먼트로 나누어 처리합니다. 각 세그먼트가 끝날 때 메모리 상태가 다음 세그먼트로 전달되며, 이는 RNN 과 유사한 재귀적 구조를 형성합니다.

3. 주요 기여 (Key Contributions)

1. ELMUR 아키텍처 제안: 레이어 로컬 외부 메모리, 양방향 토큰 - 메모리 교차 어텐션, 그리고 LRU 기반의 업데이트 규칙을 결합한 새로운 트랜스포머 아키텍처를 제안했습니다.
2. 이론적 분석: LRU 기반 메모리 동역학에 대한 이론적 분석을 통해 기억 반감기 (Half-life), 유지 시간 (Retention Horizon), 그리고 **메모리 임베딩의 유계성 (Boundedness)**에 대한 공식적 보증을 제공했습니다.
   • 메모리 유지 시간은 메모리 슬롯 수 ($M$) 와 세그먼트 길이 ($L$) 에 선형적으로 비례하여 확장됨을 증명했습니다.
3. 실험적 검증: 합성 작업, 로봇 조작, 퍼즐/제어 작업 등 다양한 부분 관측 가능성 환경에서 기존 최첨단 모델 (SOTA) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

ELMUR 는 T-Maze, POPGym, MIKASA-Robo 등 세 가지 벤치마크에서 평가되었습니다.

• T-Maze (합성 장기 기억 작업):
  • 성능: 100 만 단계 (1 million steps) 에 달하는 복도에서도 100% 성공률을 기록했습니다.
  • 확장성: 주의 창 (Attention Window) 이 10 만 배 이상 긴 시간 범위를 효과적으로 기억했습니다 (Context Length $L=10$, Segment $S=3$).
• MIKASA-Robo (로봇 조작 작업):
  • 성능: 23 개 작업 중 21 개에서 최상의 성공률을 기록했습니다.
  • 비교: 이전 최강 베이스라인 (RATE) 대비 전체 성공률이 약 70% 향상되었으며, 시각적 관찰 하의 희소 보상 (Sparse Reward) 작업에서 기존 모델들의 성능을 거의 두 배로 끌어올렸습니다.
• POPGym (다양한 부분 관측 작업):
  • 48 개 작업 중 24 개에서 최상위 점수를 기록했으며, 특히 메모리가 필요한 퍼즐 작업에서 DT(Decision Transformer) 나 RATE 보다 월등히 높은 성능을 보였습니다.
• 효율성:
  • 메모리 용량이 고정되어 있어 시퀀스 길이에 비례하지 않는 효율적인 계산 복잡도를 가지며, MoE(Mixture of Experts) FFN 을 사용하여 파라미터 효율성을 높였습니다.

5. 의의 및 결론 (Significance)

• 부분 관측 가능성 해결: ELMUR 은 트랜스포머의 고정된 컨텍스트 윈도우 한계를 극복하고, 명시적인 외부 메모리를 통해 장기적인 시간적 의존성을 효과적으로 학습할 수 있음을 보여주었습니다.
• 간단하고 확장 가능한 접근법: 복잡한 메모리 관리 메커니즘 없이, LRU 와 단순한 교차 어텐션만으로 구조화된 메모리를 구현하여 로봇 제어 및 장기 의사결정 문제에 적용 가능한 확장 가능한 프레임워크를 제시했습니다.
• 실제 로봇 적용 가능성: 시뮬레이션 환경에서 시각적 입력과 희소 보상을 가진 복잡한 조작 작업을 성공적으로 수행함으로써, 실제 로봇 에이전트의 장기 계획 및 기억 능력 향상에 중요한 기여를 했습니다.

이 연구는 장기적인 시간 범위를 가진 부분 관측 환경에서 의사결정을 위한 구조화된 외부 메모리의 중요성을 재확인하고, 이를 효율적으로 구현하는 새로운 표준을 제시했다는 점에서 의의가 큽니다.