Learning to Forget -- Hierarchical Episodic Memory for Lifelong Robot Deployment

논문 요약: 학습된 망각 - 인간형 로봇의 장기 배포를 위한 계층적 에피소드 기억 (Learning to Forget – Hierarchical Episodic Memory for Lifelong Robot Deployment)

이 논문은 인간형 로봇이 장기간 배포될 때 발생하는 '기억 과부하' 문제를 해결하기 위해, 사용자 피드백을 기반으로 학습하는 망각 (Forgetting) 메커니즘을 갖춘 새로운 에피소드 기억 (Episodic Memory, EM) 프레임워크인 H2-Emv를 제안합니다. 로봇이 사용자의 질문에 답하거나 과거 경험을 설명할 때 (EM Verbalization, EMV), 무한히 증가하는 기억 데이터를 저장하고 검색하는 것은 계산 자원과 저장 공간의 한계를 초래합니다. 저자들은 이를 해결하기 위해 '무작위 망각'이 아닌, 사용자의 관심사에 맞춰 적합한 것을 선택적으로 망각하고 중요한 것은 유지하는 지능형 시스템을 개발했습니다.

1. 문제 정의 (Problem)

• 기억의 한계: 로봇이 장기간 작동하며 수집하는 다중 모달 (multimodal) 데이터는 저장 용량과 실시간 검색 (Query) 시의 계산 비용을 급격히 증가시킵니다.
• 관련성 (Relevance) 의 주관성: 어떤 정보가 중요한지는 사용자와 상황에 따라 다릅니다. 고정된 규칙으로는 모든 사용자의 요구를 충족할 수 없습니다.
• 기존 접근법의 한계: 기존 시스템은 기억을 단순히 축적하거나, 오프라인에서 일괄 처리하는 방식을 사용했습니다. 이는 실시간 응답 속도를 저하시키거나, 장기 배포 시 기억이 너무 방대해져 검색 효율이 떨어지는 문제를 야기합니다.

2. 방법론 (Methodology: H2-Emv)

H2-Emv 는 세 가지 핵심 구성 요소를 통해 작동합니다.

A. 온라인 계층적 기억 구성 (Online Hierarchical Memory Construction)

• 트리 구조: 과거의 사건들을 계층적 트리 (History Tree) 로 조직화합니다. 최하위 층은 장면 그래프 (Scene Graph), 중간 층은 이벤트 요약, 최상위 층은 목표 (Goal) 요약으로 구성됩니다.
• 증분적 업데이트: 기존 오프라인 방식과 달리, 새로운 관찰이 들어올 때마다 트리를 실시간으로 (Online) 업데이트하고 요약합니다. 이는 질문 시 (Question Time) 트리를 다시 구성할 필요가 없게 하여 응답 지연을 줄입니다.
• 시간 인식 그룹화: 단순한 의미적 그룹화뿐만 아니라 시간적 간격을 고려하여, 밤사이 휴식 시간 등 불연속적인 구간이 트리 구조에 왜곡되지 않도록 합니다.

B. 기반 망각 메커니즘 (Decay-based Forgetting with Relevance Estimation)

• 수명 (Lifetime) 설정: 각 메모리 노드에는 기본 수명이 부여됩니다. 수명이 만료된 노드는 삭제될 후보가 됩니다.
• LLM 기반 관련성 추정: 만료된 노드가 실제로 중요한지 판단하기 위해 대형 언어 모델 (LLM) 을 사용합니다. LLM 은 현재 노드, 상위 컨텍스트, 그리고 **사용자가 학습한 자연어 관련성 규칙 (Relevance Rules)**을 바탕으로 해당 노드를 유지할지 말지 결정합니다.
• 선택적 유지: 관련성이 높다고 판단되면 수명이 연장되고, 그렇지 않으면 '망각'된 플레이스홀더로 대체되어 저장 공간이 절약됩니다.

C. 피드백 기반 관련성 학습 (Feedback-based Relevance Learning)

• 사용자 피드백 활용: 사용자가 "이 정보를 잊지 말아야 한다"고 피드백을 주거나, 망각된 정보를 요청할 때 시스템은 이를 학습합니다.
• 규칙 업데이트: LLM 은 사용자의 피드백을 분석하여 자연어 관련성 규칙 (예: "열쇠가 있는 위치는 항상 기억하라", "사람을 만났을 때의 시간은 기록하라") 을 동적으로 추가, 수정, 삭제합니다.
• 적응적 행동: 학습된 규칙은 향후의 요약 (Summarization) 과 망각 (Forgetting) 과정에 즉시 반영되어, 시스템이 특정 사용자의 우선순위에 맞춰 진화합니다.

3. 주요 기여 (Key Contributions)

1. 온라인 에피소드 기억 구축: 기록된 데이터를 사후 분석하는 것이 아니라, 실시간으로 트리를 구성하고 요약하는 시스템을 구현했습니다.
2. 학습 가능한 망각 메커니즘: 고정된 규칙이 아닌, 사용자 피드백을 통해 관련성 기준을 학습하고 이를 망각 및 요약 과정에 적용하는 새로운 패러다임을 제시했습니다.
3. 실제 로봇 배포 검증: 시뮬레이션 환경뿐만 아니라, 실제 인간형 로봇 (Armar-7) 에서 20.5 시간 이상의 다중 모달 데이터를 수집하여 시스템을 검증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 시뮬레이션 및 실제 로봇 실험에서, H2-Emv 는 1 회차 질문 (망각 발생 전) 에 비해 2 회차 질문 (피드백 학습 후) 에서 정답률이 70% 증가했습니다. 이는 시스템이 사용자의 필요에 적응했음을 보여줍니다.
• 효율성 개선:
  • 메모리 크기 (Tree Size) 를 45% 감소시켰습니다.
  • 질문 시 계산 비용 (Query-time Compute) 을 35% 감소시켰습니다.
  • 망각이 없는 시스템에 비해 저장 공간과 토큰 비용을 크게 절감하면서도, 피드백 학습을 통해 정확도를 유지하거나 오히려 향상시켰습니다.
• 비교 분석:
  • 계층적 구조의 중요성: 계층적 구조가 없는 평면 (Flat) 방식은 망각을 적용할 때 성능이 급격히 떨어졌습니다.
  • 온라인 vs 오프라인: 오프라인 방식은 초기 정확도는 높을 수 있으나, 실시간 배포 시 계산 비용이 높고 망각 적용 시 성능 저하가 컸습니다. 반면 H2-Emv 의 온라인 방식은 실시간성과 효율성을 모두 잡았습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇이 인간과 장기적으로 협력하기 위해 필수적인 **'지능형 망각 (Learning to Forget)'**의 가능성을 입증했습니다.

• 확장성: 무한히 증가하는 데이터 흐름을 관리 가능한 크기로 유지하며, 장기 배포 (Lifelong Deployment) 를 가능하게 합니다.
• 개인화: 사용자의 피드백을 통해 시스템이 각 사용자의 고유한 관심사와 우선순위를 학습하여, 더 개인화된 상호작용을 제공합니다.
• 실용성: 실제 로봇 (Armar-7) 에 적용되어 지연 시간 (Latency) 이 관리 가능한 수준임을 보여주었으며, 미래의 인간 - 로봇 협업 시스템에 필수적인 기술적 토대를 마련했습니다.

결론적으로, H2-Emv 는 단순히 기억을 저장하는 것을 넘어, 무엇을 기억하고 무엇을 잊을지 스스로 학습하는 로봇의 인지 능력을 구현한 획기적인 프레임워크입니다.