Editable Multimodal Memory with Reinforcement Learning Management for Long-Horizon Personalized Agents

당신이 지금까지 한 모든 말을 기억하는 초지능 로봇 친구와 대화하고 있다고 상상해 보세요. 처음에는 정말 멋지게 들리겠지만, 여기에는 함정이 있습니다. 만약 이 로봇이 당신과 나눈 모든 대화의 단어 하나하나를 전부 기억하려고 한다면, 결국 로봇의 뇌는 폭발하거나, 쓸모없는 세부 사항들로 가득 차서 중요한 정보를 찾을 수 없게 될 것입니다. 이것이 오늘날 "AI 에이전트"(인간처럼 행동하도록 설계된 컴퓨터 프로그램)가 직면한 큰 문제입니다. 이들은 도움을 주기 위해 과거를 기억해야 하지만, "컨텍스트 윈도우(context window)"라고 불리는 제한된 "뇌 공간"을 가지고 있으며, 정보를 영원히 쌓아두기만 할 수는 없습니다. 과학자들은 단순히 다람쥐가 도토리를 너무 많이 모으는 것처럼 데이터를 축적하는 것이 아니라, 무엇을 간직하고, 무엇을 버려야 하며, 당신이 마음을 바꿨을 때 어떻게 기억을 업데이트해야 하는지를 아는 메모리 시스템을 구축하기 위해 노력하고 있습니다.

이 논문은 그러한 메모리 시스템을 구축하는 새로운 방법을 소개합니다. 이것은 당신의 로봇 친구에게 "스마트한 사서"와 편집 가능한 "마법의 공책"을 주는 것과 같습니다. 단순히 서재가 무너질 때까지 책을 쌓아두는 대신, 이 시스템은 (좋은 선택을 했을 때 점수를 얻으며 학습하는 비디오 게임과 같은 방식인 '강화 학습'을 사용하는) 특별한 관리자를 사용하여 무엇을 간직할지 결정합니다. 이 시스템은 텍text, 이미지, 소리를 모두 처리하며, 가장 중요한 것은 당신(사용자)이 들어가서 "사실, 그 말은 내 뜻이 아니었어"라거나 "그 기억 전체를 삭제해 줘"라고 말하면 시스템이 즉각적으로 따를 수 있다는 점입니다. 연구진은 이 "스마트한 사서"가 오래된 방식들보다 옳은 것을 기억하고 틀린 것을 잊어버리는 데 훨씬 더 뛰어나다는 것을 30,000번의 상호작용이 포함된 거대한 시뮬레이션에서 테스트하여 증명했습니다.

문제점: 잊지 못하는 뇌

당신이 지난주에 친구에게 했던 이야기를 기억하려고 노력한다고 상상해 보세요. 만약 당신이 입었던 셔츠의 색깔, 목소리의 정확한 톤, 배경 소음 등 모든 세부 사항을 기억하려고 한다면, 이야기의 핵심을 찾는 것은 불가능해집니다. 현재의 AI들도 이와 같습니다. 그들은 당신과 대화할 수는 있지만, 대화가 너무 길어지면 시작 부분을 잊어버리거나 더 이상 중요하지 않은 옛날 사실들 때문에 혼란을 겪기 시작합니다. 또한 당신이 마음을 바꿀 때 어려움을 겪습니다. 만약 당신이 AI에게 "나는 피자를 좋아해"라고 말했다가 나중에 "사실, 나는 치즈 알레르기가 있어"라고 말한다면, 일반적인 AI는 첫 번째 기억에 갇혀 있어서 여전히 당신에게 피자를 주문하려고 할 수도 있습니다.

이 논문은 우리에게 편집 가능하고(editable) **멀티모달(multimodal)**한 메모리 시스템이 필요하다고 주장합니다. "멀티모달"이란 단어, 사진, 소리와 같은 다양한 유형의 정보를 처리할 수 있다는 뜻입니다. "편집 가능"하다는 것은 구글 문서(Google Doc)처럼 실수를 수정하거나 삭제할 수 있다는 의미입니다. 저자들은 단순히 모든 것을 영원히 저장하는 것이 아니라, 스스로의 메모리를 능동적으로 관리하며 무엇을 간직하고 무엇을 버릴지 결정하면서 사용자의 명령을 경청하는 시스템을 만들고자 했습니다.

해결책: 스마트한 사서와 마법의 공책

저자들은 두 가지 주요 부분인 버전 관리형 멀티모달 메모리(마법의 공책)와 액터-크리틱 매니저(스마트한 사서)를 갖춘 시스템을 만들었습니다.

마법의 공책 (메모리)
이 공책을 서로 다른 종류의 기억을 위한 특별한 페이지를 가진 것으로 생각하세요. 에이전트에게 무언가를 말하면, 그것은 공책에 기록합니다. 하지만 여기서 멋진 점은, 단순히 한 가지 버전만 쓰는 것이 아니라는 것입니다. 이것은 "버전 관리된" 기록을 생성합니다. 만약 당신이 "나는 파란색을 좋아해"라고 말한 뒤 나중에 "나는 빨간색을 선호해"라고 말한다면, 공책은 첫 번째 페이지를 지우지 않습니다. 대신 첫 번째 페이지를 "오래된 것"으로 표시하고 "빨간색이 현재의 선호도"라고 적힌 새 페이지를 작성합니다. 또한 삭제하고 싶은 것들을 위해 "비석(tombstone)"을 유지합니다. 비석은 "이것은 영원히 사라졌으니 이곳을 보지 마시오"라고 적힌 작은 빨간 깃발과 같습니다.

공책은 공간에 대해서도 똑똑합니다. 만약 어떤 기억이 매우 길거나 상세하다면, 시스템은 그것을 "압축"할 수 있습니다. 10페이지짜리 이야기를 핵심 내용은 유지하면서 군더더기는 뺀 4페이지짜리 요약본으로 만드는 것을 상상해 보세요. 논문에 따르면 전체 메모리는 1.00 단위의 공간을 차지하지만, 압축된 메모리는 0.42 단위만 차지합니다. 이는 중요한 사실을 잃지 않으면서도 새로운 기억을 위한 공간을 확보해 줍니다.

스마트한 사서 (매니저)
여기에 강화 학습이 등장합니다. "사서"는 공책을 지켜보며 무엇을 할지 결정하는 AI입니다. 사서는 다음과 같은 12가지 단서를 살펴봅니다:

• 공책에 공간이 얼마나 남았는가?
• 이 기억이 사용자가 방금 마음을 바꾼 내용과 관련이 있는가?
• 이 기억이 다른 것과 충돌하는가?
• 사용자가 조만간 이 내용에 대해 다시 물어볼 가능성이 있는가?

이 단서들을 바탕으로 사서는 "이것을 온전하게 유지할지", "압축할지", "버릴지", 또는 "업데이트할지"를 결정합니다. 사서는 시뮬레이션에서 다양한 전략을 시도하며 학습하고, 좋은 결정을 내리면 "점수"를 얻습니다. 만약 사용자가 나중에 필요로 하는 기억을 버린다면 점수를 잃습니다. 반대로 사용자를 돕는 기억을 간직한다면 점수를 얻습니다.

결과: 사서의 승리

연구진은 10개의 서로 다른 대화 스트림을 통해, 총 30,000번의 상호작용과 6,000번의 질문이 포함된 "스트레스 테스트"를 실시했습니다. 그들은 이 스마트한 사서를 단순히 오래된 기억을 밀어내고 새 것을 넣는 "선입선출(FIFO)" 규칙과 같은 다른 기본적인 방식들과 비교했습니다.

결과는 명확했습니다:

• 높은 회상 능력: 스마트한 사서는 최상위 답변을 요구받았을 때 **27.7%**의 확률로 정확한 기억을 찾아냈습니다. 이는 다음으로 좋은 성능을 보인 방식이 **17.6%**를 기록한 것에 비해 엄청난 도약입니다.
• 선호도 기억: 사용자가 마음을 바꿨을 때(선호도 변화), 사서는 새로운 선호도를 **47.5%**의 확률로 기억해 낸 반면, 기존 방식들은 약 **35.4%**에 머물렀습니다.
• 오래된 기억 제거: 가장 인상적인 발견은 스마트한 사서가 "오래된(stale)" 기억(오래되었거나 삭제된 기억)을 단 하나도 반환하지 않았다는 점입니다. 다른 방식들은 계속해서 낡고 잘못된 정보를 보여주는 실수를 범했습니다.
• 공간 효율성: 사서가 더 똑똑했음에도 불구하고, 공책을 다른 방식들보다 더 빨리 채우지는 않았습니다. 실제로 사서는 덜 중요한 것들을 압축하는 법을 알고 있었기 때문에, 단순한 FIFO 방식보다 기억을 덜 삭제(evict)했습니다.

이것이 왜 중요한가

이 논문은 우리가 모든 것을 기억해서 혼란스러워하는 로봇과, 너무 많이 잊어버리는 로봇 사이에서 하나를 선택할 필요가 없음을 보여줍니다. "스마트한 사서"가 "마법의 공책"을 관리하게 함으로써, 우리는 진정으로 개인화된 에이전트를 구축할 수 있습니다. 이들은 텍-이미지-소리를 모두 다룰 수 있으며, 당신의 마음이 바뀌거나 데이터를 삭제하려는 권리를 존중합니다.

저자들은 이 실험이 실제 인간이 아닌 통제된 시뮬레이션에서 수행되었다는 점을 주의 깊게 언급했습니다. 하지만 이 결과는 만약 우리가 AI 에이전트를 우리의 장기적인 동반자로 만들고 싶다면, 유연하고 편집 가능하며, 언제 붙잡고 언제 놓아야 할지를 아는 똑똑한 뇌에 의해 관리되는 메모리 시스템을 주어야 한다는 점을 시사합니다. 이것은 기억을 정적인 데이터 더미에서 살아 움직이는 대화 파트너로 변화시킵니다.