MoEMory: Long-Term User Memory as a Routing Policy on Frozen Mixture-of-Experts Language Models
MoEMory는 기존의 토큰이나 파라미터를 주입하지 않고도 기존 역량을 선택적으로 활성화하기 위해 사용자별 정보를 라우팅 바이어스(routing bias)로 저장함으로써, 관련 없는 쿼리로의 누출을 거의 제로에 가깝게 달성하는 동시에 전통적인 주입 기반 메모리 방식과 직교하며 상호 보완적인 관계를 유지하는 동결된 전문가 혼합(Mixture-of-Experts) 언어 모델을 위한 새로운 장기 메모리 패러다임을 도입한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신을 기억하는 디지털 비서가 있다고 상상해 보십시오. 그것은 당신이 가장 좋아하는 커피 주문 방식, 당신이 선호하는 대화 방식, 그리고 당신이 즐기는 특정 주제들을 기억해 냅니다. 수년 동안 컴퓨터에 이러한 종류의 장기 기억을 부여하기 위한 지배적인 아이디어는 새로운 정보를 컴퓨터의 뇌 속으로 강제로 밀어 넣는 것이었습니다. 연구자들은 이를 위해 두 가지 주요 방법을 시도해 왔습니다. 첫 번째는 컴퓨터에게 질문을 던지기 전에 매번 일기를 소리 내어 읽어주는 것처럼, 텍스트를 컴퓨터의 즉각적인 주의(attention) 영역에 직접 주입하는 방식입니다. 두 번째는 컴퓨터의 내부 회로를 재배선하여, 그 기억을 구조 자체에 구워 넣듯 영구적으로 가중치를 변경하는 방식입니다. 두 방법 모두 어느 정도 효과가 있지만, 하나의 숨겨진 결함을 공유합니다. 바로 침습적이라는 점입니다. 컴퓨터의 계산 과정에 새로운 자료를 추가함으로써, 이 방식들은 기계를 혼란스럽게 만들 위험이 있습니다. 축구에 관한 기억이 음악에 관한 질문 속으로 실수로 스며들어, 유명한 가수에 대한 질문에 축구 선수의 이름을 답하게 만드는 식입니다. 이것은 단순한 오류가 아니라, 이러한 시스템이 구축된 방식의 근본적인 부작용이며, 우리가 길을 잃지 않으면서도 진정으로 유용하고 개인화된 비서를 가질 수 있을지에 대한 심각한 의문을 제기합니다.
케임브리지 대학교의 한 연구자는 이 혼란을 피하기 위해 상호작용의 규칙을 완전히 바꾸는 다른 경로를 제안했습니다. 그는 정보를 컴퓨터의 정신 속에 주입하는 대신, 기억을 '선택 도구'로 사용하는 방안을 제시했습니다. 그의 접근 방식인 'MoEMory'는 '전문가 혼합(Mixture of Experts)'이라 불리는 특정 유형의 인공지능 아키텍처에 기반합니다. 이 아키텍처를 단일하고 거대한 뇌가 아니라, 주어진 작업에 따라 몇 가지만 뽑아서 사용하는 방 혹은 전문화된 도구들의 거대한 도서관이라고 생각하십시오. 표준 버전의 모델에서 어떤 도구를 사용할지에 대한 결정은 고정되어 있고 변경할 수 없습니다. 연구자는 사용자의 기억을 도구 자체를 변경함으로써 저장하는 것이 아니라, 어떤 도구를 선택할지를 결정하는 '스위치'를 미세하게 조정함으로써 저장할 수 있다는 사실을 깨달았습니다. 이 스위치는 선택이 일어나기 전에 적용되는 단순한 편향(bias)으로, 시스템에 "이 특정 사용자를 위해서는 이러한 특정 도구들을 우선시하라"고 알려주는 아주 작은 넛지(nudge) 역할을 합니다.
이 방법의 탁월함은 그것이 '하지 않는 것'에 있습니다. 기초가 되는 도구들과 컴퓨터의 핵심 구조가 완전히 동결된 상태로 유지되기 때문에, 기억이 새로운 능력을 발명하거나 시스템이 이미 할 줄 모르는 것을 말하도록 강요할 수 없습니다. 그것은 오직 기존의 능력을 사용하는 순서를 재배열할 수 있을 뿐입니다. 만약 컴퓨터가 이미 격식 있는 어조로 글을 쓰거나 스포츠에 대해 논할 능력이 있다면, 기억은 단지 그 특정 모드들이 해당 사용자에게 더 잘 활성화되도록 보장할 뿐입니다. 만약 사용자가 저장된 선호도와 전혀 관련이 없는 질문을 한다면, 시스템은 기억의 영향을 받지 않고 기본 동작으로 돌아갑니다. 이는 설계에 의한 '비간섭성'을 만들어냅니다. 기억은 동결된 컴퓨터가 이미 할 수 있는 경계 안에 갇혀 있으므로, 사용자의 특정 집착이 관련 없는 답변을 왜곡하는 '과잉 암기' 현상을 방지합니다.
이 아이디어를 테스트하기 위해, 연구자는 자신의 라우팅 기반 시스템을 전통적인 기억 주입 방식과 비교했습니다. 그는 사용자의 기억이 설치된 후, 컴퓨터에게 기억과 관련된 일련의 질문들과 전혀 관련 없는 많은 질문들을 던지는 시나리오를 설정했습니다. 결과는 극명했습니다. 컴퓨터의 문맥이나 가중치에 내용을 추가하는 전통적인 방식들은 저장된 기억을 관련 없는 질문에 45%에서 62%까지 흘렸습니다. 컴퓨터는 사용자의 특정 관심사가 무관한 상황에서도 지속적으로 언급했습니다. 반면, 새로운 라우팅 방식은 관련 없는 질의에 기억을 흘리는 경우가 0.7%에 불년에 불과했습니다. 이는 이전의 최선이었던 접근 방식들보다 약 90배 더 깨끗한 수준으로, 간섭을 획기적으로 줄인 결과입니다. 새 시스템이 기억의 흔적을 보인 몇 안 되는 경우들도 이론이 예측했던 바로 그 사례들이었으며, 이는 시스템이 설계된 대로 정확하게 작동하고 있음을 확인시켜 주었습니다.
연구자는 또한 이 기억이 두 가지 방식으로 어떻게 적용될 수 있는지 탐구했습니다. 첫 번째는 정적인 접근 방식으로, 기억이 사용자의 일반적인 스타일이나 성격처럼 모든 상호작용에 영향을 미치는 영구적인 성향으로 작용하는 것입니다. 두 두 번째는 동적인 접근 방식으로, 현재 질문의 특정 단어들에 의해 트리거되어, 적절한 열쇠가 꽂힐 때만 열리는 게이트처럼 작동하는 것입니다. 두 방법 모두 컴퓨터를 다시 훈련시키거나 대화 중에 추가적인 처리 시간을 들일 필요 없이 작동합니다. 시스템은 단순히 사용자의 이력을 한 번 읽어 편향을 설정한 다음, 그 편향을 영구적으로 유지하며 작동합니다. 이는 컴퓨터가 대화 기록을 저장하거나 과거의 대화를 재생할 필요 없이 사용자의 선호도를 기억할 수 있음을 의미합니다. 이는 기계의 핵심 지식을 온전히 유지하면서도 개인화할 수 있는 가볍고 효율적인 방법입니다.
이러한 발견은 개인화된 인공지능의 미래가 모델을 더 크게 만들거나 더 복잡하게 만드는 데 있는 것이 아니라, 기존의 힘을 더 똑똑하게 유도하는 방법에 달려 있음을 시사합니다. 기억을 데이터의 주입이 아닌 '선택 정책'으로 취급함으로써, 연구자는 개인화가 경험을 향상시키는 동시에 다른 맥락에서 도움을 주는 능력을 잊지 않는 비서를 만드는 것이 가능하다는 것을 보여주었습니다. 이 접근 방식은 기계의 역량에 대한 경계를 존중하며, 개인화가 경험을 왜곡하는 것이 아니라 강화하도록 보장합니다. 이 시스템은 컴퓨터가 이미 알고 있는 새로운 사실을 저장할 수는 없지만, 사용자의 어조, 스타일, 선호도를 파악하고 적절한 순간에 이를 적용하는 것과 같은 미묘하고 성향적인 과업에는 탁월합니다. 데이터의 추가에 집착하는 분야에서, 이 연구는 때때로 가장 효과적인 기억법은 자신의 어떤 부분을 꺼내어 보여줄지 아는 것임을 조용하고 강력하게 상기시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.