🤖 machine learning

DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation

이 논문은 컨텍스트 공간 메모리 증강과 파라미터 공간 미세 조정을 결합하여 소형 온디바이스 LLM이 복잡한 절차적 작업에서 교사 모델에 근접한 성능을 달면서도 지연 시간과 리소스 요구 사항을 크게 줄일 수 있도록 하는 이중 공간 증류 프레임워크인 DuoMem을 소개한다.

원저자: Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 복잡한 집안일을 완벽하게 해결할 수 있지만, 너무 느리고 비용이 많이 들어 매번 고용하기에는 부담스러운 천재적인 교수님(선생님)이 있습니다. 그리고 또 다른 한편에는 빠르고 저렴하지만, 자주 길을 잃거나 할 일을 까먹고, 서랍까지 걸어가기도 전에 서랍을 열려고 시도하는 똑똑하지만 경험 없는 인턴(학생)이 있습니다.

이 논문은 그 서투른 인턴을 숙련된 요리사로 만들기 위해 두 가지 특정한 교육 방법을 사용하는 훈련 시스템인 DuoMem을 소개합니다. 목표는 작고 빠른 인턴이 거대한 교수의 역할을 수행하게 하되, 슈퍼컴퓨터 없이도 일반 스마트폰이나 로봇에서 구동될 수 있도록 하는 것입니다.

DuoMem의 작동 원리를 다음과 같은 쉬운 비유를 통해 설명하겠습니다.

문제점: "작은 뇌"의 고충

거대 AI 모델은 14단계 만에 퍼즐을 푸는 천재와 같습니다. 반면 소형 AI 모델(테스트에 사용된 40억 파라미터 모델)은 같은 퍼즐을 풀기 위해 추측하며 헤매는 사람과 같습니다. 이들은 집 안을 30단계 동안 배회하거나, 벽에 붙은 뒤집개를 집으려 하는 등 방황할 수 있습니다. 이들에게는 '절차적 기억(procedural memory)', 즉 과거의 경험을 바탕으로 무언가를 수행하는 방법이 부족합니다.

해결책: DuoMem (이중 훈련 캠프)

DuoMem은 두 가지 서로 다른 '공간' 또는 방법을 동시에 사용하여 작은 인턴을 가르칩니다.

1. 컨텍스트 공간 증류 (Context-Space Distillation): "치트 시트(요약 노트)"

기존 방식: 인턴이 새로운 과제에 직면했을 때, 자신의 (종종 형편없는) 기억에 의존하여 스스로 수행 방법을 기록해야 합니다.
DuoMem 방식: 인턴이 시작하기도 전에, 교수가 과거에 유사한 과제를 어떻게 해결했는지를 바탕으로 완벽하고 고품질인 '치트 시트'(절차적 스크립트)를 작성합니다.
작동 원리: 인턴이 새로운 과제에 맞닥뜨리면, 시스템은 그에게 교수의 치트 시트를 건네줍니다. 인턴은 전략을 처음부터 스스로 짜낼 필요가 없습니다. 그저 교수의 노트를 읽고 그대로 따르면 됩니다.
비유: 이는 시험을 치르는 도중에 요약본을 직접 쓰라고 요구하는 대신, 시험 직전에 학생에게 교과서 요약본을 주는 것과 같습니다.

2. 파라미터 공간 증류 (Parameter-Space Distillation): "근육 기억"

기 기존 방식: 인턴이 치트 시트를 읽더라도, 특정 동작을 연습하지 않았기 때문에 여전히 손을 버벅거립니다.
DuoMem 방식: 시스템은 교수가 과제를 성공적으로 해결했던 모든 사례를 활용하여 인턴의 뇌를 '미세 조정(fine-tune)'합니다. 이는 단순히 노트를 주는 것이 아니라, 교수의 성공적인 습관을 모방하도록 인턴의 신경 경로를 재배선하는 것입니다.
작동 원리: 시스템은 인턴의 뇌에 아주 작고 가벼운 추가 기능(LoRA라고 불림)을 훈련시킵니다. 이 추가 기능은 교수의 성공적인 움직임에 대한 '근육 기억'을 학습합니다.
비유: 이는 무용 강사가 숙련된 무용수를 관찰한 뒤, 학생이 노트를 보지 않고도 자연스럽게 움직일 수 있도록 학생의 자세와 근육 긴장도를 조절해 주는 것과 같습니다.

결과: 빠르고, 저렴하며, 똑똑함

이 논문은 에이전트가 "뒤집개를 닦아서 서랍에 넣기"와 같은 과제를 수행해야 하는 ALFWorld라는 가상 주택에서 이를 테스트했습니다.

DuoMem 없이: 소형 4B 모델은 매우 형편없었습니다. 성공률은 단 **4.3%**에 불과했습니다. 과제당 약 29단계가 소요되었고 약 19초가 걸렸습니다.
DuoMem 적용 시: 동일한 소형 모델의 성공률은 **77.9%**로 올라갔습니다. 단계는 21단계로 줄었으며 시간은 약 5초가 소요되었습니다.
비교: DuoMem을 장착한 소형 모델은 87.1%의 성공률을 보인 거대한 720억 파라미터의 교수와 거의 대등한 수준이 되었지만, 속도는 3배 더 빨랐고 컴퓨팅 자원은 아주 적은 부분만 필요로 했습니다.

이것이 왜 중요한가

이 논문은 스마트한 에이전트를 스마트폰이나 로봇에서 구현하기 위해 거대하고 느린 슈퍼컴퓨터가 반드시 필요한 것은 아니라고 주장합니다. 교수의 치트 시트(컨텍스트)와 교수의 근육 기억(파라미터)을 결합함으로써, 작고 빠른 모델이 실시간으로 복잡한 과제를 수행할 수 있습니다.

핵가 핵심 요약: DuoMem은 작은 모델이라도 올바르게 가르친다면 결코 "멍청하지" 않다는 것을 증명합니다. 작은 모델은 거대한 모델의 무게를 직접 짊어지지 않고도, 거대 모델의 지적 능력을 빌려올 수 있습니다.

기술 요약: DuoMem

문제 정의

LLM(대규모 언어 모델) 기반 에이전트는 환경과의 다회차 상호작용을 통해 복잡한 절차적 과업을 해결하는 데 있어 인상적인 능력을 보여줍니다. 그러나 최첨단 성능을 달 easily하려면 거대한 모델(30B70B+ 파라미터)과 광범위한 컨텍스트 창이 필요합니다. 이러한 계산적 부담은 자원이 제한된 엣지 디바이스(예: 스마트폰, 로봇)에 고급 메모리 증강 에이전트를 배포하는 데 큰 장벽이 됩니다. 작은 모델(2B12B 파라미터)은 온디바이스 사용에는 매력적이지만, 절차적 추론 능력이 약하고 메모리를 효과적으로 활용하지 못해 종종 낮은 과업 성공률과 비효к적인 탐색 결과를 초래합니다.

방법론: DuoMem 프레임워크

저자들은 거대 교사(Teacher) 모델로부터 소형 학생(Student) 모델로 절차적 문제 해결 능력을 전이하기 위해 설계된 이중 공간 증류 프레임워크인 DuoMem을 제안합니다. 이 프레임워크는 두 가지 상호 보완적인 공간에서 작동합니다.

1. 컨텍스트 공간 증류 (Context-Space Distillation, CD)

학생 모델이 과거 궤적으로부터 스스로 메모리 요약을 생성하도록 하는 대신(이는 종종 저품질이거나 무관한 세부 정보를 생성함), DuoMem은 강력한 교사 모델을 사용하여 오프라인에서 고품질의 절차적 메모리를 추출합니다.

메커니즘: 교사 모델은 성공적인 궤적을 간결한 절차적 스크립트로 요약합니다. 추론 시에는 (의미론적 임베딩 유사도를 통해) 가장 관련성이 높은 $k$ 개의 교사 생성 메모리가 추출되어 학생의 입력 컨텍스트 앞에 추가됩니다.
이점: 이는 학생의 파라미터를 수정하지 않고도 증류된 절차적 지식으로 학생의 컨텍스트를 풍부하게 하며, 훈련이 필요 없는(training-free) 향상 효과를 제공합니다.

2. 파라미터 공간 증류 (Parameter-Space Distillation, LoRA)

이 구성 요소는 전문가의 시연(demonstrations)을 통해 학생 모델의 행동 정책을 직접 개선합니다.

메커니즘: 프레임워크는 교사 모델이 생성한 성공적인 궤적을 수집합니다. 경량화된 저차원 적응(LoRA) 어댑터를 학생 모델에 부착하고, 이러한 성공적인 궤적에 대한 다음 토큰 예측(next-token prediction)을 통해 미세 조정합니다.
입력 전략: 저자들은 (최신 턴뿐만 아니라) **전체 이력(Full History)**에 대해 학습하는 것이 가장 좋은 결과를 낸다는 것을 발견했습니다. 이를 통해 모델은 초기 관찰이 이후의 행동에 어떻게 영향을 미치는지에 대한 전체적인 절차적 역학을 학습할 수 있습니다.

통합

DuoMem은 두 메커니즘을 결합합니다. 즉, 학생 모델은 먼저 교사의 궤적을 통해 LoRA 미세 조정을 거친 후(파라미터 공간), 추론 중에 교사가 생성한 메모리를 컨텍스트로 전달받습니다(컨텍스트 공간). 저자들은 CD가 모델이 '무엇을' 보는지(풍부한 지식)를 개선하고, LoRA가 모델이 '어떻게' 행동하는지(컨텍스트 활용 능력)를 개선한다고 주장합니다.

주요 기여

이중 공간 프레임워크: 컨텍스트 공간(CD)과 파라미터 공간(LoRA) 증류를 통해 절차적 메모리를 전이하는 DuoMem을 제안했습니다.
엣지에서의 성능: DuoMem이 4B 파라미터 모델을 ALFWorld 벤치마크에서 4.3%의 성공률에서 77.9%로 끌어올려, 72B 교사 모델과의 격차를 89%까지 좁힐 수 있음을 입증했습니다. 이때 추가되는 학습 파라미터는 1,000만 개 미만이며, 사전 계산된 메모리는 단 몇 메가바이트에 불고합니다.
효율성: DuoMem이 강화된 4B 모델이 72B 교사 모델보다 실제 시간(wall-clock time) 기준으로 3배 이상 빠르게 과업을 완료함을 보여줌으로써, 실시간 엣지 배포의 가능성을 입증했습니다.
Ablation 통찰: 8개의 모델(2B~72B)에 대한 광범한 실험을 통해 두 증류 축이 모두 상호 보완적인 이득을 제공함을 밝혔습니다. 두 구성 요소의 결합은 단독 사용 시보다 일관되게 우수한 성능을 보였으며, 특히 작은 모델에서 시너지 효과가 관찰되었습니다.

실험 결과

ALFWorld(텍스트 기반 체화된 의사결정 벤치마크)에서 평가한 결과는 다음과 같습니다:

성공률:
- Qwen3-4B-Instruct: 메모리가 없을 때 4.3%에서 DuoMem 적용 시 77.9%로 향상되었으며, 이는 72B 교사의 87.1%에 근접한 수치입니다.
- Gemma4-E2B-it (2B): 2.1%에서 55.7%로 향상되었습니다.
- Gemma3-12B-it: 14.3%에서 66.4%로 향상되었습니다.
효율성:
- 4B DuoMem 모델은 평균 과업 완료 시간을 약 18.5초에서 4.9초로 단축했습니다(교사의 최적 설정 대비 3.7배 가속).
- 평균 상호작용 단계가 30% 감소했습니다(약 29단계에서 약 21단계로).
오버헤드:
- 파라미터: LoRA 어댑터는 4B 모델에 0.15% 미만의 파라미터(<0.15%, 5.9M)를 추가했습니다.
- 저장 공간: 전체 교사 메모리 저장소는 약 4MB를 차지하며, LoRA 어댑터는 모델 크기에 따라 약 12~47MB가 필요합니다.
모델 크기 민감도: DuoMem의 이점은 더 작은 모델(2B–12B)에서 가장 두드러졌습니다. 32B 이상의 더 큰 모델의 경우, 베이스 모델 자체의 능력이 충분히 발달함에 따라 한계 효용이 감소했습니다.
사고형(Thinking) vs 비사고형(Non-Thinking): "사고 모드"(Chain-of-Thought) 모델은 더 높은 베이스라인을 달성하지만, 5~7배의 지연 시간 페널티를 유발하여 엣지 배포에는 부적합합니다. DuoMem은 비사고형 모델이 실시간 속도를 유지하면서도 정확도 격차를 상당 부분 회복할 수 있게 합니다.

의의 및 주장

본 논문은 DuoMem이 고성능 LLM 에이전트와 자원이 제한된 엣지 디바이스 사이의 결정적인 간극을 메운다고 주장합니다. 절차적 지식의 습득(교사 증류를 통해)과 과업 실행(소형 학생 모델을 통해)을 분리함으로써, 이 프레임워크는 메모리와 지연 시간 제약으로 인해 72B 모델 배포가 불가능한 환경에서도 역량 있는 메모리 증강 에이전트를 로컬에서 실행할 수 있게 합니다.

저자들은 이 이중 공간 접근 방식이 단순히 더해지는 것이 아니라, 컨텍스트 풍부화와 파라미터 적응의 결합이 개별 구성 요소의 합을 넘어서는 시너지 효과를 낸다는 점을 강조합니다. 또한, 이 프레임워크는 아키텍처와 태스크에 구애받지 않으므로 ALFWorld를 넘어 다른 절차적 도메인으로의 일반화 가능성을 시사합니다.

결론적으로, 엣지 배포를 위해 "사고형" 모델의 지연 시간과 증류된 "비사고형" 모델의 효율성 사이의 트레이드오프를 고려할 때, DuoMem은 실제 환경에서 유능한 자율 에이전트를 배포하기 위한 실질적인 솔루션이 됩니다.