🤖 machine learning

Rosetta Memory: Adaptive Memory for Cross-LLM Agents

이 논문은 다양하고 빈번하게 전환되는 대규모 언어 모델 전반에 걸쳐 적응형 메모리 공유와 견고한 성능을 가능하게 하기 위해, 공동 학습된 프로파일 조건부 연산자와 최소 이득 샘플링 커리큘럼을 채택한 메모리 중심 프레임워크인 Rosetta Memory를 소개한다.

원저자: Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Rosetta Memory" 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 내용입니다.

거대한 문제: "번역 과정에서 길을 잃은" 에이전트

여러분이 탐정 소설 같은 복잡한 미스터리를 풀기 위해 노력하는 한 팀의 작업자들(AI 에이전트들)을 상상해 보세요. 문제를 해결하기 위해 그들은 서로에게 메모를 전달해야 합니다.

작업자 A는 빠르고 격식 없는 코더로, 짧고 간결한 불렛 포인트 형태의 메모를 씁니다.
작업자 B는 느리고 신중한 필기자로, 내용을 이해하려면 완전하고 예의 바른 문장이 필요합니다.
작업자 C는 시각적 사고가로, 정보가 표 형태로 정리되어 있어야 합니다.

과거에는 만약 작업자 A가 메모를 작성하여 작업자 B에게 전달한다면, 작업자 B는 종종 혼란을 겪었습니다. 그 메모가 작업자 B의 "언어"가 아닌 "작업자 A의 언어"로 작성되었기 때문입니다. 팀은 단서를 놓치거나, 중요한 세부 사항을 잊어버리거나, 지시 사항을 오해하곤 했습니다. 이것이 서로 다른 대규모 언어 모델(LLM)들이 메모를 공유하려고 할 때 발생하는 현상입니다. 즉, 메모의 "언어"가 읽는 이의 "언어"와 일치하지 않는 것입니다.

해결책: 로제타 메모 (Rosetta Memory, RoMem)

연구진은 **로제타 메모(Rosetta Memory)**라는 시스템을 만들었습니다. 이것을 여러분의 AI 팀을 위한 범용 번역기이자 전문 공증인이라고 생각하십시오.

모든 작업자가 동일한 방식으로 글을 쓰도록 강요하는 대신, 로제타 메모는 중간에 위치하여 누가 쓰고 있는지와 누가 읽고 있는지에 따라 메모를 조정합니다.

이 시스템은 두 가지 특별한 도구(연산자)를 사용합니다:

"번역기" (쓰기 연산자): 작업자가 메모를 작성할 때, 이 도구는 누가 썼는지를 확인합니다. 이 도구는 작성자의 가공되지 않은 무질서한 메모를 가져와서, 나중에 누구나 쉽게 이해할 수 있는 "표준화된" 형식으로 다시 작성합니다. 작성자 개인의 특이한 습관들을 제거하는 과정입니다.
"어댑터" (읽기 연산자): 작업자가 메모를 읽어야 할 때, 이 도구는 누가 읽고 있는지를 확인합니다. 이 도구는 그 표준화된 메모를 가져와서 해당 독자가 선호하는 특정 형식(예: 문단을 시각적 사고가를 위한 표로 변환하거나, 코더를 위한 불렛 리스트로 변환)으로 재구성합니다.

시스템 학습 방법

이 시스템이 어떻게 작동하는지 가르치기 위해, 연구진은 단순히 한 종류의 작업자만 보여준 것이 아닙니다. 그들은 다양한 유형의 AI 모델(빠른 모델, 느린 모델, 서로 다른 회사의 모델 등)이 포함된 "훈련 캠프"를 만들었습니다.

그들은 **"최소 이득 샘플링(Minimum-Gain Sampling)"**이라는 영리한 훈련 기법을 사용했습니다.

예를 들어, "느리고 신중한 필기자"(작업자 B)가 메모를 이해하는 데 가장 큰 어려움을 겪고 있다는 것을 알아차린 선생님을 상상해 보세요.
선생님은 쉬운 학생들과 연습하는 대신, 시스템이 어려움을 겪는 학생들과 더 열심히 연습하도록 강제합니다.
이를 통해 시스템은 단순히 평균적인 경우에 잘 적응하는 것이 아니라, 보통 뒤처지기 쉬운 모델들을 돕는 데 정말 능숙해지도록 보장합니다.

또한, 시스템이 단순히 원본 메모를 그대로 전달하는 것보다 실제로 팀의 성과를 개선했을 때만 점수를 주는 "성적표"를 사용했습니다. 이는 시스템이 단순히 답을 암기하는 것이 아니라, 번역하는 법을 배우도록 보장하기 위함이었습니다.

연구 결과

연구진은 AI가 답을 찾기 위해 여러 단서를 연결해야 하는 세 가지 "미스터리" 게임(HotpotQA, 2WikiMultihopQA, MuSiQue 데이터셋)에서 이를 테스트했습니다.

결과: 로제타 메모를 사용하는 팀은 표준적인 방식들을 사용하는 팀보다 미스터리를 훨씬 더 잘 해결했습니다.
"보지 못한" 테스트: 훈련 과정에서 본 적 없는 새로운 유형의 작업자를 투입했을 때도, 시스템은 여전히 잘 작동했습니다. 팀 구성이 바뀌어도 시스템이 망가지지 않았습니다.
"불일치" 증명: 연구진은 로제타 메모 없이 작업자를 중간에 교체할 경우, 메모가 말이 되지 않아 팀이 실패한다는 것을 보여주었습니다. 하지만 로제타 메모와 함께라면, 누가 읽더라도 메모는 항상 이해 가능한 상태가 됩니다.

요약하자면

로제타 메모는 AI 에이전트들이 서로 다른 "언어"를 사용하거나 서로 다른 스타일을 가지고 있더라도, 메모를 원활하게 주고받을 수 있도록 보장하는 스마트한 중개자입니다. 이 시스템은 메모가 작성될 때 번역하고 읽힐 때 적응시켜, 어떤 특정 AI 모델이 작업을 수행하든 상관없이 전체 팀이 동일한 이해도를 유지하도록 만듭니다.

기술 요약: 로제타 메모리 (Rosetta Memory, RoMem)

1. 문제 정의: 교차 LLM 메모리 불일치 (Cross-LLM Memory Mismatch)

본 논문은 LLM 에이전트 배포 시 발생하는 결정적인 간극, 즉 메모리 시스템이 단일하고 정적인 백본(backbone) 모델을 위해 설계되었다는 가정을 다룹니다. 실제로 에이전트는 빈번하게 서로 다른 LLM 사이를 전환합니다 (예: 코딩에는 Claude를 사용하고 글쓰기에는 GPT를 사용하거나, 비용 효율성을 위해 단계별로 모델을 라우팅하는 경우). 저자들은 한 모델에 의해 작성된 메모리가 다른 모델에 의해 효과적으로 소비되지 못하는 이유가 두 가지 주요 원인 때문임을 식별했습니다:

쓰기 측 편차 (Write-Side Divergence): 동일한 상태(state)가 주어지더라도 서로 다른 소스 LLM은 서로 다른 행동을 생성하며, 결과적으로 메모리에 서로 다른 내용을 저장하게 됩니다.
읽기 측 민감도 (Read-Side Sensitivity): 의미론적으로는 동일한 메모리 항목이라 하더라도, 프롬프트 민감도와 문맥 해석 능력의 차이로 인해 이를 읽는 대상(target) LLM에 따라 에이전트의 결과가 달라질 수 있습니다.

저자들은 이를 **교차 LLM 메모리 적응 문제 (Cross-LLM Memory Adaptation Problem)**로 공식화합니다: 에이전트의 메모리 시스템이 어떻게 하면 상류(upstream) LLM에 의해 작성된 메모리가 하류(downstream) LLM을 효과적으로 활성화할 수 있도록 적응할 수 있는가? 즉, 고정된 하나의 백본을 최적화하는 것이 아니라, 이질적인 모델 풀 내의 모든 가능한 모델 할당에 대해 기대 수익(expected return)을 극대화하는 것이 목표입니다.

2. 방법론: 로제타 메모리 (RoMem)

RoMem은 관점을 "LLM 중심의 메모리 설계"에서 "메모리 중심의 LLM 적응"으로 전환합니다. 이는 메모리를 상류 작성자와 하류 독자 사이의 전이 가능한 인터페이스로 취급합니다.

핵심 아키텍처

시스템은 두 개의 학습 가능한 LLM 인지 연산자(operator)를 도입합니다:

쓰기 연산자 ( $f_{write}$ ): 소스 LLM의 식별자(프로필), 관찰값(observation), 그리고 행동(action)을 입력받아 정제되고 정규화된 메모리 항목을 출력합니다.
읽기 연산자 ( $f_{read}$ ): 대상 LLM의 식별자(프로필), 현재 관찰값, 그리고 메모리 뱅크를 입력받아 특정 독자에게 적합하도록 조정된 프롬프트 형태의 문맥(context)을 출력합니다.

프로필 조건화 (Profile Conditioning)

모든 특정 모델에 대해 연산자를 미세 조정(fine-tuning)하지 않고도 다양한 모델을 처리하기 위해, RoMem은 프로필 임베딩을 사용합니다. 각 LLM은 경량 프로필 레코드(모델 ID, 텍textual 설명, 백엔드/패밀리/규모와 같은 메타데이터)와 연결됩니다. 학습 가능한 매핑 함수 $g$ 는 이러한 프로필를 연속적인 벡터(soft prefix tokens)로 변환하여 $f_{write}$ 와 $f_{read}$ 를 조건화합니다. 이를 통해 연산자가 모델의 "스타일"과 능력을 이해함으로써 보지 못한(unseen) LLM에도 일반화될 수 있도록 합니다.

학습 전략

연산자들은 이질적인 모델 풀 전체에 걸친 견고함을 보장하기 위해 두 가지 특정 혁신 기술을 포함한 전문가 반복 (Expert Iteration) 루프를 통해 학습됩니다:

역사실적 이득 보상 (Counterfactual Gain Reward): 학습된 연산자의 기여도를 LLM 자체의 고유한 능력으로부터 분리하기 위해, 시스템은 성능 격차( $\Delta R$ )를 계산합니다. 이는 학습된 연산자를 사용했을 때의 성능과 단순한 베이스라인(원시 메모리 결합) 간의 차이입니다. 이를 통해 모델이 단순히 강력한 백본을 활용하는 것이 아니라, 오직 '적응'을 통해서만 성능을 개선하도록 학습하게 합니다.
최소 이득 샘플링 커리큘럼 (Minimum-Gain Sampling Curriculum): 학습 과정 중 시스템은 "서비스가 부족한" LLM, 즉 역사실적 이득( $\Delta R$ )이 가장 낮은 모델들을 우선적으로 처리합니다. 단계 $t$ 에서의 샘플링 확률은 낮은 $\Delta R$ 을 가진 모델에 편향되도록 설정되며, 단일 궤적 내에서의 행동 다양성을 확보하기 위해 임베딩 거리(embedding distance)에 의해 다양화됩니다. 이는 모델이 고성능 쌍에 과적합되는 것을 방지하고, 까다로운 모델 조합에 대한 커버리지를 보장합니다.

3. 주요 기여

문제 공식화: 저자들은 (HotpotQA, 2WikiMultihopQA, MuSiQue에 대한 파일럿 연구를 통해) 교차 LLM 환경에서 메모리 불일치가 심각한 문제임을 실증적으로 보여주고, 교차 LLM 메모리 적응 문제를 공식적으로 정의했습니다.
로제타 메모리 (RoMem): 이질적인 에이전트를 위해 프로필 조건부 쓰기 및 읽기 연산자를 공동 학습하는 새로운 프레임워크를 제안했습니다.
학습 혁신: 성능이 낮은 모델 쌍의 커버리지를 개선하기 위한 최소 이득 샘플링 커리큘럼과, 백본의 강점으로부터 연산자의 효용을 분리하기 위한 성능 격차 보상을 도입했습니다.
실증적 검증: 다양한 데이터셋에 대해 RoMem이 메모리 프리(memory-free) 베이스라인(CoT, Self-Ask), 원시 버퍼(raw-buffer) 베이스라인(Step-Accumulate), 구조화된 메모리 베이스라인(Mem0, Memento)보다 우수함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 멀티홉 QA 데이터셋인 HotpotQA, 2WikiMultihopQA, MuSique에서 RoMem을 평가했습니다.

전반적인 성능: RoMem은 모든 데이터셋에서 Exact Match (EM), F1, 그리고 의미론적 정확도 (AccLLM) 측면에서 일관되게 가장 높은 점수를 기록했습니다. 특히 어려운 MuSiQue 데이터셋에서 F1과 AccLLM에서 뚜렷한 격차를 보였으며, 이는 복잡한 체인 전반에 걸쳐 부분적 증거를 효과적으로 보존하고 있음을 시사합니다.
절제 연구 (Ablation Studies): 프로필 조건화나 쓰기 연산자를 제거하면 성능이 크게 저하되었으며, 이는 메모리 내용의 적응과 대상 모델에 대한 제시 방식의 적응이 모두 필요함을 확인시켜 줍니다.
미학습 모델에 대한 일반화: 학습 과정에서 보지 못한 6개의 홀드아웃(held-out) LLM(예: gpt-5-mini, deepseek-reasoner)에 대해 테스트했을 때, RoMem은 궤적 내의 미학습 모델 수가 증가하더라도 베이스라인보다 우수한 성능을 유지하며 견고한 성능을 보여주었습니다.
최소 이득 샘플링: 민감도 분석 결과, 적절한 재가중치(예: $\eta \approx 1.2$ ~ $1.6$)를 적용하면 성능이 향상되지만, 과도한 재가중치는 오히려 해로울 수 있음을 보여주었습니다.
정성적 분석: 검토 결과, 쓰기 연산자는 소스 모델의 불확실성과 탐색 지침을 성공적으로 제거하는 반면, 읽기 연산자는 대상 모델의 선호도(예: Gemini를 위한 테이블 형식 vs Claude를 위한 CoT)에 맞춰 사실의 순서와 명시성을 조정하는 것으로 나타났습니다.

5. 의의 및 주장

본 논문은 증거를 저장하는 것만으로는 불충분하다고 주장합니다. 메모리는 이를 소비하는 특정 LLM에 적응된 형태로 쓰이고 읽혀야 합니다. 메모리를 전이 가능한 인터페이스로 취급함으로써, RoMem은 이질적인 LLM 에이전트가 에피소드 메모리를 효과적으로 공유할 수 있게 하며, 비용, 지연 시간 또는 가용성 문제로 모델을 교체해야 할 때의 중복 계산을 줄이고 견고성을 높입니다.

저자들은 이 연구를 "메모리 중심 적응"을 향한 첫걸음으로 규정합니다. 또한, 본 평가가 고정된 증거 체인을 가진 통제된 멀티홉 QA 에피소드에 국한되어 있으며, 아직 개방형 웹 네비게이션이나 매우 긴 호라이즌의 계획 수립을 다루지는 못했다는 한계를 인정합니다. 더불어, 학습된 메모리 인터페이스가 주의 깊게 감사되지 않을 경우 편향이나 오류를 전파할 가능성이 있으므로, 고위험 환경의 배포 시 데이터 최소화 및 인간의 검수가 필요함을 경고합니다.