💬 NLP

Metis: Bridging Text and Code Memory for Self-Evolving Agents

이 논문은 자연어 텍스트와 실행 가능한 코드를 동적으로 결합하기 위해 계층적 이중 표현 메모리를 사용하는 자기 진화형 에이전트 시스템인 Metis를 소개하며, 이는 두 메모리 유형의 상호 보완적인 강점을 활용함으로써 기존 방식에 비해 우수한 작업 정확도와 실행 효율성을 달성한다.

원저자: Zijie Dai, Siuhin He, Hui Li, Qihui Zhou, Jiajun Li, Mingcong Song, Guoping Long, Hongjie Si, Xin Yao, Lin Zhang, James Cheng, Xiao Yan

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zijie Dai, Siuhin He, Hui Li, Qihui Zhou, Jiajun Li, Mingcong Song, Guoping Long, Hongjie Si, Xin Yao, Lin Zhang, James Cheng, Xiao Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 잘 까먹는 로봇 비서에게 당신의 디지털 생활을 관리하거나 작은 사업을 운영하는 것과 같은 복잡한 업무를 가르치고 있다고 상상해 보세요. 로봇이 업무를 시도할 때마다 무언가를 배웁니다. 여기서 핵심적인 질문은 다음과 같습니다: 그 배움을 나중에 다시 사용하기 위해 어떻게 저장해야 할까요?

"METIS"라는 논문은 지식을 저장하는 두 가지 주요 방법이 있으며, 대부분의 시스템은 기본적으로 한 가지 방식만을 선택한다고 주장합니다. 저자들은 어느 한 가지 방식만으로는 완벽하지 않다는 것을 발견했고, 따라서 이 두 가지를 계층적이고 영리한 방식으로 모두 사용하는 새로운 시스템을 구축했습니다.

다음은 쉬운 비유를 사용한 상세 설명입니다:

1. 기억하는 두 가지 방법

이 논문은 경험을 저장하는 두 가지 방법을 비교합니다:

텍스트 메모리 ("노트"):
- 정체: 로봇이 일기나 일련의 지침처럼 평범한 영어 문장으로 일어난 일을 기록하는 것입니다.
- 장점: 작성하는 비용이 저렴하고 빠릅니다. 또한 매우 유연합니다. 나중에 약간 다른 상황에 직면하더라도, 로봇은 노트를 읽고 상황에 적응하는 법을 찾아낼 수 있습니다.
- 단점: 사용하는 데 시간이 걸립니다. 로봇은 업무를 수행할 때마다 노트를 읽고, 생각하고, 단계를 하나씩 실행해야 합니다. 이는 마치 토스트를 만들 때마다 매번 레시피를 읽는 것과 같습니다.
코드 메모리 ("로봇 팔"):
- 정체: 로봇이 루틴을 미리 만들어진 도구나 스크립트로 변환하여, 클릭 한 번으로 바로 실행할 수 있게 하는 것입니다.
- 장점: 믿을 수 없을 정도로 빠릅니다. 일단 도구가 만들어지면, 로봇은 그냥 "실행" 버튼을 누르기만 하면 업무가 즉시 완료됩니다.
- 단점: 구축하는 데 비용이 많이 들고 위험합니다. 제대로 작동하는지 확인하기 위해 완벽하게 테스트해야 합니다. 또한 경직되어 있습니다. 상황이 조금이라도 바뀌면, 그 도구는 특정 시나리오를 위해 만들어졌기 때문에 작동하지 않거나 잘못된 동작을 할 수 있습니다.

2. 기존 시스템의 문제점

대부분의 현재 AI 시스템은 한 가지 스타일을 선택하여 고수합니다.

어떤 시스템은 노트만을 사용합니다. 이들은 유연하지만 느리고 반복적입니다.
어떤 시스템은 로봇 팔만을 사용합니다. 이들은 빠르지만 취약합니다. 세상이 변하면 실패합니다.

저자들은 둘 중 어느 것도 그 자체만으로는 충분하지 않다는 것을 발견했습니다. 새로운 상황을 위한 노트의 유연성과 일반적인 업무를 위한 로봇 팔의 속도가 모두 필요합니다.

3. 해결책: METIS ("스마트한 사서")

저자들은 언제 노트를 쓰고 언제 도구를 만들지 정확히 아는 스마트한 사서 역할을 하는 METIS라는 시스템을 만들었습니다.

작동 방식:

기초 (노트): METIS는 먼저 모든 것을 텍스트로 저장하며 시작합니다. 이 노트들을 세 가지 특정 유형으로 분류합니다:
- 계획(Plans): 무언가를 하는 방법에 대한 일반적인 단계들.
- 사실(Facts): 환경에 대한 규칙 (예: "월요일에는 데이터베이스가 느리다").
- 함정(Pitfalls): 피해야 할 실수에 대한 경고 (예: "이 버튼을 두 번 클릭하지 마시오").
- 이유: 이는 비용이 저렴하며, 로봇이 새롭고 이상한 상황을 처리하는 데 도움을 줍니다.
업그레이드 (로봇 팔): METIS는 모든 노트를 도구로 바꾸지는 않습니다. 대신 로봇의 행동을 관찰합니다.
- 만약 로봇이 서로 다른 작업들을 위해 특정 "계획"을 반복해서 사용한다면, METIS는 "좋아, 이것은 하나의 패턴이야! 영구적인 도구를 만들자"라고 판단합니다.
- 그런 다음 신중하게 도구를 제작하고, 안전한지 테스트한 뒤 라이브러리에 추가합니다.
- 만약 노트가 단 한 번의 경고나 특정한 사실에 불과하다면, 그것은 텍스트 상태로 남습니다.

결과:

새롭거나 이상한 작업의 경우: 로봇은 유연한 노트(텍스트 메모리)를 읽고 문제를 해결합니다.
흔하고 반복되는 작업의 경우: 로봇은 생각을 건너뛰고 미리 만들어진 도구(코드 메모리)를 바로 사용합니다.

4. 이것이 왜 중요한가 (결과)

저자들은 이를 AppWorld(많은 앱이 있는 시뮬레이션 환경)라는 어려운 벤치마크에서 테스트했습니다.

더 높은 정확도: METIS는 노트만 사용하거나 도구만 사용하는 시스템보다 더 많은 작업을 정확하게 해결했습니다.
더 빠른 실행: 흔한 작업에 도구를 사용했기 때문에, 더 빠르게 업무를 마쳤고 컴퓨터 자원을 덜 사용했습니다.
더 저렴한 구축 비용: 놀랍게도, 도구를 만드는 것은 비용이 많이 들지만, METIS는 다른 고급 시스템들보다 메모리를 구축하는 데 총 노력을 더 적게 들였습니다. 이는 METIS가 정말로 필요할 때(패턴이 반복될 때)만 도구를 만들었기 때문에, 일회성 작업을 위해 도구를 만드는 낭비를 피했기 때문입니다.

요약 비유

요리를 배우는 상황을 상상해 보세요.

텍스트 메모리는 요리책을 읽는 것과 같습니다. 새로운 레시피를 배우는 데는 좋지만, 매번 단계를 읽고 따라 해야 합니다.
코드 메모리는 양파를 즉시 다지거나 물을 끓일 수 있는 보조 요리사를 두는 것과 같습니다. 매우 빠르지만, 먼저 훈련시켜야 하며 아직 가르쳐주지 않은 레시피는 다룰 수 없습니다.

METIS는 새로운 요리를 배우기 위해 요리책을 읽지만, "매주 화요일마다 파스타 소스를 만든다"는 것을 깨달으면 보조 요리사에게 그 일을 자동으로 하도록 훈련시키는 헤드 셰프와 같습니다. 이렇게 함으로써, 새로운 것을 배우는 능력과 일상적인 일을 즉시 처리하는 속도라는 두 가지 장점을 모두 얻을 수 있습니다.

기술 요약: METIS: 자기 진화형 에이전트를 위한 텍스트와 코드 메모리의 가교

문제 정의

자기 진화형 에이전트는 과거 실행에서 얻은 경험을 추출하고 이를 미래의 작업에 재사용함으로써 시간이 지남에 따라 성능을 개선하는 것을 목표로 한다. 그러나 현재의 시스템들은 근본적인 한계에 직면해 있다. 즉, 메모리 표현 방식(자연어 텍스트 vs. 실행 가능한 코드)의 선택이 경험 자체의 특성에 따라 결정되는 것이 아니라 설계 시점에 고정되어 있다는 점이다.

기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉜다:

텍스트 메모리(Text Memory): 경험이 자연어로 저장되어 에이전트의 컨텍스트에 주입되며, 에이전트는 이를 읽고 추론해야 한다.
코드 메모리(Code Memory): 과거의 루틴이 에이전트가 직접 호출할 수 있는 호출 가능한 도구(tool)나 서비스 형태로 캡슐화된다.

현재 분야에는 이러한 표현 방식 간의 트레이드오프(trade-offs)에 대한 체계적인 이해가 부족하다. 구체적으로, 어떤 유형의 경험이 각 형태에 가장 적합한지, 어떤 비용을 초과하는지, 그리고 어느 한 쪽만으로는 충분하지 않을 때 어떻게 협력해야 하는지가 불분명하다. 현재의 시스템들은 하나의 표현 방식을 무차별적으로 적용하여, 구축 비용, 실행 효율성, 그리고 전이 신뢰성(transfer reliability) 사이의 균형을 맞추는 데 실패하고 있다.

방법론

1. 통제된 프로파일링 연구

저자들은 텍zed 동일한 경험 세트에 대해 텍스트 메모리와 코드 메모리의 효과를 격리하기 위해 AppWorld 벤치마크에서 통제된 연구를 먼저 수행했다. 이 연구는 세 가지 상호 보완적인 트레이드오프를 밝혀냈다:

구축 비용(Construction Cost): 텍스트 메모리는 구축 비용이 훨씬 저렴하다. 재사용 가능한 도구를 만드는 데는 추가적인 탐색, 검증, 디버깅이 필요하며, 이는 텍스트 메모리에 비해 약 2.5배 더 많은 ReAct 턴과 약 100만 개의 추가 토큰을 소모한다.
실행 효율성(Execution Efficiency): 코드 메모리는 현저히 높은 런타임 효율성을 제공한다. 이는 루틴을 단일 액션 호출로 컴파일하여, 텍스트 기반 가이드에 필요한 불필요한 중간 추론 과정을 제거한다.
전이 신뢰성(Transfer Reliability): 텍스트 메모리는 보지 못한 작업(unseen tasks)에 더 안정적으로 일반화된다. 코드는 경직되고 고정되어 있어, 작업이 변하는 스트리밍 환경에서 성능이 크게 저하(22.3 포인트)되는 반면, 텍스트 메모리는 약간의 저하(5.6 포인트)만을 보인다.

핵심 통찰: 두 표현 방식 중 어느 하나도 단독으로는 충분하지 않다. 텍스트는 광범위한 캡처를 위해 저렴하고 견고하지만, 코드는 효율적이지만 경직되고 비용이 많이 든다. 따라서 부호화(codification)는 빈번하게 발생하고 안정적인 절차적 패턴을 보이는 경험에 대해서만 예약되어야 한다.

2. Metis 시스템

이러한 발견을 바탕으로, 저자들은 계층적 이중 표현 메모리 시스템인 Metis를 제안한다.

계층적 구조: Metis는 메모리 $M = (M_{text}, M_{code})$ 를 유지한다.
- 텍스트 메모리 ( $M_{text}$ ): 기초 역할을 하며, 경험을 자연어로 캡처한다. 이는 세 가지 뚜렷한 카테고리로 구성된다:
  - 플랜(Plans): 반복되는 서브 루틴을 위한 재사용 가능한 절차적 템플릿.
  - 사실(Facts): 환경 제약 조건 및 속성.
  - 함정(Pitfalls): 구조화된 실패 패턴 (트리거, 실수, 결과).
- 코드 메모리 ( $M_{code}$ ): 검증된 호출 가능한 도구 라이브러리.
차별화된 텍스트 성찰(Differentiated Text Reflection): 성찰 에이전트가 완료된 궤적(trajectory)을 세 가지 텍스트 카테고리로 추출한다. 이 에이전트는 중복된 항목을 병합하고 오래된 항목을 업데이트하여 텍스트 메모리가 일반적이고 정확하게 유지되도록 한다. 결정적으로, 이 에이전트는 단순히 궤적 텍스트에만 접근하는 것이 아니라 환경에 접근할 수 있는 유한한 추론 루프로 작동한다.
패턴 인식 코드 생성(Pattern-Aware Code Generation): 이 컴포넌트는 **선택적 승격 메커니즘(selective promotion mechanism)**을 구현한다.
- 모든 경험을 무차별적으로 코드로 변환하지 않는다.
- 텍스트 메모리 내에서 *실행 플랜(Execution Plans)*의 재사용을 모니터링한다.
- 특정 플랜이 충분히 자주 선택되어 재사용 임계값 $\theta$ 를 넘어서면, 해당 플랜은 승격된다.
- 부호화기(codifier)는 플랜 본문과 관련 작업 쿼리를 사용하여 도구를 합성한다 (작업 특유의 노이즈를 인코딩하는 것을 피하기 위해 원시 궤적은 의도적으로 제외한다).
- 생성된 도구는 샌드박스 내에서 의존성 폐쇄(dependency closure), 컴파일, 기능 테스트를 거친 후 채택된다.
메모리 관리자 및 성찰 하네스(Memory Manager & Reflection Harness):
- 관리자(Manager)는 현재 작업 쿼리에 따라 관련 텍스트 항목과 도구를 공동 검색(joint retrieval)한다.
- 하네스(Harness)는 성찰 에이전트에게 실행 증거를 "점진적으로 공개(progressive disclosure)"하며(긴 궤적을 요약함), 새로운 도구에 대한 엄격한 의존성 체크를 강제한다.
워크플로우: 시스템은 실행-성찰-재사용 루프로 작동한다. 성찰은 실행 경로와 별개로(비동기적으로) 발생하므로, 메모리 구축이 작업 서비스 레이턴시를 높이지 않도록 보장한다.

주요 기여

최초의 통제된 연구: 본 논문은 동일한 경험 세트와 공유된 에이전트 백본 위에서 텍스트와 코드 메모리 형태를 격리한 최초의 연구를 제시하며, 에이전트 시스템 효과로부터 표현 효과를 분리해 냈다.
Metis 시스템: 텍스트 메모리를 낮은 커밋의 기초로 취급하고, 반복되는 전략적 플랜을 검증된 호출 가능 도구로 선택적으로 승격시키는 계층적 이중 표현 시스템을 도입하였다. 동시에 사실과 함정은 텍스트로 유지한다.
경험적 검증: AppWorld 벤치마크에 대한 광범위한 실험을 통해, Metis가 기존의 자기 진화형 에이전트들에 비해 정확도, 실행 효율성, 메모리 구축 비용 사이에서 우수한 균형을 달성함을 입증하였다.

실험 결과

AppWorld 벤치마크(9개 애플리케이션, 457개 API)에서 평가되었으며, Metis는 No Memory(기본 ReAct), ACE(텍스트 기반 컨텍스트 진화), SkillX(스킬 기반 재사용)와 비교되었다.

정확도: Metis는 가장 높은 작업 정확도를 달성했다. Official split에서 No Memory 베이스라인 대비 8.3%, Resampled split에서 **11.3%**의 작업 목표 완수율(TGC) 향상을 보였다. 또한 ACE와 SkillX를 모두 능가했다.
실행 효율성: Metis는 베이스라인 대비 익스큐터(executor) 토큰을 (Official에서) 13.5%, (Resampled에서) 22.8% 감소시켰다. 또한 더 적은 ReAct 턴(Official 기준 14.55회 대비 11.25회)을 요구했다.
구축 비용: 도구를 합성함에도 불구하고, Metis는 Official split에서 SkillX(9.4M 토큰)보다 더 낮은 성찰 비용(7.9M 토크)을 기록했다.
강건성: 분포 변화(Official split) 상황에서 SkillX는 대부분의 이점을 잃었으나, Metis는 메모리 효용성을 대부분 유지하여 Metis의 선택적 접근 방식이 가진 우수한 전이 가능성을 입과했다.
절제 연구(Ablation Studies):
- Hybrid vs. Single: 전체 하이브리드 시스템은 "텍스트 전용" 및 "코드 전용" 변형 모델보다 우수한 성능을 보였으며, 이는 두 형태 간의 상호작용이 비가산적(non-additive)이며 시너지 효과가 있음을 확인시켜 준다.
- 재사용 게이트(Recurrence Gate): 재사용 게이트를 제거하면(조급한 부호화/Eager codification) 구축 비용이 47% 증가하고 정확도가 3.5 포인트 저하되어, 무차별적인 부호화가 과적합과 자원 낭비를 초래함을 증명했다.

의의

본 논문은 고정된 임의의 표현 방식 선택에서 벗어남으로써 자기 진화형 에이전트의 중요한 설계 격차를 해결한다고 주장한다. 텍스트와 코드가 서로 대체 가능한 것이 아니라 상호 보완적임을 입증함으로써, 본 연구는 선택적 승격 전략을 독려한다. Metis는 재사용 증거에 의해 부호화가 제어될 경우, 코드 메모리의 실행 효율성을 달성하면서도 텍스트 메모리의 낮은 구축 비용과 높은 전이 신뢰성을 유지할 수 있음을 보여준다. 이러한 접근 방식은 에이전트가 무차별적인 도구 합성의 막대한 비용이나 순수 텍스트 기반 추론의 비효율성을 겪지 않고도 시간이 지남에 따라 발전할 수 있게 한다.