기술 요약: PREPING – 작업 없이 에이전트 메모리 구축하기

1. 문제 제기

실행 가능한 환경 (예: 도구 API, 모델 컨텍스트 프로토콜 서버) 에 배포된 대규모 언어 모델 (LLM) 에이전트는 성공하기 위해 절차적 메모리가 필요합니다. 이 메모리는 환경별 워크플로우, 도구 조합 규칙, 그리고 실패 복구 전략을 포착합니다. 그러나 기존 메모리 구축 방법은 콜드스타트 간극에 직면해 있습니다:

• 오프라인 방법은 큐레이션된 인간 시연이나 해결된 궤적에 의존하는데, 이는 생성 비용이 많이 들고 배포 전 새로운 환경에서는 종종 사용할 수 없습니다.
• 온라인 방법은 배포 후 사용자 상호작용으로부터 메모리를 축적합니다. 이는 에이전트가 빈 메모리로 시작하게 하여 사용자를 초기 실패, 메모리 업데이트 지연, 그리고 추가적인 배포 비용에 노출시킵니다.

본 논문은 작업 전 메모리 구축 문제를 다룹니다: 에이전트가 목표 환경의 어떤 작업을 관찰하기 전에, 오직 자체 생성된 합성 연습만을 사용하여 재사용 가능한 절차적 메모리를 구축할 수 있을까요? 과제는 작업 지시문 없이 합성 연습이 쉽게 중복되거나, 실행 불가능하거나, 현실과 동떨어진 것이 되어 메모리 오염을 초래하고 개선 대신 퇴보하게 만든다는 점에 있습니다.

2. 방법론: PREPING

저자들은 PREPING(Pre-Task REusable Playbook MakING, 작업 전 재사용 가능 플레이북 제작) 을 제안합니다. 이는 메모리 구축을 무엇을 연습할지와 무엇을 저장할지에 대한 제어 문제로 취급하는 프레임워크입니다. PREPING은 세 개의 LLM 기반 모듈과 두 가지 고유한 메모리 상태를 포함하는 합성 연습 루프를 통해 작동합니다:

2.1 이중 메모리 상태

1. 제안자 메모리 ($M_{prop}$): 구축 시간 제어 상태입니다. 이는 합성 작업의 역사, 도구 사용 통계, 검증 결과, 그리고 현실 기반 환경 사실 (개체, 상태, 제약 조건) 을 추적합니다. 이는 커버리지와 실행 가능성을 보장하기 위해 미래 작업을 생성하는 것을 안내합니다.
2. 솔버 메모리 ($M_{sol}$): 배포 지향적 절차적 메모리입니다. 이는 성공적인 궤적에서 추출된 검증된 재사용 가능한 통찰력만을 포함합니다.

2.2 구축 루프

각 반복 $t$에서:

1. 제안자 ($A_{prop}$): 환경 문서 ($D$) 와 현재 제안자 메모리 ($M_{prop}$) 를 조건으로 합성 작업 $x_t$를 생성합니다. 제안자는 중복을 피하고 덜 탐구된 도구를 목표로 하도록 설계되었으며, 관찰된 환경 사실에 기반하여 작업을 현실화합니다.
2. 솔버 ($A_{sol}$): 목표 환경 ($E$) 에서 작업 $x_t$를 실행하여 궤적 $\tau_t$를 생성합니다.
3. 검증자 ($A_{val}$): 작업 - 궤적 쌍 $(x_t, \tau_t)$를 실행 가능성 (작업이 현실 기반이고 실행 가능한가?) 과 완료 (목표가 달성되었는가?) 에 대해 평가합니다.
4. 비대칭 업데이트:
   • 제안자 업데이트: 모든 경험 (실패하거나 실행 불가능한 작업을 포함) 이 $M_{prop}$를 업데이트합니다. 이를 통해 시스템은 무엇을 연습하지 말아야 하는지 학습하고 커버리지를 조정할 수 있습니다.
   • 솔버 업데이트: 실행 가능하고 성공적으로 완료된 것으로 간주된 궤적만 $M_{sol}$에 허용됩니다. 이들은 원시 로그가 아닌 간결한 절차적 불릿 (플레이북 스타일) 으로 추출됩니다.

3. 주요 기여

• 작업 전 메모리의 형식화: 본 논문은 에이전트가 목표 작업 분포에 접근할 수 없이 메모리를 구축해야 하는 설정을 정의하며, 이를 표준 온라인 학습이나 오프라인 파인튜닝과 구별합니다.
• 제안자 주도 제어: 단순한 자기 놀이 (self-play) 나 무작위 탐색과 달리, PREPING은 합성 연습 분포를 능동적으로 형성하여 도구 커버리지와 실행 가능성을 극대화하고 중복을 최소화하는 구조화된 제어 상태 ($M_{prop}$) 를 도입합니다.
• 검증 게이트 허용: 이 프레임워크는 솔버의 메모리를 오염시키기 전에 실행 불가능한 합성 궤적을 명시적으로 필터링하여 오해의 소지가 있는 절차적 안내의 추출을 방지합니다.
• 비용 효율적 초기화: PREPING은 메모리 구축을 반복적인 배포 시간 비용에서 일회성 배포 전 투자로 전환하여 콜드스타트 단계 동안 작업당 비용을 크게 줄입니다.

4. 실험 결과

PREPING은 AppWorld(상태 유지 앱 워크플로우), BFCL v3(구조화된 함수 호출), MCP-Universe(현실적인 MCP 서버 도구 사용) 에서 평가되었습니다.

• 성능 향상: PREPING은 문서만 의존하거나 자유 형식 탐색에 의존하는 베이스라인을 크게 능가합니다.
  • AppWorld: 메모리 없는 베이스라인 (Base) 대비 +17.1 점.
  • BFCL v3: Base 대비 +19.3 점.
  • MCP-Universe: Base 대비 +5.4 점.
  • 이는 구축을 위해 그러한 데이터를 사용하지 않았음에도 불구하고, 인간 정의 작업이나 배포 시간 사용자 데이터를 활용하는 강력한 작업 정보 기반 방법 (예: ACE-Offline 및 ACE-Online) 과 경쟁력 있는 성능을 달성합니다.
• 절차 제거 연구: 성취는 검증 게이트 허용과 제안자 측 제어의 조합에 의해 주도됩니다. 검증자를 제거하면 메모리 오염이 발생하며, 제안자 메모리를 제거하면 중복되거나 실행 불가능한 연습이 발생합니다.
• 콜드스타트 완화: 온라인 학습을 초기화하는 데 사용될 때 (PREPING+ACE), 이 프레임워크는 초기 실패율을 크게 줄입니다. AppWorld 에서 배포 직후 58 개의 작업 후에 ACE-Online 과 동일한 도구 커버리지를 달성하는 반면, ACE-Online 은 동일한 커버리지에 도달하기 위해 58 개의 작업이 필요합니다.
• 비용 절감: PREPING은 온라인 메모리 구축 (ACE-Online) 대비 AppWorld 에서 2.99 배, BFCL v3 에서 2.23 배의 배포 시간 비용을 절감합니다. 이는 사용자 상호작용 중 반복적인 메모리 업데이트 호출을 피하기 때문입니다.
• 일반화: 이 방법은 다양한 백본 모델 (GPT-5.1, GPT-OSS-120B, Qwen3-235B) 에서 일반화되어, 이득이 특정 모델 아키텍처가 아닌 구축 절차에서 비롯됨을 나타냅니다.

5. 중요성과 주장

본 논문은 에이전트 메모리가 배포 시간 상호작용으로부터 수동적으로 축적될 필요가 없다고 주장합니다. 대신 배포 전 통제된, 환경 기반 합성 연습을 통해 능동적으로 준비될 수 있습니다.

• 실질적 영향: PREPING은 역사적 작업 데이터가 존재하지 않는 새로운 환경의 "콜드스타트" 문제에 대한 실현 가능한 해결책을 제공합니다. 이는 에이전트가 재사용 가능한 절차의 "플레이북"과 함께 배포되어 즉각적인 성능을 개선하고 온라인 적응 비용을 줄이도록 합니다.
• 겸손한 주장: 저자들은 이 방법이 합성 작업을 현실화하기 위해 충분히 상세한 API 또는 도구 문서에 대한 접근을 가정한다고 지적합니다. 그들은 문서화가 부실한 환경에서는 현실 기반 합성 작업 생성의 실행 가능성이 제한될 수 있음을 인정합니다. 본 논문은 완전히 문서화되지 않은 환경에 대한 메모리 구축을 해결한다고 주장하는 것이 아니라, 문서화는 있지만 작업 분포는 알려지지 않은 구조화된 인터페이스 (MCP 서버 등) 가 있는 환경을 위한 것입니다.

요약하자면, PREPING은 합성 작업 생성과 저장할 궤적 선택을 공동으로 제어함으로써 에이전트가 이전 인간 작업 데이터 없이도 효과적인 절차적 메모리를 구축할 수 있음을 보여줍니다. 이는 오프라인 준비와 온라인 적응 사이의 간극을 메워줍니다.