기술 요약: 메모리 인 더 루프 (Memory in the Loop)

문제 정의

언어 에이전트는 관찰, 추론, 행동, 반복이라는 표준 루프를 기반으로 작동한다. 그러나 에이전트가 추론하는 대상인 메모리는 일반적으로 턴당 최대 한 번만 쿼리되는 외부 리소스로 취급된다(per-turn retrieval). 이러한 설계는 검색 지연 시간(retrieval latency)이 매우 크다는 가정에 기인한다. 네트워크 기반 벡터 스토어는 보통 50~200ms의 응답 시간을 가지며, 만약 에이전트가 매 추론 단계마다 이러한 스토어를 참조한다면 엔드 투 엔드(end-to-end) 지연 시간이 최대 83배까지 증가할 수 있다. 결과적으로 현재 업계의 가이드라인("memory-first")과 시스템 설계는 검색을 턴당 1회로 제한하거나, 스케줄링을 통해 서빙 레이어에서 비용을 숨기는 방식을 취하고 있다.

본 논문은 이러한 지연 시간 제약이 에이전트 설계의 근본적인 법칙이 아니라, 스토어가 어디에 위치하느냐에 따른 산물이라고 주장한다. 네트워크 지연 시간(수십에서 수백 밀리초)은 루프 내 검색을 비싸게 만들지만, 프로세스 내부(in-process) 스토어는 약 100µs 내에 응답할 수 있다. 핵심 문제는 지연 장벽이 제거되었을 때, 메모리를 추론 루프 내부로 이동시켜 매 단계마다 읽고 쓰는 것이 가능한지, 그리고 유익한지를 파악하는 것이다.

방법론

핵심 아키텍처

저자들은 WorkingMemory 프리미티브로 래핑된 에페머럴(ephemeral) 인-프로세스 시맨틱 스토어(vxdb)를 사용하여 "메모리 인 더 루프"를 구현한다. 이 스토어는 add, recall, match 연산을 지원한다. 결정적으로, 이 스토어는 네트워크 서비스에 연결되지 않고 에이전트/태스크별로 할당되어 마이크로초 단위의 응답 시간을 목표로 한다.

실험 설정

본 연구는 두 가지 주요 실험 체제를 채택한다:

1. 윈도우드 리콜 태스크 (엔드 투 엔드 성능):

   • 시나리오: 6턴 구성의 여행 계획 대화. 사용자는 대화 초기에 5개의 지속적인 제약 조건을 진술한다. 에이전트는 대화 끝에 이 5가지 제약을 모두 나열해야 한다.
   • 제약 조건: 컨텍스트 윈도우를 메시지 $w=4$로 제한하여, 초기 제약 조건들이 가시적인 컨텍스트에서 밀려나도록 한다.
   • 조건:
     • Baseline/Aware: 메모리 도구가 없음 (자신의 히스토리가 짧다는 것을 인지함).
     • Notes: 모든 답변에 모든 제약 조건을 다시 언급하도록 지시받음 (도구가 없는 상태의 상한선).
     • Memory: 인-프로세스 스토어를 기반으로 하는 remember/recall 도구를 갖춤.
   • 모델: "GPT-5 계층" (gpt-5-nano, gpt-5-mini, gpt-5, gpt-5.5)을 대상으로 테스트.

2. 인과적 루프 가드 태스크 (지연 시간 vs 결과):

   • 시나리오: 에이전트가 보안 알림 스트림을 처리하며, 중복 항목에 대해 INVESTIGATE할지 SKIP할지 결정한다.
   • 메커니즘: 코드 가드가 중복 조사를 방지하기 위해 매 행동 전 스토어를 확인한다.
   • 변수: 인-프로세스 스토어의 지연 시간을 라운드 트립 지연(0 µs부터 200 ms까지)을 주입하여 조작하면서, 턴당 메모리 예산은 100 ms로 고정한다.
   • 실험군:
     • In-process: 실시간 속도 (~17.5–85 µs).
     • Delayed Ladder: 지연 시간을 주입한 동일 로직 (+5, +15, +30, +50, +110 ms).
     • Per-turn RAG: 업계 표준 (턴당 1회 검색).
   • 지표: 실행된 중복 행동 횟수 (12개의 중복 중).

비용 모델링

저자들은 검색 비용($f \cdot c$)이 추론 단계 시간($r$)에 비해 무시할 수 있는 수준일 때 인-루프 메모리가 실행 가능하다는 타당성 경계(feasibility frontier)를 정의한다. 이들은 전체 연산 비용(임베딩 + 스토어)을 측정하여, 매 단계 접근이 LLM 단계와 비교했을 때 "무료"인지 판단한다.

주요 결과

1. 타당성 및 지연 시간 세금 (Latency Tax)

• 인-프로세스 속도: 인-프로세스 스토어는 중앙값 80–165 µs의 지연 시간으로 작동한다.
• 지연 시간 세금: 턴당 20회의 인-루프 검색을 수행할 경우, 인-프로세스 스토어의 총 차단 시간은 ~1.7 ms이다. 반면, 클라우드 벡터 스토어(RTT 110 ms)는 턴당 2.2초의 세금을 부과한다.
• 타당성: 인-프로세스 속도에서는 에이전트가 한 단계당 약 953회의 검색을 감당할 수 있는 반면(10% 지연 예산 가정), 네트워크 스토어는 단계당 1회 미만의 룩업만을 감당할 수 있어 배분이 강제된다.

2. 태스크 성능 (윈도우드 리콜)

• 베이스라인 실패: 모든 베이스라인 및 "Aware" 실행은 제약 조건 회상에서 0/5를 기록했다. 컨텍스트 윈도우 제한으로 인해 모델 크기와 상관없이 완전한 실패가 발생했다.
• 재진술 베이스라인: 모든 답변에 제약 조건을 다시 언급하도록 지시받은 베이스라인은 5/5를 달성했다. 이는 에이전트가 컨텍스트를 능동적으로 관리하면 해결 가능한 과제임을 보여주지만, 이는 워킹 셋(working set) 규모에 따라 증가하는 토큰 "임대료"를 발생시킨다.
• 메모리 인 더 루프: 인-루프 메모리 조건은 모델 전반에 걸쳐 3.6–4.8/5의 회상 성능을 보였다.
  • 실패 분석: 스토어는 사실을 잃어버린 적이 없다 (244/244 쓰기 보존). 누락은 오로지 **읽기 정책 실패(read-policy failures)**였다. 에이전트가 제약 조건을 과하게 덮어써서(중복 생성) 고정된 $k=8$ 윈도우를 통해 한 번만 읽었을 때, 중복된 항목들로 인해 윈도우가 혼잡해진 것이 원인이었다. 실패는 메모리 기질이 아닌 에이전트의 도구 사용 방식에 있었다.

3. 지연 시간의 인과적 영향 (루프 가드)

• 단조적 용량-반응 관계: 고정된 예산 하에서 스토어 지연 시간이 증가함에 따라 중복 행동이 단조롭게 증가했다.
  • In-process (0 ms): 0.0 중복 행동.
  • +15 ms: 1.4–1.6 중복 행동.
  • +110 ms (Cloud): 12개 중 7.2개의 중복 행동 발생.
• 통계적 유의성: 인-프로세스와 110 ms 지연 시간 사이의 차이는 테스트된 두 모델 모두에서 통계적으로 유의미했다 ($p=0.0079$).
• 메커니즘: 110 ms의 경우, 예산(100 ms)이 단 한 번의 룩업도 감당할 수 없어 가드가 사실상 비활성화되었다. "실수"는 검색 오류가 아니라 체크 자체의 부재였다.
• Per-Turn RAG: 업계 표준인 턴당 검색은 성능이 좋았으나(0.4–0.6 중복 행동), 단일 턴 내에서 발생하는 중복을 잡아내는 데 구조적으로 실패했다. 반면 인-프로세스 가드는 모든 중복을 잡아냈다.

4. 임베딩 병목 현상

• 인-루프 스택에서 지배적인 비용은 스토어가 아니라 임베딩이다. 네트워크 임베딩 API는 200–400 ms가 소요된다.
• 인-프로세스 스토어를 작은 로컬 임베더(32M 파라미터, 32 µs)와 결합함으로써, 전체 연산(임베딩 + 스토어)을 **40 µs**로 낮출 수 있다. 이를 통해 인-루프 메모리의 마지막 장벽을 제거한다.

의의 및 주장

이론적 기여: 확장된 작업 기억 (Extended Working Memory)

본 논문은 공학적 발견을 확장된 마음 이론(Extended-Mind Thesis) (Clark & Chalmers, 1998)에 근거하여 설명한다. 저자들은 외부 리소스가 다음과 같은 조건을 충족할 때 에이전트의 "작업 기억"의 일부(구성 요소)가 된다고 주장한다:

1. 지속적으로 사용 가능할 것.
2. 어려움 없이 직접 접근 가능할 것.
3. 자동으로 승인될 것.

저자들은 첫 번째와 두 번째 기준을 지연 시간 예산으로 해석한다. 100 ms의 네트워크 호출은 에이전트가 참조하는 도구이지만, 100 µs의 인-프로세스 스토어는 에이전트가 가지는 리소스이다. 지연 시간이 충분히 낮아 추론 단계에 투명하게 녹아들 때, 스토어는 외부 데이터베이스에서 확장된 작업 기억으로 전환된다.

공학적 기여

• 설계 변수로서의 지연 시간: 본 논문은 검색 빈도를 서빙 레이어의 제약 사항에서 에이전트 수준의 설계 축으로 전환한다. 스토어의 지연 시간 자체가 인-루프 패턴 자체보다 중요한 게이팅 팩터임을 입증한다.
• 인과적 연결: 스토어 지연 시간이 모델의 능력과 독립적으로 태스크 결과(중복 행동)를 결정한다는 인과적 증거를 제공한다.
• 아키텍처의 변화: 메모리를 연결된 서비스가 아니라, 태스크별로 할당되는 루프 프리미티브(스크래치패드와 같은)로 취급할 것을 제안한다.

겸손한 태도 및 한계

저자들은 연구 범위를 명확히 밝힌다:

• 스토어가 모델을 더 "똑똑하게" 만든다고 주장하지 않는다. 모델은 여전히 가드 없이 중복을 인식하지 못했다. 시스템이 성공한 이유는 *스캐폴드(scaffold)*가 메모리를 확인할 여력이 있었기 때문이다.
• "Notes" 베이스라인(재진술)이 작은 5개 팩트 태스크에서 메모리 도구보다 우수한 성능을 보였는데, 이는 재진술이 워킹 셋 규모에 따라 증가하는 비용을 지불함을 시사한다. 메모리 도구는 규모가 커질 때 이를 피할 수 있다.
• 본 연구는 메모리의 시간적(temporal) 측면(언제 추론에 참여하는가)에 집중한다. 무엇을 유지할지, 어떻게 조직할지, 그리고 생애주기 관리(망각/우선순위 지정)에 관한 문제는 향후 과제로 남겨두었다.

결론적으로, 본 논문은 인-루프 레짐이 단순히 실행 가능할 뿐만 아니라, 메모리 기질이 인-프로세스이고 네트워크 지연을 제거하기 위해 로컬 임베더와 결합되어 있다면, 턴 내 상태 일관성이 필요한 작업에 대해 인과적으로 우월하다고 주장한다.