기술 요약: MemCompiler — embodied 에이전트를 위한 상태 조건부 메모리

문제 제기

embodied 에이전트의 현재 메모리 시스템은 주로 Ahead-of-time Monolithic Memory Injection(AMMI) 패러다임에 의존합니다. 이 접근법에서 검색된 메모리 항목은 에피소드 시작 시 정적 컨텍스트로 조립되어 실행 내내 고정됩니다. 저자들은 이 설계가 **주의 희석 (attention dilution)**으로 고통받으며, 에이전트의 실행 상태가 진화함에 따라 정적 메모리가 현재 필요와 점점 더 불일치한다고 주장합니다. 가치 있는 경험은 관련 없거나 역효과를 내는 항목들에 묻히게 되어, 경량 정책 실행기들이 메모리 없는 기준선 이하로 저하됩니다.

이 문제는 언어 에이전트에는 없는 두 가지 구조적 속성으로 인해 embodied 에이전트에게 특이적입니다:

1. 상태 의존적 관련성: 메모리의 유용성은 명시적 쿼리뿐만 아니라 연속적인 시각 - 행동 스트림에서 유도된 하위 목표 진행 상황과 환경적 신념에 따라 추론된 하위 목표 진행 상황에 의존합니다. 정적 주입은 이러한 변화를 적응할 수 없습니다.
2. 경험의 다중 모달성: embodied 경험은 텍스트로 인코딩하기 어려운 공간적 및 affordance 정보를 포함합니다. 텍스트 전용 메모리는 중요한 단서를 잃는 반면, 단순한 시각 주입은 주의 희석을 증폭시킵니다.

언어 에이전트를 위한 기존 솔루션 (예: 구조화된 그래프, 점진적 공개) 은 강력한 추론 백본과 텍스트 중심 상호작용을 전제로 하므로, 시각 스트림을 기반으로 작동하는 경량 embodied 정책에 적합하지 않습니다.

방법론: MemCompiler

본 논문은 정적 주입에서 **상태 조건부 메모리 컴파일 (SCMC)**로의 패러다임 전환을 제안하는 MemCompiler를 제시합니다. 소프트웨어 컴파일러가 런타임 환경에 기반하여 소스 코드를 타겟 명령어로 변환하는 것과 유사하게, MemCompiler 는 작업 메모리를 "소스 코드"로, 에이전트의 현재 상태를 "런타임 컨텍스트"로 취급합니다.

핵심 구성 요소

1. 간략한 상태 (Brief State, $b_t$): 메모리 컴파일러가 유지하는 구조화된 런타임 컨텍스트입니다. 이는 작업 목표, 행동 기록, 관찰을 두 가지 차원으로 압축합니다:
   • 작업 진행 상태: 완료된/현재/대기 중인 하위 목표.
   • 환경 신념: 알려진 객체 위치, 에이전트 상태, 환경적 사실.
2. 메모리 컴파일러 ($\pi_C$): 현재 상태 $s_t = (o_t, b_t)$와 메모리 풀 $M$을 읽는 경량 모델입니다. 각 단계에서 동적으로 다음 네 가지 유형 중 하나를 출력하도록 결정합니다:
   • 경험: 실행기를 위한 전략적 지침 ($m^*_{t}$).
   • 간략화: 런타임 컨텍스트에 대한 업데이트 ($\Delta b_t$).
   • 하이브리드: 지침과 컨텍스트 업데이트 모두.
   • NoAction: 현재 적용 가능한 메모리가 없을 때 출력 없음.
3. Soft-Mem(이중 채널 출력): 다중 모달 격차를 해결하기 위해, 컴파일된 메모리는 두 가지 채널을 통해 전달됩니다:
   • 텍스트 채널: 해석 가능한 전략적 지침.
   • 잠재적 소프트 채널 ($m^*_{t, soft}$): 텍스트로 표현할 수 없는 지각적 및 공간적 정보 (예: 시각적 레이아웃) 를 실행기의 임베딩 공간으로 직접 투사하는 잠재적 소프트 토큰. 직교성 제약은 이 채널이 텍스트의 중복 복사본으로 수렴하지 않도록 보장합니다.

학습 파이프라인

MemCompiler 는 두 단계에서 엔드 - 투 - 엔드로 학습됩니다:

1. 지도 미세 조정 (SFT): 텍스트 생성 손실, 주입된 소프트 토큰을 사용한 행동 예측 손실, 그리고 소프트 토큰 손실이라는 세 가지 목적을 최적화합니다. 소프트 토큰 손실에는 의미 정렬 항과 잠재 표현과 텍스트 표현 간의 코사인 유사성을 패널티로 부과하는 보완성 제약이 포함되어, 잠재 채널이 고유한 지각 정보를 인코딩하도록 보장합니다.
2. 강화 학습 (GRPO): 이진 작업 성공 보상에 기반하여 메모리 컴파일러의 컴파일 결정을 정제하기 위해 그룹 상대 정책 최적화 (Group Relative Policy Optimization) 를 사용합니다. 이를 통해 모델은 SFT 분포를 넘어선 전략을 탐색할 수 있습니다.

주요 기여

• 패러다임 전환: 정적 주입을 구조화된 간략한 상태에 조건부인 동적, 단계별 컴파일로 대체하는 SCMC 를 도입합니다.
• 다중 모달 메모리 전달: 텍스트 병목 현상을 우회하여 잠재적 지각 지식을 실행기에 직접 전달하는 이중 채널 메커니즘인 Soft-Mem 을 제안합니다.
• 상태 인식 컴파일: 경량 컴파일러가 메모리를 효과적으로 필터링하고 포맷할 수 있음을 입증하여, 정적 컨텍스트로 인한 주의 희석 없이 더 작은 모델들이 복잡한 작업을 수행할 수 있게 합니다.

실험 결과

이 방법은 네 가지 오픈소스 백본 (Qwen 시리즈) 과 두 가지 클로즈드소스 백본 (GPT-5.2, Gemini-3-flash) 을 대상으로 AlfWorld, EmbodiedBench(EB-ALFRED, EB-Habitat), ScienceWorld에서 평가되었습니다.

• 성능 향상: MemCompiler 는 모든 오픈소스 실행기에서 메모리 없는 기준선 대비 일관되게 성능을 향상시켰습니다. EB-ALFRED 에서 +110%, ScienceWorld 에서 **+129%**의 향상을 보였습니다.
• AMMI 대비 강건성: AMMI 기준선은 더 작은 오픈소스 모델에서 성능이 자주 저하되었습니다 (예: Qwen-2.5-VL-32B 에서 -83.3%). 반면 MemCompiler 는 모든 오픈소스 백본을 향상시킨 유일한 방법이었습니다.
• 격차 해소: MemCompiler 는 중간 규모 오픈소스 모델이 최첨단 클로즈드소스 시스템에 근접하거나 이를 능가하도록 했습니다. 예를 들어, Qwen-3.5-27B + MemCompiler 는 Alf World 에서 Gemini-3-flash 와 맞먹었고, EB-Habitat 에서 GPT-5.2 를 능가했습니다.
• 효율성: 실행기 입력 토큰을 60% 줄이고 단계당 지연 시간을 0.30 초에서 0.12 초로 단축함으로써, MemCompiler 는 상태 인식 컴파일이 효과성과 효율성 모두를 향상시킨 것을 입증했습니다.
• 절대 실험: 간략한 상태나 Soft-Mem 채널을 제거하면 성능이 크게 저하되어, 상태 조건부 및 잠재적 지각 전달이 모두 중요함을 확인했습니다.

의의

이 논문은 embodied 에이전트를 위한 메모리의 진전이 저장된 내용뿐만 아니라 메모리가 언제 그리고 어떻게 전달되는지에 점점 더 의존한다고 결론지었습니다. 메모리 활용을 에이전트의 진화하는 상태에 조건부인 컴파일 과정으로 재정의함으로써, MemCompiler 는 정적 주입의 근본적인 불일치를 해결하여 경량 embodied 에이전트가 주의 희석 없이 축적된 경험을 효과적으로 활용할 수 있게 합니다.