기술 요약: PEAM - 매개변수화된 구체적 에이전트 메모리

1. 문제 제기

현재 대규모 언어 모델 (LLM) 기반의 구체적 에이전트, 특히 마인크래프트와 같은 복잡한 환경에서의 에이전트는 비매개변수 메모리에 크게 의존합니다. 이러한 시스템에서는 과거의 궤적, 성찰, 기술이 외부 (예: 벡터 데이터베이스나 기술 라이브러리) 에 저장되어 추론 시 프롬프트에 다시 주입됩니다. 이는 회상을 가능하게 하지만 다음과 같은 중대한 한계를 제시합니다:

• 지연 및 비용: 모든 의사결정 주기는 과거 경험의 검색과 직렬화를 필요로 하여 컨텍스트 창 사용량과 추론 지연을 증가시킵니다.
• 정적 정책: 에이전트의 근본적인 매개변수 정책 (백본 모델 또는 학습 가능한 모듈) 은 작업 전반에 걸쳐 변경되지 않습니다. 외부 라이브러리가 성장하더라도 에이전트는 기술을 더 효율적으로 실행하는 법을 "학습"하지 않을 뿐, 단순히 검색할 뿐입니다.
• 결여된 통합: 기존 시스템은 (기술 라이브러리를 통한) 경험의 획득을 처리하지만, 선택된 에피소드 흔적을 내재화되고 견고한 매개변수 역량으로 변환하는 통합 메커니즘은 부족합니다.

본 논문은 인지 시스템에서 견고한 메모리는 빠른 에피소드 저장소와 느리고 분산된 매개변수 저장소라는 두 가지 상보적 시스템에서 비롯되며, 오프라인 통합에 의해 결합된다고 주장합니다. PEAM 은 외부 회상에서 에이전트의 학습 가능한 매개변수로 경험이 이동할 수 있는 경로를 창출함으로써 구체적 에이전트에게 이를 실현하는 것을 목표로 합니다.

2. 방법론

PEAM(Parametric Embodied Agent Memory) 은 경험을 매개변수 기술로 내재화하도록 설계된 2 계층 프레임워크입니다.

아키텍처

• 느린 계층 (의사결정적): 대규모 LLM(예: GPT-4o) 은 개방형 추론, 코드 합성, 결과 검증을 처리합니다. 환경을 탐색하고 실패를 감지하며 수정된 궤적을 생성합니다.
• 빠른 계층 (매개변수적): Qwen3-VL-8B-Instruct 백본을 기반으로 구축된 멀티모달 전문가 혼합 (MoE) LoRA 아키텍처입니다. 이는 통합된 기술을 낮은 지연 시간으로 반사적으로 실행합니다.
• 에피소드 저장소: 느린 계층이 생성한 성공적인 궤적과 실패 - 수정 쌍을 단계별로 저장하는 외부 메모리입니다.

핵심 메커니즘

PEAM 은 무엇을 내재화할지, 언제 내재화할지, 그리고 어떻게 내재화할지라는 세 가지 중요한 질문에 답합니다.

A. 어떻게: 성공 및 실행 - 수정 통합

PEAM 은 실패를 1 급 훈련 신호로 취급합니다. 에피소드 저장소는 다음을 포함합니다:

1. 성공 궤적 ($D_{succ}$): 검증된 성공적인 실행.
2. 실패 - 수정 쌍 ($D_{cpair}$): 동일한 컨텍스트 하에서 실패한 궤적 ($\tau_f$) 과 그 후의 수정된 성공 ($\tau_c$) 의 쌍.

빠른 모듈은 공동 목적 함수를 사용하여 특정 카테고리별 격리된 어댑터($\theta_c$) 를 업데이트합니다:
$$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$$

• 행동 복제 (BC): 액션 파서가 기능하는 데 필요한 절대적인 구문적 발판 (예: 코드 래퍼) 을 어댑터가 학습하도록 보장합니다.
• PEAM-DPO(직접 선호도 최적화): 수정된 궤적이 실패한 궤적보다 선호되는 대비 손실입니다. 이는 에이전트가 무엇이 성공하는지뿐만 아니라 어떻게 행동을 수정하는지 학습하게 합니다.
• 격리: 업데이트는 특정 카테고리 어댑터 (예: 제작, 전투) 로 제한되어 다른 기술 간 간섭을 방지합니다.

B. 무엇을: 매개변수화 가치 (PV) 점수

모든 경험이 내재화되어야 하는 것은 아닙니다. PEAM 은 다음을 기반으로 후보를 순위 매기는 점수 함수를 사용합니다:

• 비용 절감 ($U_{cost}$): 추정된 검색 비용 절감 (빈도 $\times$ 코드 길이).
• 안정성 ($U_{stab}$): 다양한 컨텍스트에서의 성공 일관성.
• 중복성 ($P_{redun}$): 이미 내재화된 기술과의 유사성을 패널티로 부과합니다.
• 망각 위험 ($R_{forget}$): 구조적 대리 변수; 기술이 기존 매개변수와 카테고리를 공유할 경우 간섭 위험이 있습니다 (격리가 이를 완화하지만, 점수는 카테고리 정체성을 고려합니다).

PV 점수의 상위-$q$ 분위수에 있는 후보만 통합 대상으로 고려됩니다.

C. 언제: 자기 유도 통합 (STC)

고정된 일정 대신 PEAM 은 규모 무관 자기 유도 메커니즘을 사용합니다. 통합은 통계적 검정 (Z-점수) 에 의해 결정된 기술의 최근 실패율이 역사적 기준을 현저히 초과할 때 트리거되며, 작업별 절대 임계값이 아닙니다. 이는 트리거가 재조정 없이 다양한 작업 분포 간에 전이될 수 있게 합니다.

3. 주요 기여

1. 매개변수 메모리 프레임워크: PEAM 은 구체적 에이전트 메모리를 추론 시 검색에서 매개변수 거주 기술로 전환하여 지연 시간과 토큰 소비를 줄이는 동시에 장기 작업 성능을 향상시킵니다.
2. 훈련 신호로서의 실패: 실패를 프롬프트를 위한 텍스트 성찰로 변환하는 시스템과 달리, PEAM 은 공동 BC 및 DPO 목적 함수를 사용하여 실패 - 수정 궤적 쌍을 직접 훈련합니다. 이는 에이전트가 실패와 성공 간의 구체적인 행동 차이를 학습하게 합니다.
3. 아키텍처 기반 망각 저항: 물리적으로 격리된 카테고리별 LoRA 어댑터를 사용하여 PEAM 은 매개변수 수준의 지속적 학습을 달성합니다. 전투 기술을 내재화한다고 해서 제작에 사용된 매개변수가 덮어쓰이지 않으므로, 정규화 대신 설계에 의해 파국적 망각을 제거합니다.
4. 규모 무관 통합 트리거: 상대적 실패 통계에 의존하는 자기 유도 통합 메커니즘의 도입으로 에이전트는 수동적 작업별 임계값 조정 없이 자체 진화할 수 있습니다.

4. 실험 결과

실험은 VOYAGER 프레임워크를 사용하여 마인크래프트 (1.19) 에서 수행되었으며, PEAM 을 검색 기반 에이전트 (VOYAGER, Optimus-1), 비매개변수 메모리 변형 (Reflexion), 그리고 매개변수 기반선 (전체 미세 조정, 공유 LoRA, EWC) 과 비교했습니다.

• 작업 성공: PEAM 은 장기 작업에서 **69.7%**의 성공률을 달성하여 가장 강력한 검색 기반선 (VOYAGER, 54.5%) 보다 +15.2 퍼센트 포인트 더 높은 성능을 보였습니다 (McNemar $p=0.018$).
• 효율성: PEAM 은 추론 시 기술 라이브러리를 다시 주입할 필요가 없음을 통해 중앙값 호출당 지연 시간을 42% (5.5 초 $\to$ 3.2 초) 줄이고 작업당 토큰 소비를 85% (31.2K $\to$ 4.6K) 줄였습니다.
• 망각 저항: 순차적 통합 실험 (제작 $\to$ 수집 $\to$ 전투) 에서 PEAM 은 이전에 학습된 기술에 대해 0% 망각을 보였습니다. 반면, 공유 LoRA 기반선은 32.4% 성능을 잃었고, 전체 미세 조정은 78.5% 를 잃었습니다.
• 어블레이션 통찰:
  • BC + DPO: 순수 DPO 어댑터는 파서 호환 코드를 생성하지 못했습니다 (12 건 중 0 건), 반면 공동 목적 함수는 성공했습니다 (12 건 중 12 건). BC 항은 배포 가능한 구문을 유지하는 데 필수적입니다.
  • 격리: 카테고리별 격리를 제거하면 상당한 망각이 발생하여 구조적 격리가 유지의 주된 동인임을 확인했습니다.
  • 트리거 견고성: 자기 유도 메커니즘은 고정 임계값 기반선과 달리 재조정 없이 다양한 작업 분포 (제작 중심 대 전투 중심) 에서 일관된 성능을 유지했습니다.

5. 중요성 및 주장

본 논문은 PEAM 이 구체적 에이전트가 외부 역사 축적에서 핵심 정책의 일부로 선택된 경험을 내재화하는 데 실현 가능한 경로를 보여준다고 주장합니다.

• 검색 대비 효율성: 결과는 풍부한 검색 (예: 멀티모달 컨텍스트) 이 도움이 되지만, 매개변수로 기술을 내재화하는 운영상 이점 (지연 시간, 토큰 감소, 직접 실행) 은 검색만으로는 포착할 수 없는 이점을 제공함을 시사합니다.
• 구조적 지속적 학습: 이 연구는 구체적 에이전트에서의 망각 저항이 정규화 기술뿐만 아니라 아키텍처(매개변수 격리) 에 의해 지원되어야 한다고 주장합니다.
• 방법론적 발견: 논문은 순방향 통과 선호도 마진 (DPO 점수) 이 항상 생성된 코드의 배포 가능성을 예측하지는 못함을 강조하며, 구문적 제약을 보존하는 공동 목적 함수의 필요성을 강조합니다. 또한 실제 세계 쌍 데이터가 부족할 때 궤적 재 슬라이싱이 교차 분포 평가의 실현 가능한 대안이 될 수 있음을 지적합니다.

저자들은 구체적 에이전트가 외부 메모리를 가진 고정 정책으로만 작동해서는 안 되며, 선택된 경험이 정책 자체의 일부가 되어 자체 진화와 효율적 실행을 가능하게 하는 통합 경로가 필요하다고 결론지었습니다.