기술 요약: 신경 절차적 메모리 (Neural Procedural Memory, NPM)

문제 정의

대규모 언어 모델(LLM)은 정적인 해결사로서 탁월한 능력을 보여주지만, 동적이고 개방적인 환경에서 작동하는 자율 에이전트로 변모시키는 데에는 여전히 어려움이 따릅니다. 이 전환의 핵심적인 병목 현상은 **지속적인 절차적 메모리(persistent procedural memory)**의 부재입니다. 현재의 에이전트 아키텍처는 주로 검색 증강 생성(RAG)에 의존하여 명시적인 텍로 기반 가이드라인(예: 워크플로우, 통찰력)을 컨텍스트 윈도우에 주입합니다.

그러나 본 논문은 오직 기호적 텍스트 지침에만 의존하는 것이 **"텍스트-행동 불일치(text-action disconnect)"**를 초래한다고 주장합니다. 절차적 지식은 종종 암묵적이고 추상적입니다. 복잡한 추론 패턴을 이산적인 자연어 토큰으로 압축하는 과정에서는 필연적으로 정보 손실이 발생합니다. 결과적으로, 에이전트는 검색된 지침을 이해할 수는 있어도 이를 엄격하게 실행하는 데에는 실패할 수 있으며, 이는 중요한 중간 단계를 누락하거나 검색된 워크플로우를 실행 궤적과 일치시키지 못하는 결과로 이어집니다. 이러한 불일치는 특히 장기적인 과업(long-horizon tasks)에서 상태를 유지하고 순차적 논리를 준수해야 할 때 더욱 두드러집니다.

방법론: 신경 절차적 메모리 (NPM)

이러한 한계를 해결하기 위해 저자들은 명시적인 텍스트 지침 대신 **암묵적 활성화 스티어링(implicit activation steering)**을 통해 에이전트 메모리를 표현하는 학습 불필요(training-free) 프레임워크인 **신경 절차적 메모리(NPM)**를 제안합니다. NPM은 에이전트가 텍스트를 읽도록 하는 대신, 과거의 대조적 경험으로부터 추출된 절차적 기술을 모델의 활성화 공간 내 스티어링 벡터로 증류합니다.

이 프레임워크는 세 단계로 작동합니다:

1. 대조적 경험 구축 (Contrastive Experience Construction)

NPM은 과거의 실패 사례로부터 효과적인 추론 패턴을 분리함으로써 쌍을 이룬 추론 세그먼트 $(x^+, x^-)$를 구축합니다. 이는 절차적 신호를 포착하기 위해 **이중 입도 전략(dual-granularity strategy)**을 채택합니다:

• 궤적 간 대조 (Inter-trajectory Contrast): 특정 과업에 대한 성공적인 궤적($\tau^+$)과 실패한 시도($\tau^-$)를 정렬하여 글로벌 행동 변화를 포착합니다.
• 궤적 내 대조 (Intra-trajectory Contrast): 단일 실패 궤적 내의 스텝 단위 차이를 활용합니다. 이는 "퇴보적 단계(degenerate steps)"(예: 중복 루프, 유효하지 않은 행동)를 식별하고, 이를 동일한 궤적 내의 "효과적인 단계"와 대조합니다. 이를 통해 성공적인 궤적이 희소한 상황에서도 실패로부터 학습할 수 있습니다.

2. 절차적 메모리 추출 (Procedural Memory Extraction)

프레임워크는 텍스트 대조를 표현 공간에서의 연속적인 기하학적 변환으로 매핑합니다.

• 표현 (Representation): 궤적 간 쌍의 경우, 전체 궤적의 마지막 토큰 은닉 상태(hidden state)를 추출합니다. 궤적 내 쌍의 경우, 스텝 표현을 얻기 위해 토큰에 대해 평균 풀링(mean-pooling)을 적용합니다.
• 벡터 유도 (Vector Derivation): 시스템은 성공적인($h^+$) 상태와 퇴보적인($h^-$) 상태의 표현 차이를 계산합니다. 주성분 분석(PCA)을 사용하여 변동의 지배적인 방향을 추출하고, 성공에서 실패로의 변화를 나타내는 스티어링 벡터 $v$를 형성합니다. 이 벡터들은 과업별 저장소에 저장됩니다.

3. 추론 시 개입 (Inference-Time Intervention)

추론 중에 NPM은 모델 가중치를 수정하거나 컨텍스트 윈도우를 확장하지 않고 동적으로 스티어링 벡터를 합성하고 주입합니다:

1. 검색 (Retrieval): 밀집 검색기(dense retriever)가 현재 쿼리와 가장 유사한 상위-$K$개의 과거 과업을 식별합니다.
2. 합성 (Synthesis): 시스템은 검색된 과업들로부터 저장된 표현들을 가져와 집단적 메모리 풀을 형성합니다. 추출 함수를 통해 과업 특유의 합의 방향 $v_l(q)$가 도출됩니다.
3. 스티어링 (Steering): 합성된 벡터는 타겟 레이어 $l$에 대해 각 타임스텝 $t$마다 잔차 스트림(residual stream)에 주입됩니다:
   $$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$$
   여기서 $\alpha$는 개입 강도를 조절합니다. 이는 에이전트의 추론 과정과 행동 선택을 직접적으로 조절합니다.

주요 기여

1. NPM 프레임워크: 파라미터 업데이트 없이 내재적인 행동 조절을 가능하게 하는, 암묵적 활성화 스티어링을 에이전트 메모리에 통합하는 학습 불필요 프레임워크를 제안했습니다.
2. 이중 입도 추출: 궤적 간 및 궤적 내 대조를 사용하는 방법을 도입했습니다. 이는 성공적인 시연에 대한 의존도를 완화하고 실패로부터의 학습을 가능하게 함으로써 유연한 개입 메커니즘을 제공합니다.
3. 실증적 검증: 활성화 스티어링이 에이전트 기술의 효과적인 전달체 역할을 하며, 특정 과업 행동과 상관관계가 있는 해석 가능한 벡터를 생성함을 입증하는 광범위한 실험을 수행했습니다.

실험 결과

저자들은 MiniCPM3-4B 및 Qwen3 (4B/8B) 모델을 사용하여 ALFWorld, WebShop, ScienceWorld, BabyAI의 네 가지 에이전트 벤치마크에서 NPM을 평가했습니다.

• 베이스라인 대비 성능: NPM은 정적 암묵적 베이스라인(CAA, Mass-Mean)보다 우수한 성능을 보였으며, 명시적 텍스트 메모리 베이스라인(Insights, Workflows)과 대등한 성능을 달자했습니다. WebShop(Qwen3-4B 사용)과 같은 여러 설정에서 NPM은 명시적 워크플로우보다 뛰어난 성능을 보였습니다.
• 하이브리드 시너지: 암묵적 스티어링과 명시적 워크플로우를 결합한 (Hybrid) 구성이 모든 모델에서 가장 높은 전반적 성능을 기록했습니다. 이는 명시적 텍스트가 고수준의 기호적 계획을 제공하는 한편, 암묵적 스티어링이 신경 표현 내에서 직접적으로 절차적 준수를 강화함을 시사합니다.
• 효율성: 컨텍스트 윈도우 확장으로 인해 프리필(prefill) 지연 시간이 크게 증가하는 텍스트 메모리와 달리, NPM은 벡터 주입이 단순한 요소별 덧셈이므로 "메모리 없음(No Memory)" 베이스라인과 거의 동일한 지연 시간을 유지합니다.
• 해석 가능성: 표현 분석(PCA 투영, 선형 분리 가능성 테스트)을 통해 성공 모드와 실패 모드가 활성화 공간에서 서로 다른 영역을 점유함을 확인했습니다. 특징 분해 결과, 스티어링 벡터가 "중복 관찰"을 억제하거나 "체계적 탐색"을 증폭하는 것과 같은 일관된 과업 로직을 인코딩하고 있음을 보여주었습니다.

의의 및 주장

본 논문은 암묵적 활성화 스티어링이 LLM 에이전트의 절차적 메모리를 관리하는 데 있어 유망하고 실용적인 접근 방식임을 주장합니다. 외부의 언어적 구체화에서 내부의 활성화 조절로 전환함으로써, NPM은 RAG 기반의 절차적 메모리에 내재된 텍스트-행동 불일치 문제를 해결합니다.

저자들은 이 방식이 기존 방법론에 상보적인 이점을 제공한다고 강조합니다. 즉, 텍스트 메모리는 기호적 가이드를 제공하는 반면, 암묵적 스티어링은 실행 궤적의 생성 경로를 직접 조절함으로써 장기적인 실행 과정 동안 이러한 계획에 대한 준수를 보장합니다. 이 프레임워크는 미세 조정(fine-tuning)의 계산적 오버헤드나 텍스트 기반 검색의 컨텍스트 제한 없이 절차적 메모리를 관리할 수 있는 토대를 제공합니다.

인정된 한계점:
논문은 NPM이 내부 활성화 공간에 대한 접근 권한을 필요로 하고(오픈 아키텍처에 국한됨), 퇴보적 단계를 식별하기 위해 휴리스틱에 의존하며(미묘한 논리적 오류를 놓칠 수 있음), 에이전트가 초기 단계에서 성공적인 궤적을 거의 생성하지 못하는 환경에서는 콜드 스타트 문제에 직면한다는 점을 언급했습니다. 또한, 현재의 정적 조절 방식은 다양한 실행 단계에 따라 행동 프리미티브(behavioral primitives) 사이를 동적으로 전환하는 유연성이 부족합니다.