기술 요약: ERSkill - 스킬 가이드형 적응적 메모리 검색을 위한 진화

문제 정의

대규모 언어 모델(LLM) 에이전트가 지속적인 상호작용을 위해 장기 기억에 점점 더 의존함에 따라, 이 메모리를 제어하는 검색 메커니즘은 일반적으로 정적입니다. 기존의 자기 진화(self-evolving) 방식은 메모리 내용(예: 추론 흔적 증류 또는 메모리 항목 업데이트)을 정제하는 데 집중하지만, 쿼리 시점에 정해진 고정된 검색 전략(예: 밀집 검색 또는 BM25)에 의존하는 경우가 많습니다. 이러한 정적 접근 방식은 다양한 증거 구축 전략을 요구하는 이질적인 메모리 쿼리에 대해 성능의 한계를 가집니다. 예를 들어, 특정 이벤트를 검색해야 하는 쿼리는 여러 이벤트에 걸친 인과 관계 추론을 요구하는 쿼리와 근본적으로 다릅니다. 여기서 다루고자 하는 핵심 문제는 LLM 에이전트가 어떻게 복잡한 검색 동작을 구성하도록 진화하고 학습하여, 다양한 정보 요구 사항에 따라 검색 동작을 적응시킬 수 있는가입니다.

방법론: ERSkill 프레임워크

저자들은 메모리 접근을 스킬 가이드형 증거 구축으로 모델링하는 검색 중심 프레임워크인 ERSkill(Evolving Retrieval Skill)을 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 구조화된 메모리와 프리미티브 라이브러리

ERSkill은 상호작용 이력을 원자 수준의 기록($A$), 인덱스($I$), 그래프($G$)로 구성된 구조화된 메모리 저장소 $M(D) = (A, I, G)$로 컴파일합니다. 메모리를 수동적인 저장소로 취급하는 대신, ERSkill은 이를 고정된 검색 프리미티브(retrieval primitives, $P$) 라이브러리를 통해 노출합니다. 이 프리미티브들은 상태 전이($p: (q, s, M(D)) \to s'$) 역할을 하며 다음을 포함합니다:

• 검색 프리미티브: entity_search(엔티티 기반), lexical_search(BM25), dense_search(의미적 유사성).
• 확장 프리미티브: 그래프 엣지를 통해 증거를 확장하기 위한 temporal_focus_expand, similarity_expand, relation_expand.
• 프로세스 프리미티브: 쿼리 재작성, 필터링 및 동적 제어를 위한 llm_process.

2. 검색 스킬과 라우터

검색 스킬($\kappa$)은 프리미티브의 시퀀스로 구성된 실행 가능한 프로그램으로 정의됩니다. 이러한 추상화를 통해 검색 동작은 재사용 가능하고, 해석 가능하며, 개선 가능해집니다.

• 스킬 라우터: 훈련된 모델 $R_\theta$는 쿼리 $q$를 현재 스킬 집합 $K$ 내의 최적의 스킬 $\kappa$에 동적으로 매칭합니다. 라우터는 쿼리와 스킬 설명을 모두 벡터 표현으로 인코딩하여 호환성 점수를 계산하고, 답변 생성을 위해 필요한 증거 뷰를 가장 잘 구축할 수 있는 스킬을 선택합니다.

3. 스킬-라우터 공동 진화 (Skill-Router Co-Evolution)

정적인 스킬 집합의 한계를 극복하기 위해, ERSkill은 스킬 집합과 라우터를 공동으로 업데이트하는 공동 진화 절차를 채택합니다. 이 과정은 두 가지 핵심 메커니즘에 의해 유도됩니다:

• 경험 트리 (Experience Trie): 탐색된 프리미티브 경로를 기록하는 효율적인 데이터 구조입니다. 이를 통해 스킬 생성기는 과거의 롤아웃 경험을 재사용하고, 중복된 후보를 감지하며, 불필요한 탐색을 피할 수 있습니다.
• 이중 경계 메커니즘 (Double-Frontier Mechanism): 이는 능력 확장과 배포 안정성을 분리합니다:
  • 능력 경계 ($C_t$): 최적의 스킬이 항상 선택되었을 때의 "오라클 측" 가치(즉, 발견된 최대 검색 능력)를 가진 압축된 스킬 집합을 유지합니다.
  • 배포 경계 ($B_t$): 실제 추론 시 사용되는 스킬 집합을 유지합니다. 여기에는 라우터가 안정적으로 선택할 수 있는 스킬만 포함됩니다.
  • 진화 과정: 새로운 스킬 후보는 능력 경계로부터 경로를 편집함으로써 생성됩니다. 후보들은 훈련 및 검증 배치에서 평가됩니다. 능력 경계는 오라클 성능을 보존하기 위해 업데이트되며, 배포 경계는 새로운 집합이 라우팅된 성능을 개선하거나 허용 오차 범위 내에서 압축성을 유지하는 경우에만 업데이트됩니다. 이를 통해 시스템은 새로운 능력을 탐색하면서도 배포된 에이전트가 불안정해지는 것을 방지할 수 있습니다.

주요 기여

1. 검색 중심 프레임워크: 본 논문은 메모리 접근을 고정된 검색 전략이 아닌 쿼리 적응형 증거 구축으로 취급하는 패러다임의 전환을 도입합니다.
2. ERSkill 아키텍처: 경험 트리와 이중 경계 설계를 사용하여 검색 스킬과 라우터를 공동 진화시키는 스킬 가이드형 프레임워크를 제공합니다.
3. 실험적 성능: 광범에한 실험을 통해 ERSkill이 강력한 비진화형 및 자기 진화형 베이스라인을 실질적으로 능가함을 입증했습니다.

실험 결과

저자들은 세 가지 에이전트 메모리 벤치마크인 LoCoMo, LongMemEval, PerLTQA에서 두 가지 백본 LLM인 Qwen3-Next-80B-A3B-Instruct와 GPT-5.4-nano를 사용하여 ERSkill을 평가했습니다.

• 성능 향상: ERSkill은 F1, BLEU-1, LLM-as-a-Judge 점수 전반에 걸쳐 가장 높은 평균치를 달성했습니다.
  • Qwen3-Next-80B-A3B-Instruct를 사용할 경우, 가장 강력한 베이스라인 대비 전체 평균이 31.3% 향상되었습니다.
  • GPT-5.4-nano를 사용할 경우, 전체 평균이 28.1% 향상되었습니다.
• 전이 가능성: LoCoMo에서 훈련된 스킬은 추가 훈련 없이도 LongMemEval로 효과적으로 전이되었으며, 우수한 성능을 유지했습니다.
• 비용-성능 트레이드오프: ERSkill은 우수한 L-J 점수를 달성하면서도 다른 LLM 기반 메모리 구축 방법들과 비교했을 때 메모리 구축 토큰 및 추론 토큰 측면에서 가벼운 효율적인 트레이드오프를 보여주었습니다.
• 어블레이션 연구 (Ablation Studies): 핵심 구성 요소(스킬 진화, 라우터, 이중 경계, 또는 경험 트리)를 제거하면 성능이 크게 하락하여 각 설계 요소의 필요성을 확인했습니다.

의의 및 주장

본 논문은 ERSkill이 장기 LLM 에이전트를 위한 유망한 방향으로서 **검색 측면의 진화(retrieval-side evolution)**를 강조한다고 주장합니다. 저자들은 메모리 내용과 추론 가이드가 점점 더 적응적으로 변하고 있는 반면, 검색 동작 자체는 여전히 주로 사전 정의된 상태로 남아 있다고 주장합니다. ERSkill은 검색을 스킬 가이드형, 진화 가능한 프로세스로 모델링함으로써 에이전트가 이질적인 쿼리에 맞춤화된 증거를 구축할 수 있게 합니다.

그 의의는 다음과 같습니다:

1. 적응형 검색의 중요성: 메모리 요약이나 추론 흔적을 업데이트하는 것만으로는 검색 메커니즘이 고정되어 있다면 충분하지 않습니다.
2. 안정적 진화의 가능성: 이중 경계 메커니즘을 통해 검색 능력을 확장하면서도 배포된 에이전트의 안정성과 신뢰성을 보장할 수 있습니다.
3. 효율성: 이 프레임워크는 단순히 더 많은 콘텐츠를 검색하는 것보다 타겟팅된 증거 구축이 더 효과적임을 시사하며, 과도한 추론 비용 없이 높은 성능을 달성합니다.

저자들은 현재 시스템이 고정된 프리미티브 라이브러리와 롤아웃 기반 평가에 의존하여 훈련 비용이 발생한다는 점을 언급하며 신중한 입장을 유지합니다. 또한 더 저렴한 평가기를 통한 효율성 개선, 프리미티브 발견 지원, 그리고 적응형 검색을 계획(planning) 및 도구 사용(tool use)으로 확장하는 등의 향후 연구 방향을 제시했습니다.