ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

기술 요약: ExpGraph

문제 정의

대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용, 다단계 환경 상호작용 측면에서 강력한 능력을 입증해 왔습니다. 그러나 결정적인 병목 현상이 남아 있습니다. 대부분의 에이전트는 성공적인 전략이나 실패로부터 배운 교훈을 체계적으로 재사용하지 못한 채, 각 작업을 처음부터 다시 해결하는 "원샷 실행자(one-shot executors)"로 동작한다는 점입니다. 수집된 경험을 바탕으로 실행자를 미세 조정(fine-tuning)하는 것이 일반적인 해결책이지만, 이는 LLM이 급격히 진화함에 따라 점점 더 비유연해지는 문제가 있습니다. 더 강력하거나 적합한 실행자가 등장할 때, 경험 학습 과정은 특정 모델 인스턴스에 종속되어 해당 모델을 다시 학습시켜야 하는 경우가 많기 때문입니다. 또한, 많은 유능한 LLM들은 폐쇄형 소스이거나 규모가 너무 크거나 업데이트 비용이 많이 들어, 파라미터 수준의 수정이 실질적으로 불가능합니다.

본 연구가 다루는 핵심 과제는 다음과 같습니다: 어떻게 하면 실행자 자체를 동결(frozen) 상태로 유지하고 교체 가능한 상태로 두면서도, LLM 에이전트가 축적된 경험으로부터 학습할 수 있을 것인가? 기존 방식들은 재사용 가능한 경험을 고립된 기록으로 취급하거나 평면적인 최근접 이웃(nearest-neighbor) 매칭에 의존하는 경우가 많아, 전략, 제약 조건 및 실패 패턴의 관계적 특성을 포착하지 못합니다. 또한, 표면적인 의미적 유사성이 반드시 다운스트림에서의 유용성(utility)과 일치하는 것은 아닙니다. 겉보기에 유사한 경험은 별다른 도움이 되지 않을 수 있는 반면, 구조적으로 연관된 경험은 결정적인 전이 가능한 전략을 제공할 수도 있습니다.

이 작업이 해결하고자 하는 핵심 과제는: 어떻게 하면 LLM 에이전트가 실행자 자체를 동결시키고 교체 가능하게 유지하면서 축적된 경험으로부터 학습할 수 있는가? 기존 방법들은 재사용 가능한 경험을 고립된 기록으로 취측하거나 평면적인 최근접 이웃 매칭에 의존하여, 전략, 제약 조건 및 실패 패턴의 관계적 특성을 포착하지 못합니다. 또한, 표면적인 의미적 유사성이 반드시 다운스트림에서의 유용성과 일치하는 것은 아닙니다. 겉보기에 유사한 경험은 별다른 도움이 되지 않을 수 있는 반면, 구조적으로 연관된 경험은 결정적인 전이 가능한 전략을 제공할 수도 있습니다.

방법론: ExpGraph

저자들은 동결된 LLM 실행자를 개선하기 위해 자기 진화형 관계 메모리(self-evolving relational memory)와 학습 가능한 검색 코파일럿(retrieval copilot)을 사용하는 모델 불가지론적(model-agnostic) 경험 학습 프레임워크인 ExpGraph를 제안합니다. 이 프레임워크는 실행(execution)과 경험 학습(experience learning)을 분리하여, 동일한 외부 시스템이 파라미터를 수정하지 않고도 서로 다른 동결된 실행자들을 개선할 수 있도록 합니다.

핵심 구성 요소

1. 경험 그래프 구축 (Experience Graph Construction):

   • 역사적 궤적($\tau = (x, \xi, y, s)$)은 압축된 자연어 경험 단위($e$)로 요약됩니다.
   • 높은 점수를 받은 궤적은 기술(skills)(성공적인 패턴, 휴리스틱)로 정제되는 반면, 낮은 점수를 받은 궤적은 교훈(lessons)(실패 모드, 제약 조건)으로 정제됩니다.
   • 이러한 단위들은 희소한 무방향 그래프의 노드를 형성합니다. 에지는 코사인 유사도 임계값을 기준으로 의미적 또는 전략적으로 연관된 경험들을 연결하여, 단순한 리스트를 넘어선 구조를 생성합니다.

2. 유용성 가이드 그래프 검색 (Utility-Guided Graph Retrieval):

   • 검색 코파일럿 (Retrieval Copilot): 경량화된 학습 가능한 정책($\pi_{ret}$)은 각 작업에 대해 두 가지 적응형 제어 변수를 예측합니다:
     • $R$ (확산 깊이, Diffusion Depth): 그래프 탐색의 폭을 제어합니다.
     • $W$ (유용성-유용성 트레이드오프, Utility-Utility Trade-off): 의미적 유사성과 역사적 유용성 사이의 균형을 제어합니다.
   • 의미적 시딩 (Semantic Seeding): 시스템은 먼저 작업 임베딩에 대한 코사인 유사도를 통해 상위 $M$개의 시드 노드를 식별합니다.
   • 그래프 확산 (Graph Diffusion): 개인화된 페이지랭크(Personalized PageRank)를 사용하여 시드 세트로부터 그래프 전체로 확장합니다. 재시작 확률은 $R$에 의해 제어되며, 이를 통해 검색이 국소적인 영역에 머물거나 구조적으로 연관된 경험을 찾기 위해 더 멀리 전파되도록 조절할 수 있습니다.
   • 유용성 기반 순위 지정 (Utility-Aware Ranking): 후보들은 의미적 관련성과 추정된 유용성 점수($u_v$)를 결합한 상한 신뢰 구간(UCB) 점수를 사용하여 재순위화됩니다. 이는 높은 가치의 경험을 활용(exploit)하는 동시에, 아직 충분히 테스트되지 않은 노드를 탐색(explore)하도록 장려합니다.

3. 유용성 피드백으로부터의 학습 (Learning from Utility Feedback):

   • 시스템은 유용성 기반 보상(utility-grounded reward) 메커니즘을 채택합니다. 각 작업에 대해 동결된 실행자는 두 번 평가됩니다: 하나는 검색된 경험을 포함한 경우($s_{with}$), 다른 하나는 포함하지 않은 경우($s_{without}$)입니다.
   • 보상은 $r = (s_{with} - s_{without}) + \eta s_{with}$로 계산되며, 이는 절대적인 작업 품질을 보장하면서 검색의 한계 이득(marginal gain)을 측정합니다.
   • 코파일럿 최적화: 검색 코파일럿은 이 보상을 최대화하기 위해 근사 정책 최적화(PPO)를 사용하여 최적화되며, 단순히 의미를 매칭하는 것이 아니라 실제로 실행을 개선하는 경험을 검색하도록 학습합니다.
   • 온라인 그래프 진화 (Online Graph Evolution): 검색된 노드들은 보상에 기반한 새로운 유용성 통계치로 업데이트됩니다. 새로운 궤적은 요약되어 그래프에 삽st(insert)되는 한편, 유용성이 낮은 노드는 제거(prune)되어 메모리가 스스로 진화할 수 있도록 합니다.

주요 기여

• 모델 불가지론적 설계 (Model-Agnostic Design): ExpGraph는 그래프 구조의 경험, 그래프 확산, 유용성 인식 순위 지정 및 적응형 검색을 결와하여 동결된 실행자를 위해 공동으로 지원하는 최초의 프레임워크입니다. 이는 기초가 되는 LLM을 재학습할 필요가 없습니다.
• 관계적 메모리 (Relational Memory): 평면적인 메모리 시스템과 달리, ExpGraph는 경험을 그래프로 조직하여 즉각적인 의미적 이웃이 아닌 전이 가능한 전략과 실패 패턴을 발견할 수 있게 합니다.
• 적응형 검색 정책 (Adaptive Retrieval Policy): 확산 깊이와 관련성-유용성 트레이드오프를 동적으로 제어하는 검색 코파일럿의 도입은 시스템이 작업 복잡도와 실행자의 능력에 모두 적응할 수 있게 합니다.
• 유용성 기반 학습 (Utility-Grounded Learning): 단순히 유사성에 기반하는 것이 아니라 실제 다운스트림 성능 향상에 기반하여 검색을 최적화함으로써, 시스템은 단순히 관련 있는 것과 진정으로 유용한 것을 구분하는 법을 배웁니다.

실험 결과

저자들은 단일 턴 정적 작업(질의응답, 수학적 추론, 코드 생성)과 다단계 에이전트 환경(ALFWorld, AppWorld)을 포함하는 ExpSuite에서 ExpGraph를 평가했습니다.

• 성능 향상:
  • 정적 작업: ExpGraph는 더 작은 실행자(Llama-3.2-3B)의 경우 가장 강력한 베이스라인 대비 평균 점수를 12.2% 향상시켰고, 더 큰 실행자(Llama-3.1-8B)의 경우 4.7% 향상시켰습니다.
  • 에이전트 환경: 성능 향상이 더 두드러졌으며, 가장 강력한 베이스라인 대비 가중 평균 점수를 작은 실행자의 경우 21.4%, 큰 실행자의 경우 12.7% 개선했습니다.
  • 효율성: ExpGraph는 에이전트 환경에서 가장 효율적인 경쟁 베이스라인들과 비교했을 때 평균 상호작용 단계를 각각 12.7% 및 21.6% 감소시켰습니다.
• 일반화 (Generalization): 프레임워크는 강력한 제로샷 전이 능력을 보여주었습니다. 작은 실행자로부터 학습된 경험 구성 요소는 큰 실행자로 효과적으로 전이되었으며, 비추론형 실행자로부터 학습된 구성 요소는 추론 능력이 있는 모델으로도 잘 일반화되었습니다.
• 절제 연구 (Ablation Studies): 주요 구성 요소(그래프 구조, 확산, 유용성 순위 지정 또는 유사성 필터링) 중 하나라도 제거하면 성능이 일관되게 저하되었으며, 이는 공동 설계가 효과적인 경험 재사용을 위해 필수적임을 확인시켜 줍니다.

의의 및 주장

논문은 ExpGraph가 실행자를 재학습시키지 않고도 LLM 에이전트가 경험으로부터 학습할 수 있는 실용적이고 실행자 불가지론적인 경로를 제공한다고 주장합니다. 저자들은 다음을 강조합니다:

1. 약한 실행자에게 경험 재사용은 필수적임: 상대적인 이득이 더 작은, 능력이 낮은 모델에서 훨씬 높게 나타났는데, 이는 외부 경험이 약한 내장 추론 또는 계획 능력을 보완할 수 있음을 시사합니다.
2. 장기 실행 작업(Long-Horizon Tasks)에서의 가치: 혜택은 이전 궤적이 행동을 직접 가이드하고 불필요한 탐색을 줄일 수 있는, 장기적인 의사결정이 필요한 에이전트 환경에서 가장 뚜렷하게 나타납니다.
3. 학습과 실행의 분리: 실행자를 교체 가능한 작업 해결사로 취급하고 외부 시스템을 통해 어떻게 컨텍스트를 제공할지를 학습함으로써, ExpGraph는 빠르게 진화하는 LLM 환경에서 미세 조정 기반 접근 방식의 비유연성 문제를 해결합니다.

저자들은 경험 간의 관계를 모델링하고 유용성 인식 적응형 검색을 학습하는 것이, 특히 실행자를 업데이트할 수 없는 설정에서 LLM 에이전트가 작업 지식을 효과적으로 축적하고 전이할 수 있도록 하는 데 필수적이라고 결론짓습니다.