기술 요약: PATH-Bench: 경로 의존적 평가를 통한 평생 학습 에이전트 연구

문제 정의

평생 대규모 언어 모델(LLM) 에이전트는 파괴적 망각을 방hi하고 계산 비용을 낮추기 위해 백본 모델은 고정한 채 외부 학습 상태(메모리 또는 기술)를 유지함으로써 유용한 경험을 축적하고 보존하는 것을 목표로 한다. 그러나 기존의 평생 학습 벤치마크는 경로 의존성(path dependence), 즉 이전 태스크의 특정 순서와 이력이 에이전트가 무엇을 전이하고 유지할지를 결정하는 현상을 간과하고 있다.

현재의 평가 방식은 고정되거나 무작위화된 태스크 시퀀스에 의존하는 경우가 많아, 축적된 경험(도움이 되든, 오해를 불러일으키든, 혹은 상충하든)이 후속 태스크와 어떻게 상호작용하는지를 제어하지 못한다. LifelongAgentBench에 대한 예비 연구에 따르면, 동일한 태스크 집합에 대해서도 서로 다른 태스크 경로가 에이전트의 상대적 순위에 변화를 줄 수 있다. 또한, 다단계 추론과 환경 상호작용이 필요한 LLM 에이전트에 적용하기에는 표준적인 평생 학습 지표(순방향 전이, 역방향 전이, 망각)를 대규모로 적용하는 데 막대한 계산 비용이 든다. 따라서 경험 표현의 유용성과 학습 경로의 구조를 구분하여, 태스크 경로 의존성이 에이전트의 평생 성능을 어떻게 형성하는지를 효율적으로 추적할 수 있는 프레임워크가 절실히 필요하다.

방법론: PATH-Bench

저자들은 통제된 경로 의존적 이력 하에서 평생 학습 에이전트를 평가하도록 설계된 벤치마크인 PATH-Bench를 소개한다. 이 프레임워크는 다음 네 가지 단계로 작동한다.

1. 태스크 풀 구축

이 벤치마크는 서로 다른 상호작용 구조를 다루기 위해 두 가지 별도의 데이터셋을 활용한다.

• BigCodeBench: 단일 턴 코드 생성 벤치마크.
• WildToolBench: 실제 사용자 행동에 기반한 멀티 턴 도구 사용 벤치마크.
  태스크들은 측정 가능한 개선 가능성을 보장하기 위해 "헤드룸(headroom)"(기본 LLM에 대해 너무 쉽거나 너무 어렵지 않은 정도)을 기준으로 필터링된다.

2. 인컨텍스트 전이 추정 (In-Context Transfer Estimation)

모든 태스크 쌍에 대해 전체 에이전트 진화를 시뮬레이션하는 계산 비용을 피하기 위해, PATH-Bench는 **멀티 모델 인컨텍스트 러닝(ICL)**을 사용하여 방향성 있는 태스크 관계를 추정한다.

• 모든 순서가 정해진 태스크 쌍 $(t_i, t_j)$에 대해, 고정된 LLM에 $t_i$를 원샷 데모로 제공하여 $t_j$를 해결하도록 프롬프트를 구성한다.
• 전이 이득 $M_{i,j}$는 데모 조건부 성능과 제로샷 성능의 차이로 계산된다.
• 세 개의 모델(DeepSeek-V4-Flash, GPT-5.4-mini, GLM-5.0)이 이득의 부호(양수, 중립, 음수)에 대해 투표한다. 최소 두 모델의 합의가 이루어진 경우에만 최종 관계 행렬 $V$에 포함되며, 의견이 갈리는 쌍은 제외된다.

3. 프로브 중심 시퀀스 샘플링 (Probe-Centered Sequence Sampling)

전체 태스크 집합을 반복적으로 평가하는 대신, PATH-Bench는 특정 **프로브 태스크($T_{probe}$)**를 중심으로 하는 시퀀스를 구축한다.

• 이력 구축: 샘플러는 프로브 태스크를 선택하고 전이 행렬 $V$를 기반으로 중간 이력 태스크들을 구성한다. 이력은 양의 지배적(positive-dominant)(대부분 도움이 되는 태스크) 또는 음의 지배적(negative-dominant)(대부분 간섭을 일으키는 태스크)으로 구성된다.
• 프로토콜: 시퀀스는 콜드 스타트(cold-start) 프로브로 시작하여, 웜업 블록을 거친 뒤, 프로브가 일정 간격으로 다시 나타나는 형태의 중간 태스크들이 교차 배치된다. 중간 태스크들만이 에이전트의 외부 상태를 업데이트하며, 프로브의 재등장은 오직 평가 지점으로만 기능한다.

4. 평가 지표

프레임워크는 프로브 궤적으로부터 도출된 네 가지 지표를 통해 성능을 정량화한다.

• 평균 성능 (Average Performance, AP): 전체 시퀀스에 걸친 전반적인 태스크 해결 능력.
• 순방향 전이 (Forward Transfer, FWT): 콜드 스타트 베이스라인 대비 후기 프로브 발생 시의 성능 향상.
• 역방향 전이 (Backward Transfer, BWT): 후속 경험이 프로브에 미치는 유익한 소급 효과 (후속 프로브가 웜업 참조점보다 얼마나 높아지는지).
• 망각 (Forgetting, FGT): 웜업 이후 참조점 대비 프로브 능력의 저하.

주요 기여

1. PATH-Bench 프레임워크

PATH-Bench는 통제된 이력 하에서 LLM 에이전트의 전이와 유지를 추적하는 최초의 벤치마크로 제시된다. 이는 관계 가이드 샘플링을 통해 방대한 이력 열거를 대체하고, 종단적 프로브 추적을 통해 전체 집합의 재평가를 대체한다.

2. 8개 에이전트에 대한 실증 연구

저자들은 세 가지 카테고리에 걸쳐 8개의 대표적인 에이전트를 평가했다.

• RAG 에이전트: BGE-M3 RAG, HippoRAG-v2.
• 에이전틱 메모리 에이전트: Clin, AWM, SimpleMem, MemRL.
• 스킬 에이전트: AutoSkill, SkillClaw.

주요 발견:

• 경험의 유용성은 맥락 의존적이다: 축적된 경험이 보편적으로 성능을 향상시키는 것은 아니다. 경험의 유용성은 경험의 표현 방식이 태스크의 상호작용 구조와 일치하는지에 달려 있다. 단일 턴 코드 태스크의 경우, 태스크 특화된 구체적 경험(예: AutoSkill)이 가장 우수한 성능을 보였다. 멀티 턴 도구 태스크의 경우, 압축된 추상화(예: Clin)가 구체적인 흔적(trace)보다 더 뛰어난 성능을 보였다.
• 전이와 유지의 분리: 강력한 즉각적 순방향 전이가 반드시 유지(retention)를 보장하는 것은 아니다. 에이전트는 경험 표현이 태스크 구조와 맞지 않을 때, 높은 FWT를 보이면서 동시에 상당한 망각(FGT)을 겪을 수 있다.
• 경로 의서적 역학: 후기 경험은 이전에 획득한 이득을 재형성할 수 있다. 양의 지배적 이력에서도 성능은 시간이 지남에 따라 종종 침식된다. 에이전트는 가장 최근의 이력이 누적된 이력을 압도하는 **최신성 효과(recency effects)**에 매우 취약하다.

3. 선택적 경험 사용 (Selective Experience Use, SEU)

무분별한 경험 주입이 간섭을 일으킨다는 발견에 따라, 저자들은 **선택적 경험 사용(SEU)**을 제안한다.

• 메커니즘: SEU는 검색 모듈과 추론 모델 사이에서 조절 장치 역할을 한다. 이는 검색된 항목을 현재 태스크와 대조하여 다음 중 하나를 결정한다:
  1. 보존(Preserve): 직접 재사용 가능하다면 구체적인 세부 사항으로 수용.
  2. 추상화(Abstract): 고수준의 패턴만 전이된다면 압축된 가이드로 수용.
  3. 무시(Ignore): 잠재적 간섭 요인을 필터링.
• 결과: SEU는 메인 실험에 사용된 50개 시퀀스 중 20개를 추출한 서브셋에서 평가되었다. SEU는 모든 에이전트, 데이터셋, 전이 이력에서 망각을 일관되게 감소시켰다. 또한 대부분의 설정에서 순방향 전이를 개선하였으며, 이는 경험의 영향을 조절하는 것이 단순히 더 많은 데이터를 축적하는 것보다 더 중요하다는 것을 입증한다.

의의 및 주장

본 논문은 PATH-Bench가 현재의 평생 학습 에이전트 설계의 한계, 특히 경험 사용의 선택성 부족을 드러내는 통제된 평가 프레임워크를 제공한다고 주장한다. 저자들은 평생 에이전트의 병목 현상이 경험을 저장하는 능력이 아니라, 현재 태스크에 대한 경험의 유용성을 판단하는 능력에 있다고 주장한다.

경험의 유용성이 표현과 태스크 구조에 공동으로 의존하며, 후기 경험이 초기 이득을 재형성할 수 있음을 입증함으로써, 이 연구는 더 견고한 에이전트 설계를 위한 실행 가능한 지침을 제공한다. 제안된 SEU 하네스는 추론 시점에 경험을 필터링하는 것이 전이와 망각을 분리하여 더 안정적인 평생 학습을 이끌 수 있다는 개념 증명 역할을 한다.

저자들은 현재 벤치마크가 두 가지 태스크 도메인(코드 생성 및 도구 사용)만을 다루고 단일 백본 LLM을 사용한다는 점을 한계로 인정하며, 이를 더 넓은 도메인과 다양한 모델로 확장하는 것을 향후 과제로 꼽았다.