기술 요약: LLM 에이전트를 위한 통합 컨텍스트 진화 (Unified Context Evolution)

문제 정의

대규모 언어 모델(LLM) 에이전트는 추론과 환경 피드백을 교차하며 다단계 상호작용 과제를 해결하는 데 탁월한 능력을 보여준다. 그러나 한 가지 결정적인 한계가 존재한다: 각 과제 에피소드는 고정된 컨텍스트(시스템 지침, 퓨샷 데모 등)와 함께 시작되며, 이로 인해 특정 에피소드 중에 발견된 전략이나 통찰은 일시적인 것에 그친다. 과제가 종료되면 이러한 발견들은 모두 소실된다.

이러한 "망각" 문제를 해결하려는 기존 방식은 크게 두 가지 범주로 나뉘며, 둘 다 상당한 단점을 가지고 있다:

1. 강화 학습 (RL): 경사 하강법을 통해 모델 가중치를 업데이트하는 방식이다. 효과적이지만, 모델 파라미터에 대한 접근 권한과 막대한 컴퓨팅 인프라가 필요하므로 폐쇄형(closed-source) LLM에는 적용할 수 없다.
2. 과제 내 적응 (Within-Task Adaptation): 언어적 자기 비판(Reflexion)이나 반복적 정교화(Self-Refine)와 같이 단일 과제 수행 중에 성능을 개선하는 방식이지만, 과제가 끝나면 개선 사항을 버리게 된다.
3. 교차 과제 지식 라이브러리 (Cross-Task Knowledge Libraries): 여러 과제에 걸쳐 지식을 축적하는 시스템이지만, 종종 유형이 지정되지 않은 풀(pool)에 지식을 저장하여(모든 통찰을 혼합함) 또는 단일한 지식 형태(예: 기술 혹은 워크플로우 중 하나만)에만 집중하는 경향이 있다. 또한, 이러한 시스템은 지식의 질을 판단하기 위해 반복적인 사용을 통한 효용성을 추적하기보다 일회성 평가에 의존하는 경우가 많다.

핵심 과제는 밑단의 LLM 가중치를 업데이트하지 않고도, 서로 다른 기능적 유형의 지식을 구분하고, 사용을 통해 품질을 추적하며, 라이브러리의 가장 취약한 영역에 생성 자원을 동적으로 할당하는 지속적이고 진화하는 지식 라이브러리를 어떻게 유지할 것인가 하는 점이다.

방법론: 통합 컨텍스트 진화 (Unified Context Evolution, UCE)

저자들은 에이전트의 컨텍스트 자체가 학습의 장이 되는 그래디언트 프리(gradient-free) 프레임워크인 **통합 컨텍스트 진화 (UCE)**를 제안한다. UCE는 에이전트의 경험을 진화하는 진화 가능 컨텍스트 단위 (Evolvable Context Units, ECUs) 라이브러리로 외재화한다.

1. 진화 가능 컨텍스트 단위 (ECUs)

라이브러리는 경험을 네 가지 기능적으로 상호 보완적인 유형의 지식 항목으로 분해한다:

• 메모리 (Memory): 단일 과제 인스턴스 내에서 시행착오를 통해 발견된 환경 메커즘에 대한 사실적 진술 (예: "싱크대 베이슨은 수도꼭지를 틀지 않고도 아이템을 세척할 수 있다").
• 전략 (Strategy): 특정 과제 유형 내의 분기점에서 사용되는 조건부 결정 규칙 (IF-THEN) (예: "'넣기'가 실패하면, 용기를 열고 다시 시도하라").
• 워크플로우 (Workflow): 특정 과제 유형에 대해 일반화된 표준 실행 순서 (예: "대상 찾기 $\to$ 변형 $\to$ 용기에 넣기").
• 기술 (Skill): 서로 다른 과제 유형에 걸쳐 적용 가능한 재사용 가능한 다단계 하위 작업 (예: "용기 탐색, 용기 열기, 대상 가져오기").

각 ECU는 튜플 $(z_e, \tau_e, w_e, c_e, f_e)$로 구성된다. 여기서 $z_e$는 유형, $\tau_e$는 적용 가능한 과제 유형, $w_e$는 검색 조건, $c_e$는 주입될 내용, $f_e$는 적합도 점수이다.

2. 생애주기 및 검색

프레임워크는 다섯 단계로 구성된 진화 사이클에 따라 작동한다:

• 평가 (Evaluate): 에이전트는 현재 라이브러리를 사용하여 홀드아웃(held-out) 평가 세트에서 실행된다. 성공률은 기록되지만, 데이터 누수를 방지하기 위해 적합도 점수는 업데이트하지 않는다.
• 수집 (Collect): 에이전트는 별도의 수집 세트에서 실행된다. 궤적(trajectories)이 저장되며, 결과에 따라 적합도 점수가 업데이트된다.
• 스케줄링 (Knowledge Yield Scheduling, KYS): 모듈이 라이브러리의 상태(커버리지 격차, 적합도 분포)를 분석하여 네 가지 ECU 유형에 대한 생성 예산($B$)을 할당한다. 이는 라이브러리가 가장 취약한 유형(예: 커버되지 않은 과제 유형 또는 낮은 평균 적합도)을 우선시한다.
• 생성 (Generate): 유형별 생성기가 수집된 궤적으로부터 후보 ECU를 추출한다. 결정적으로, 생성기는 인스턴스 특유의 관찰값(예: "감자가 카운터 1에 있음")을 필터링하고 일반화 가능한 메커니즘(예: "냉장고는 닫혀 있을 때 작동함")을 선호하도록 **리셔플 테스트(reshuffle test)**를 사용한다. 또한 고적합도 및 저적합도 ECU로부터의 품질 피드백을 활용하여 생성을 유도한다.
• 정리 (Cleanup): 가치가 낮거나 중복된 ECU는 제거된다. 라플라스 평활화된 적합도 점수($f_e = \frac{s_e + 1}{u_e + 2}$)는 누적된 결과 크레딧($s_e$)과 사용 횟수($u_e$)를 통해 경험적 기여도를 추적한다.

**검색 (Retrieval)**은 의사 결정 시점에 발생한다. 리트리버는 과제 설명과의 의미적 유사성, 과제 유형 일치에 따른 가중치 부여, 그리고 ECU의 적합도 점수를 기반으로 ECU를 스코어링한다. 유형별 상위-$K$개의 ECU가 전용 시스템 프롬프트 섹션에 주입된다.

주요 기여

1. 유형화된 지식 표현: 에이전트의 경험을 네 가지 구별되는 기능적 유형(메모리, 전략, 워크플로우, 기술)으로 분해하고, 각각 독립적인 생성 조건과 검색 경계를 갖는 ECU를 도입하였다.
2. 통합 컨텍스트 진화 프레임워크: 동적으로 생성 자원을 할당하는 **지식 수율 스케줄링 (KYS)**과 반복적인 적용을 통해 품질을 추적하는 사용 기반 적합도 점수를 특징으로 하는 완전한 생애주기 관리 시스템을 제시하였다.
3. 실증적 검증: UCE가 인터랙티브 벤치마크에서 에이전트 성능을 유의미하게 향상시키며, 축적된 지식 라이브러리가 모델의 재학습 없이도 다양한 추론 백본(예: ReAct, Plan-and-Act, NoThinking) 간에 전이 가능하다는 것을 입증하였다.

실험 결과

프레임워크는 두 가지 텍스트 기반 상호작용 벤치마크인 ALFWorld(가정용 과제)와 WebShop(온라인 쇼핑)에서 평가되었다.

• 성능 향상:
  • ALFWorld: UCE는 전체 성공률을 (ReAct 베이스라인의) **75.4%**에서 피크 시점 **96.3%**까지 높였다. 특히 "Look" (50.0% $\to$ 100.0%)과 같은 약한 과제 유형에서 상당한 개선이 관찰되었다.
  • WebShop: UCE는 평균 과제 점수를 **45.1%**에서 **61.3%**로, 구매 성공률을 **30.0%**에서 **42.0%**로 향상시켰다.
• 전이 가능성: UCE에 의해 생성된 ECU 라이브러리는 대안적인 액터 백본으로 성공적으로 전이되었다. 예를 들어, UCE 라이브러리를 "Plan-and-Act" 백본에 적용했을 때 성공률이 73.1%에서 97.8%로 상승했다.
• 절제 연구 (Ablation Studies):
  • ALFWorld에서 Workflow ECU만이 대부분의 이득을 차지했는데, 이는 절차적 골격이 이 도메인에서 매우 효과적임을 시사한다.
  • WebShop에서는 단일 ECU 유형이 전체 라이브러리의 성능을 따라잡지 못했다. 쇼핑 과제는 Workflow(절차적 가이드), Strategy(탐색 함정으로부터의 회복), Memory(페이지 메커니즘에 대한 사실)의 조합이 필요함을 보여주었으며, 이는 다중 유형 접근법의 필요성을 강조한다.
• 통계적 유의성: ReAct 베이스라인 대비 개선 효과는 두 벤치마크 모두에서 통계적으로 유의미했다 ($p < 0.05$).

의의 및 주장

본 논문은 UCE가 특히 가중치 업데이트가 불가능한 폐쇄형 모델을 위한 강화 학습의 실용적인 그래디언트 프리 대안을 제공한다고 주장한다. 컨텍스트를 학습 가능하고 진화하는 엔티티로 취급함으로써, UCE는 고립된 과제 실행과 지속적인 학습 사이의 간극을 메운다.

저자들은 유형화된 지식을 구분하고 사용을 통해 품질을 추적하는 프레임워크의 능력이, 모든 통찰을 동일하게 취급하거나 라이브러리의 성숙도에 따라 생성 자원을 적응시키지 못하는 기존의 교차 과제 지식 시스템의 한계를 해결한다고 강조한다. 결과는 인터랙티브 과제에서 "무엇을 알 것인가"(검색된 컨텍스트)가 "어떻게 행동할 것인가"(추론 백본)만큼 중요하며, 구조화되고 진화하는 라이브러리가 경험으로부터 얻은 "어떻게 알 것인가"를 효과적으로 포착하고 재사용할 수 있음을 시사한다.

논문은 현재의 ECU 유형이 수동으로 설계되었으며, 프레임워크의 확장성이 더 큰 과제 세트나 연속적인 액션 공간(예: AndroidWorld)으로 어떻게 확장될지는 미결 과제로 남겨두는 등 미래의 영향력에 대해 신중한 태도를 유지하고 있다. 또한, 현재의 평가가 특정 모델 쌍과 이산적 액션 공간에 의존하고 있어, 프레임워크 설계와 생성기 능력 간의 분리 문제는 향후 연구 과제로 남아 있음을 인정하고 있다.