ExpWeaver: LLM Agents Learn from Experience via Latent RAG

기술 요약: ExpWeaver: 잠재적 RAG를 통해 경험으로부터 학습하는 LLM 에이전트

문제 정의
과거의 상호작용을 재사용 가능한 경험으로 통합하는 것은 대규모 언어 모델(LLM) 에이전트의 계획 및 추론 능력을 향상시키기 위한 핵심적인 접근 방식이다. 그러나 기존 방법들은 주로 **명시적 텍스트 공간(explicit text space)**에 국한되어 있다. 현재의 접근 방식은 일반적으로 경험을 텍스트 요약으로 저장하고 의미적 유사성을 통해 검색하여 이를 모델의 컨텍스트 윈도우에 결합한다. 이러한 패러다임은 다음과 같은 상당한 비효히율성을 초래한다:

1. 토큰 오버헤드: 명시적인 결합은 상당한 컨텍스트 윈도우 공간을 소비하여, 검색 가능한 경험의 수를 제한하고 추론 비용을 증가시킨다.
2. 구조적 디커플링(Architectural Decoupling): 대부분의 방법은 별도의 검색 증강 생성(RAG) 모듈(예: 임베딩 기반 리트리버 또는 검색 엔진)을 사용하며, 이는 LLM의 내부 표현과 독립적으로 작동한다. 이러한 분리는 다운스트림 작업 목표를 향한 검색과 생성의 공동 최적화를 방해한다.
3. 표현의 병목 현상: 텍스트 수준의 검색은 표면적인 의미적 유사성에 의존하므로, 복잡한 추론이나 코딩 작업에 필요한 문제 해결 전략의 더 깊은 구조적 대응 관계를 포착하는 데 실패할 수 있다.

방법론: ExpWeaver
이러한 한계를 해결하기 위해 저자들은 **잠재적 검색 증강 생성(latent retrieval-augmented generation)**을 통해 LLM 에이전트가 경험으로부터 학습할 수 있게 하는 프레임워크인 ExpWeaver를 제안한다. 이전 연구와 달리, ExpWeaver는 별도의 RAG 모듈 없이 LLM의 잠재 공간 내에서 직접 검색을 수행한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다:

1. 온-폴리시 정렬(On-Policy Alignment)을 갖춘 경험 뱅크:

   • 과거의 궤적(쿼리, 추론 과정, 출력, 보상)은 텍스트 요약으로 압축된 후, 생성에 사용되는 동일한 LLM($p_\theta$)을 사용하여 밀집 잠재 임베딩($z$)으로 인코딩된다.
   • 구체적으로, 임베딩은 마지막 트랜스포머 레이어의 마지막 토큰의 은닉 상태로부터 유도된다($z = h_\theta(s)$).
   • 이러한 설계는 온-폴리시 정렬을 보장한다: 훈련 과정에서 정책이 진화함에 따라, 최근의 경험은 자연스럽게 호환 가능한 임베딩 영역에 위치하게 되며, 이는 온-폴리시 강화 학습과 유사한 암묵적인 최신성 편향(recency bias)을 생성한다.

2. 잠재적 검색 증강 생성:

   • 잠재적 검색: 각 디코딩 단계 $t$에서 현재의 은닉 상태 $h_t$는 코사인 유사도를 사용하여 경험 뱅크로부터 상위-$K$개의 경험 임베딩($Z_t$)을 검색하는 쿼리 역할을 한다. 외부 리트리버는 필요하지 않다.
   • 교차 주의 집중 집계(Cross-Attention Aggregation): 검색된 임베딩은 학습 가능한 쿼리 토큰($u$)을 사용하는 교차 주의 집중 메커니즘을 통해 집계된다. 이를 통해 모델은 현재 생성 상태에 대한 관련성에 따라 경험의 가중치를 동적으로 조절할 수 있다.
   • 게이트 통합(Gated Integration): 집계된 경험 신호는 **게이트 잔차 메커팔리즘(gated residual mechanism)**을 통해 은닉 상태로 통합된다. 학습 가능한 유지($r_t$) 및 입력($i_t$) 게이트와 혼합 계수($a_t$)는 원래의 은닉 상태를 보존하는 것과 외부 지식을 통합하는 것 사이의 균형을 제어한다. 이는 과도한 경험의 영향이 모델의 추론 흐름을 방해하는 것을 방지한다.

3. 강화 학습을 통한 엔드 투 엔드 훈련:

   • 전체 파이프라인(정책 $\theta$ 및 경험 파라미터 $\psi_{exp}$)은 **그룹 상대 정책 최적화(GRPO)**를 사용하여 공동으로 최적화된다.
   • 이 프레임워크는 경험이 강화된 디코딩을 통해 텍스트 출력을 생성하는 생성 작업(예: QA, 코딩)과 최종 은닉 상태와 후보 임베딩 사이의 관련성 점수를 계산하는 랭킹 작업(예: 추천)을 모두 지원한다.

주요 기여

• 통합된 잠재 공간 프레임워크: ExpWeaver는 검색과 생성을 공유된 표현 공간 내로 통합하여, 별도의 리트리버를 사용할 필요를 없애고 텍스트 결합에 따른 토큰 오버헤드를 제거한다.
• 적응형 검색: 매 디코딩 단계마다 현재 은별 상태를 기반으로 검색을 수행함으로써, 시스템은 표면적인 텍스트 중첩보다는 더 깊은 구조적 패턴을 포착하는 쿼리 의존적 경험 활용법을 학습한다.
• 작업 불가지론(Task Agnosticism): 이 아키텍처는 질문 답변, 수학적 추론, 코드 생성, 과학적 예측, 순차적 추천을 포함한 다양한 유형의 작업으로 자연스럽게 확장된다.

실험 결과
저자들은 세 가지 시나리오(일반: QA, 추론, 코딩 / 과학: 제약 화학 / 추천)에 걸친 13개의 다양한 작업이 포함된 벤치마크인 ExpBench에서 ExpWeaver를 평가하였다.

• 성능: ExpWeaver는 13개 작업 중 12개에서 최첨단(SOTA) 결과를 달 achieved했으며, 가장 강력한 베이스라인인 Search-R1을 평균 6.8% 차이로 앞질렀다.
• 토큰 효율성: 명시적인 결합으로 인해 1.5~2배 더 많은 토큰을 필요로 했던 Search-R1과 같은 텍스트 기반 검색 방법과 달리, ExpWeaver는 훨씬 높은 정확도를 제공하면서도 약 10%의 토크지만 더 소비하며 비검색 베이스라인(예: HRPO)과 유사한 토큰 효율성을 유지했다.
• 일반화: ExpWeaver는 우수한 교차 도메인 일반화 능력을 입증했다. 제로샷 전이 설정에서 가장 강력한 베이스라인보다 16.32% 우수했으며, 퓨샷 전이에서는 15.21% 더 우수하여, 잠재적 경험 표현이 더 전이 가능한 문제 해결 패턴을 포착함을 나타냈다.
• 절제 연구(Ablation Studies): 실험을 통해 단순 풀링(pooling) 대비 교차 주의 집중 집계의 필요성을 확인하였으며, 경험 통합과 은닉 상태 보존 사이의 균형을 맞추기 위한 혼합 계수의 최적 초기화 범위를 식별하였다.

의의 및 주장
본 논문은 ExpWeaver가 LLM 에이전트의 경험 학습에 있어 중요한 변화를 나타낸다고 주장한다. 명시적인 텍스트 수준의 연산에서 잠재 공간 통합으로 이동함으로써, 이 프레임워크는 기존 방법들의 확장성 및 적응성 병목 현상을 극복한다. 저자들은 이 접근 방식이 에이전트가 과거의 상호작용으로부터 더 효율적으로 학습할 수 있게 하여, 더 낮은 계산 비용으로 탁월한 성능을 달성할 수 있게 한다고 단언한다. 또한, 입증된 교차 도메인 일반화 능력은 잠재적 경험 표현이 학습된 패턴을 미지의 도메인으로 전달할 만큼 견고하다는 것을 시사하며, 이는 라벨링된 데이터가 부족한 과학 연구와 같은 특수 분야의 발전을 가속화할 수 있음을 의미한다. 이 연구는 ExpWeer가 대규모 언어 모델에서 더 효율적이고 통합되며 효과적인 지식 활용을 향한 단계임을 보여준다.