기술 요약: 자기 학습과 기술 진화의 만남 (SESA)

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 학습 방식은 **자기 학습(Self-Play)**과 기술 증강 강화 학습(Skill-Augmented RL) 사이의 이분법적 한계에 직면해 있으며, 두 방식 모두 상당한 제약을 가집니다:

• 자기 학습 (예: SSP): 에이전트가 외부 데이터셋 없이 스스로 학습 문제를 생성하여 적응형 난이도를 구현합니다. 그러나 학습 경험이 일시적이라는 문제가 있습니다. 실패 사례는 정책 그래디언트(policy gradients) 계산에는 기여하지만, 그 이후에는 명시적인 재사용 가능한 기록으로 남지 않고 폐기됩니다.
• 기술 증강 강화 학습: 에이로트가 경험으로부터 도출된 절차적 지식(기술)을 저장하기 위해 외부 메모리 뱅크를 활용합니다. 그러나 이러한 기술들은 대개 고정된 데이터셋이나 수동으로 설계된 커리큘럼에서 추출되므로, 에이전트는 자신이 선택한 과업이 아니라 자신이 선택하지 않은 과업으로부터 교훈을 얻게 됩니다.

핵심 문제는 에이전트가 자신의 연습 경계(practice frontier)를 스스로 선택하는 동시에(자기 학습을 통해), 자신의 실패로부터 얻은 교훈을 유지(지속적인 기술 메모리를 통해)하여 결합되고 공진화하는 학습 프로세스를 구축할 수 있는 능력이 부족하다는 것입니다.

방법론: SESA (Self-Evolving Skill-Augmented Agent)

SESA는 온라인 기술 진화를 도구 증강 탐색 자기 학습(tool-augmented search self-play)에 통합하는 폐쇄 루프 프레임워크를 도입합니다. 이 시스템은 공유된 비매개변수적 기술 메모리($B$)를 사용하는 **챌린저(Challenger, 제안자)**와 **솔버(Solver, 학습자)**를 활용합니다.

핵심 아키텍처

1. 비대칭 자기 학습: 시스템은 별도로 매개변수화된 정책을 사용합니다. 챌린저는 검증 가능한 타겟이 포함된 질문을 던집니다. 솔버는 탐색 도구를 사용하여 답변을 시도합니다. 결정적으로, 솔버만이 메모리 뱅크에서 기술을 검색할 수 있는 권한을 가집니다. 챌린저는 이를 사용할 수 없습니다. 이는 해결 전략이 생성된 질문 속으로 유출되는 것을 방지하여 비대칭적인 게임을 유지합니다.
2. 4단계 학습 루프:
   • 메모리 프라이밍 (Memory Priming): 기술 뱅크는 수기로 작성된 기술과 초기 부트스트랩 단계에서 채굴된 중복 제거된 기술을 혼합하여 초기 검색 기질(retrieval substrate)을 제공하도록 초기화됩니다.
   • 경계 형성 (Frontier Shaping): 학습이 해결 가능하면서도 도전적인 문제에서 일어나도록 하기 위해, 챌린저의 보상은 종형 함수(bell-shaped function)를 사용하여 형태를 조절합니다. 이 함수는 너무 쉬운 문제(항상 해결됨)와 해결 불가능한 문제(항상 실패함)를 모두 패널티로 부여하여, 챌린저가 솔버의 현재 역량 경계 근처에서 문제를 생성하도록 유도합니다.
   • 실패 증류 (Failure Distillation): 솔버가 경계 문제에서 실패할 경우, 그 실패는 버려지지 않습니다. 대신, 다음과 같은 내용을 포함하는 인간이 읽을 수 있는 형태의 "기술 카드(Skill Card)"로 증류됩니다:
     • 설명 ($u$)
     • 트리거 조건 ($c$)
     • 회피 패턴/안티 패턴 ($a$)
     • 재사용 가능한 쿼리 템플릿 ($z$)
     • 유지 관리 메타데이터 ($m$)
       이러한 기술들은 코사인 유사도 임계값을 사용하여 중복이 제거된 후 메모리 뱅크에 다시 기록됩니다.
   • 솔버 검색 (Solver Retrieval): 이후 라운드에서 솔버는 뱅크에서 관련 기술을 검색하여 자신의 탐색 전략을 조건화합니다. 이는 온-폴리시(on-policy) 궤적 분포를 변화시켜, 정책 그래디언트가 과거의 실패로부터 얻은 교훈을 내재화할 수 있게 합니다.
3. 이중 경로 재사용 (Dual-Path Reuse): SESA는 학습 효과를 격리할 수 있도록 두 가지 배포 모드를 지원합니다.
   • SESA-Off (메모리 미사용): 훈련된 솔버를 뱅크에서 기술을 검색하지 않고 배포합니다. 여기서 나타나는 성능 향상은 **매개변수적 전이(parametric carryover)**를 의미하며, 이는 기술 조건부 훈련이 모델의 내부 가중치를 실제로 변화시켰음을 입증합니다.
   • SESA-On (메모리 증강): 훈련된 솔버가 추론 시 최종 기술 뱅크를 사용합니다. SESA-On과 SESA-Off의 차이는 추론 시점의 검색(inference-time retrieval) 가치를 분리하여 보여줍니다.

주요 기여

1. 결합된 자기 진화: 본 논문은 내생적 문제 생성과 지속적인 기술 응축을 결합합니다. 에이전트는 자신의 연습 경계를 스스로 선택하고 자신의 실패로부터 교훈을 보존함으로써, 과업 생성과 절차적 메모리가 함께 진화하는 피드백 루프를 만듭니다.
2. SESA 루프: 솔버 전용 검색, 경계 형성, 그리고 온라인 실패 증류가 챌린저에게 메모리를 유출하지 않으면서도 재사용 가능한 기술을 자기 학습으로 다시 피드백하는 새로운 메커니즘을 제시합니다.
3. 이중 경로 평가: 저자들은 여러 검색 벤치마크와 모델 제품군에 걸쳐 매개변수적 전이와 추론 시점 검색 이득을 구분하는 통제된 평가 프로토콜을 제공합니다.

실험 결과

저자들은 다양한 백본(Qwen3, Qwen2.5, LLaMA-3.1, Search-R1)을 사용하여 7개의 오픈 도메인 및 멀티홉 질의응답 벤치마크(Natural Questions, HotpotQA, Bamboogle 포함)의 3,125개 홀드아웃 질문에 대해 SESA를 평가했습니다.

• 성능 향상: 7개 벤치마크 전반에서 SESA는 표준 자기 학습(SSP) 베이스라인 대비 평균 정확도를 1.2~3.2 포인트 개선했습니다.
  • Qwen3-4B의 경우, SESA는 SSP보다 2.3 포인트 향상되었습니다.
  • Qwen3-8B의 경우, 3.2 포인트 향상되었습니다.
  • LLaMA-3.1-8B의 경우, 1.2 포인트 향상되었습니다.
• 매개변수적 vs. 검색 이득:
  • SESA-Off (메모리로 훈련하되 없이 배포)는 SSP 대비 1.8~2.2 포인트의 개선 효과를 유지했으며, 이는 기술 조건부 훈련이 모델 파라미터 내에 능력을 성공적으로 내재화했음을 보여줍니다.
  • SESA-On (메모리와 함께 배포)은 SESA-Off보다 추가로 0.5~1.0 포인트의 이득을 더해, 외부 뱅크의 선택적 가치를 입증했습니다.
• SkillRL과의 비교: 통일된 평가 프로토콜 하에서, SESA는 고정된 분포으로부터 학습하는 SkillRL 베이스라인을 0.9 포인트 초과 달성했습니다. 이는 기술 진화를 내생적 과업 경계와 결합하는 것이 추가적인 가치를 제공함을 나타냅니다.
• 구성 요소 절제 실험 (Ablation): **실패 증류(failure distillation)**를 제거했을 때 가장 큰 성능 저하(2.7 포인트)가 발생하여, 실패로부터 교훈을 지속시키는 것이 가장 중요한 구성 요소임을 확인했습니다. **경계 형성(frontier shaping)**을 제거하면 2.2 포인트의 하락이 발생하여, 역량 경계에 학습을 집중시키는 것의 중요성을 강조했습니다.

의의 및 주장

본 논문은 기술 메모리를 진화시키는 것이 단순히 추론 시점의 플러그인이 아님을 주장합니다. 대신, 이는 정책 학습과 미래의 훈련 분포를 근본적으로 변화시킵니다.

• 훈련 상태 vs. 추론 프롬프트: 실패를 기술로 증류하여 온-폴리시 롤아웃을 조건화함으로써, 그 이득은 모델 파라미터 내부로 내재화됩니다. 이를 통해 효과적인 메모리 프리(memory-free) 배포가 가능하면서도 외부 증강 옵션을 유지할 수 있습니다.
• 공진화: 결과는 에이전트의 메모리가 행동을 변화시키면, 그것이 챌린저를 위한 보상 신호를 변화시키고, 결과적으로 미래 문제의 분포를 변화시킨다는 것을 보여줍니다. 이는 에이전트가 자신의 역량 경계를 지속적으로 밀어 올리는 자가 유지 루프를 생성합니다.
• 일반화 가능성: 이러한 이득은 다양한 모델 규모, 제품군, 심지어 검색 특화 초기화 모델에서도 지속되며, 이는 "실패-기술-솔버"로 이어지는 메커의 메커니즘이 에이전트의 오픈 도메인 검색 작업 성능을 향상시키는 강력한 방법임을 시사합니다.