기술 요약: SkillRise

문제 정의

대규모 언어 모델(LLM) 에이전트는 근본적인 규칙성과 재사용 가능한 해결 패턴을 공유하면서도 서로 구별되는 연관된 작업들의 스트림에 자주 직면합니다. 그러나 표준적인 에이전트 강화 학습(RL)은 일반적으로 각 작업을 독립적인 에피소드로 취급하여, 습득된 경험을 버리고 에이전트가 처음부터 다시 탐색하도록 강제합니다. 기존의 스킬 학습 방식은 다음과 같은 구체적인 한계를 가집니다:

1. 인스턴스 특이성(Instance-Specificity): 동일한 작업을 반복적으로 시도하는 방법들은 종종 특정 인스턴스에 국한된 지식을 생성하며, 이는 다른 작업 인스턴스 전반으로 일반화하는 데 실패합니다.
2. 파이프라인 엉킴(Pipeline Entanglement): 외부 스킬 뱅크나 다단계 파이프라인(추출, 검색, 실행을 포함하는 별도의 모듈)을 사용하는 접근 방식은 신용 할당(credit assignment)에 어려움을 겪습니다. 다운스트림 성능이 이 모든 단계의 상호작용에 의존하기 때문에, 추출된 스킬의 품질에 따라 성공 또는 실패의 원인을 구체적으로 규명하기 어렵습니다.
3. 엔드 투 엔드 최적화의 부재: 복잡한 외부 관리 파이프라인 없이 작업을 해결하고 전이 가능한 스킬을 공동으로 학습할 수 있는 통합된 프레임워크가 필요합니다.

방법론: SkillRise

저자들은 교차 작업 스킬 진화를 위해 설계된 통합된 엔드 투 엔드 강화 학습 프레임워크인 SkillRise를 소개합니다. 이 프레임워크는 단순한 것에서 도전적인 것으로 구성된, 관련되어 있지만 서로 다른 작업 인스턴스의 시퀀스 상에서 작동합니다.

1. 교차 작업 시퀀스 구축

작업들은 환경에서 제공하는 패밀리 메타데이터(예: WebShop의 제품 카테고리, ALFWorld의 객체 유형)에 의해 그룹화되고 난이도 순으로 정렬됩니다. 이를 통해 이전 작업의 경험이 이후의 작업을 지원하도록 의도된 시퀀스 $x = (x_1, \dots, x_K)$가 생성됩니다.

2. 스킬 진화를 동반한 단일 정책 롤아웃

단일 정책 $\pi_\theta$는 시퀀스 내에서 두 가지 역할을 번갈아 수행합니다:

• 작업 해결(Task Solving): 에이전트는 이전 작업들의 스킬을 요약하는 진화하는 텍스트 스킬 문서 $S_{i-1}$를 컨텍스트로 사용하여 현재 작업 $x_i$를 해결합니다.
• 스킬 큐레이션(Skill Curation): 작업 완료 시, 동일한 정책이 스킬 문서 $S_{i-1}$을 새로운 버전 $S_i$로 다시 작성합니다. 이 과정에는 다음이 포함됩니다:
  • 이전 문서로부터 유용한 스킬 보존.
  • 현재 궤적(trajectory)에서 드러난 성공적인 절차 또는 실패 모드 통합.
  • 재사용성을 보장하기 위한 인스턴스 특유의 세부 사항 제거(추상화).
  • 수정된 문서 $S_i$는 다음 작업 $x_{i+1}$을 위한 유일한 정보 채널이 됩니다.

3. 분리된 신용 할당(Decoupled Credit Assignment)

두 역할을 효과적으로 최적화하기 위해, SkillRise는 시간적으로 정렬된 분리된 신용 할당 메커니즘을 채택합니다:

• 작업 해결: 현재 작업의 즉각적인 보상 $r_i$에 의해서만 감독됩니다.
• 스킬 큐레이션: 후속 작업들로부터의 할인된 보상 합계($\sum_{j=i+1}^K \gamma^{j-i} r_j$)에 의해 감독됩니다. 이는 큐레이션 정책이 단순히 현재의 작업뿐만 아니라 미래의 작업에 가치를 전달하는 능력에 대해 최적화되도록 보장합니다.
• 최적화: 프레임워크는 동일한 작업 위치와 단계(해결 vs 큐레이션)를 공유하는 독립적인 시행들 간의 리턴을 비교하는 그룹 상대적 이점(group-relative advantage) 방식을 사용하여 이점을 계산하며, 계산된 이점은 정책을 업데이트하기 위한 클리핑된 목적 함수(PPO와 유사)에 사용됩니다.

주요 기여

1. 정식화: 본 논문은 서로 다른 작업 인스턴스의 정렬된 시퀀스에 대한 교차 작업 스킬 학습을 정식화하며, 여기서 후속 작업의 결과는 이전 상호작용으로부터 큐레이션된 스킬의 전이 가능성을 직접적으로 평가합니다.
2. 프레임워크: 단일 정책을 사용하여 해결과 큐레이션을 모두 수행하고, 분리된 교차 작업 신용 할당 및 역할 인식 그룹 상대적 최적화를 결합한 엔드 투 엔드 RL 프레임워크인 SkillRise를 개발했습니다.
3. 효율성: 외부 메모리 유지 관리나 검색 모듈과 같은 복잡한 외부 관리 파이프라인(예: 별도의 검색 모듈이나 교사 모델)을 필요로 하지 않는 컴팩트한 훈련 패러다임을 제공함으로써 설계를 최적화했습니다.

실험 결과

저자들은 Qwen3-1.7B 및 Qwen3-4B 모델을 사용하여 세 가지 대화형 텍스트 기반 벤치마크인 ALFWorld, WebShop, ScienceWorld에서 SkillRise를 평가했습니다.

• 전반적인 성능: SkillRise는 모든 벤치마크에서 가장 강력한 베이스라인인 GiGPO를 2.3~8.5 퍼센트 포인트 상회하며 가장 강력한 Pass@1 성능을 달ographic했습니다.
  • ALFWorld: 85.9% (GiGPO의 83.6% 대비)
  • WebShop: 84.4% (GiGPO의 77.3% 대비)
  • ScienceWorld: 54.6% (GiGPO의 46.1% 대비)
• 작업 내 일반화: 서로 다른 작업들의 시퀀스로 훈련되었음에도 불구하고, SkillRise는 홀드아웃(held-out) 작업에 대한 Pass@2 및 Pass@3 평가에서 동일한 작업의 반복 시도에 명시적으로 훈련된 방법(예: LaMer)보다 우수한 성능을 보였습니다. 이는 학습된 큐레이션 정책이 상호작용 결과를 실행 가능한 스킬로 변환하는 일반적인 전략을 포착하고 있음을 시사합니다.
• 교차 작업 테스트 타임 스케일링: 관련 작업 시퀀스의 길이($K$)가 테스트 시 길어짐에 따라 성능이 단조롭게 향상되었습니다(예: ALFWorld에서 $K=2$일 때 83.6%에서 $K=6$일 때 87.5%로 증가). 경쟁 방법들은 이러한 성장을 보이지 않았으며, 이는 SkillRise가 작업 전반에 걸쳐 전이 가능한 스킬을 효과적으로 재사용하고 정제하고 있음을 나타냅니다.
• 효율성: RetroAgent 및 SkillRL과 같은 다단계 파이프라인과 비교했을 때, SkillRise는 외부 메모리 유지 관리 및 검색 오버헤드를 제거함으로써 더 적은 실행 시간(1/6 수준)만 필요로 하면서도 대등하거나 더 우수한 성공률을 달성했습니다.

의의 및 주장

본 논문은 SkillRise가 LLM 에이전트가 작업 전반에 걸쳐 전이 가능한 스킬을 추출, 정제 및 재사용할 수 있는 단순하고 효율적인 훈련 패러즘을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 복잡한 외부 파이프라인 없이 통일된 엔드 투 엔드 정책을 통해 교차 작업 스킬 학습이 가능하다는 점을 입증했습니다.
• 해결(현재 결과)과 큐레이션(다운스트림 결과)에 대한 감독 신호를 분리하는 것이 전이 가능한 규칙성을 학습하는 데 결정적이라는 점을 보여주었습니다.
• 에이전트가 각 작업을 단 한 번씩만 시도하더라도, 관련 작업 시퀀스가 길어짐에 따라 성능이 향상되는 "테스트 타임 스케일링"을 보일 수 있으며, 이는 경험 축적을 통한 자기 개선의 견고한 메커니즘을 시사합니다.

저자들은 시퀀스 구축을 위한 현재의 작업 패밀리 메타데이터 의존성과 실험이 최대 4B 파라미터 및 텍스트 기반 벤치마크로 제한된다는 점을 한계로 언급했습니다.