기술 요약: Skill-R1: 강화 학습을 통한 에이전트 기술 진화

문제 제기

에이전트형 대규모 언어 모델 (LLM) 은 increasingly **기술 (skills)**에 의존하고 있습니다. 이는 계획 수립, 도구 사용, 행동 검증을 안내하는 재사용 가능한 자연어 절차입니다. 그러나 이러한 기술을 개선하기 위한 기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 비용과 실행 불가능성: 기술을 최적화하는 것은 종종 프롬프트 엔지니어링이나 작업용 LLM 자체의 미세 조정 (fine-tuning) 을 필요로 합니다. 후자는 계산 비용이 많이 들고 모델에 특화되어 있으며, 폐쇄형 또는 독점 모델의 경우 빈번히 불가능합니다.
2. 기존 방법의 비효율성: 많은 시스템이 기술 최적화를 원샷 프롬프트 편집 문제처럼 취급하거나 단일 라운드 자기 정제에 의존합니다. 이러한 전략들은 종종 하류 보상과 정렬되지 않으며, 기술 개선의 순환적 특성을 활용하지 못합니다.
3. 신용 할당의 복잡성: 효과적인 기술 최적화는 결합된 2 단계 문제입니다. 유용한 기술은 현재 조건 하에서 롤아웃 (실행) 의 품질을 향상시켜야 하며, 유용한 수정은 관찰된 성공과 실패를 다음 라운드를 위한 더 나은 기술로 성공적으로 전환해야 합니다.

기존 방법들은 이를 다중 세대에 걸친 방향성 진화를 위한 원칙적인 목적 함수가 부재한 상태에서 순환적 의사결정 문제로 다루는 데 어려움을 겪습니다.

방법론: Skill-R1

저자들은 검증 가능한 보상으로부터 인스턴스 수준의 순환적 기술 최적화를 위한 강화 학습 프레임워크인 Skill-R1을 제안합니다. 핵심 혁신은 작업 실행과 기술 개선을 분리하는 데 있습니다.

핵심 아키텍처

• 동결된 작업 LLM: 주요 작업 해결 모델 ($\pi_{task}$) 은 동결된 상태로 유지됩니다. 이 모델은 현재 기술을 조건으로 하여 롤아웃 궤적을 생성합니다. 이는 오픈 소스 및 폐쇄 소스 모델 모두와의 호환성을 보장하며, 작업 모델을 통한 기울기 (gradient) 계산이 필요 없게 합니다.
• 경량 기술 생성기: 별도의 학습 가능한 정책 ($\pi_\theta$) 이 기술 편집기로 작용합니다. 이는 작업 컨텍스트, 이전 롤아웃, 그리고 검증된 결과를 입력으로 받아 수정된 기술을 생성합니다.
• 다중 세대 루프: 이 과정은 여러 세대 ($g$) 에 걸쳐 작동합니다. 각 세대에서는 현재 기술이 동결된 작업 모델로부터 롤아웃 그룹을 유도합니다. 검증기가 이러한 롤아웃을 점수 매기며, 시도의 역사, 오류, 보상이 다음 기술 수정을 안내하기 위해 기록됩니다.

2 단계 그룹 상대 정책 최적화 (GRPO)

기술 생성기를 학습시키기 위해 저자들은 두 수준에서 신용을 할당하는 2 단계 GRPO 목적 함수를 도입합니다:

1. 세대 내 이점 ($A_{intra}$): 단일 세대 내에서 동일한 기술 하에 샘플링된 롤아웃들을 비교합니다. 이는 표준 GRPO 와 유사하게 기술 품질에서 롤아웃 품질을 분리합니다.
2. 세대 간 이점 ($A_{inter}$): 이전 세대 대비 롤아웃 집단의 평균 검증된 성능 향상을 측정합니다. 이는 보상이 높은 분포로 전환시키는 수정을 보상합니다.

최종 이점 신호는 가중치 조합입니다:
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
여기서 $\lambda$는 순수 세대 내 최적화와 세대 간 개선 사이를 조절합니다. 기술 생성기는 이 2 단계 이점을 최대화하도록 최적화되어, 즉시 잘 수행될 뿐만 아니라 시간이 지남에 따라 방향성 있게 진화하는 기술을 생성하도록 장려합니다.

주요 기여

1. 수식화: 본 논문은 순환적 인스턴스 수준의 기술 진화를 2 단계 그룹 상대 정책 최적화 문제로 공식화하여, 세대 내 실행 품질과 세대 간 기술 개선을 명시적으로 결합합니다.
2. 프레임워크: 독점 모델에 적용 가능하도록 작업용 LLM 을 동결한 채 경량 기술 생성기를 학습시키는 모델 중립적 프레임워크인 Skill-R1을 제안합니다.
3. 알고리즘: 세대 내 및 세대 간 이점을 결합하여 방향성 진화를 안내하는 순환적 다중 세대 롤아웃 프로세스와 2 단계 GRPO 목적 함수를 도입합니다.
4. 실증적 검증: 검증 가능한 보상을 가진 에이전트 작업에서 프레임워크를 평가하여, 기술이 없는 베이스라인 및 표준 GRPO 대비 우수한 성능을 입증했습니다.

실험 결과

저자들은 다단계 추론과 도구 사용이 필요한 두 가지 벤치마크인 GAIA(이질적 소스) 와 WebWalker(멀티홉 웹 탐색) 에서 Skill-R1 을 평가했습니다.

• GAIA 벤치마크:

  • 베이스라인: 기술이 없는 GPT-4o-mini 는 정확도 **6.1%**만 달성했습니다.
  • Vanilla GRPO: 2 단계 분해 없이 편집기를 학습한 경우 정확도가 **29.7%**로 향상되었습니다.
  • Skill-R1 (추론): 편집기에 대한 기울기 기반 학습 없이 다중 세대 프레임워크를 사용한 경우 **30.9%**를 달성하여, 롤아웃 구조 자체가 이점을 제공함을 시사합니다.
  • Skill-R1 (GRPO): 학습된 편집기를 포함한 전체 시스템은 **41.8%**의 정확도를 달성하여 Vanilla GRPO 대비 +12.1 포인트의 향상을 보였습니다. 이러한 향상은 복잡한 레벨 3 작업에서 가장 두드러졌습니다 (기술이 없는 베이스라인 0.0% 대비 38.5%).

• WebWalker 벤치마크:

  • 베이스라인: 정확도 2.0%.
  • Vanilla GRPO: 정확도 22.0%.
  • Skill-R1 (GRPO): **26.0%**의 정확도를 달성했으며, 중간 난이도 및 다중 소스 작업에서 각각 29.4% 와 28.6% 로 유의미한 개선을 보였습니다.

• 진화 분석:

  • 세대별 진행: 성능 향상은 대체로 단조로웠으며, 가장 큰 도약은 1 세대와 3 세대 사이에서 발생했습니다. 후기 세대 (4 세대 및 5 세대) 는 완전히 새로운 능력을 발견하기보다는 롤아웃의 일관성과 신뢰성을 주로 향상시켰습니다.
  • 학습 대 추론: 학습된 편집기 (GRPO) 는 특히 WebWalker 에서 추론 전용 편집기보다 일관되게 우수한 성능을 보였습니다. 정성적 분석 결과, 학습된 편집기는 핵심 실행 가능 구조를 유지하고 안전 장치를 추가한 반면, 추론 전용 편집기는 우연한 세부 사항에 과적합되어 취약한 아티팩트를 초래하는 경향이 있었습니다.

중요성 및 주장

본 논문은 Skill-R1이 모델 수준 적응에 대한 실용적이고 효율적인 대안을 제공한다고 주장합니다. 기술 최적화를 순환적 2 단계 문제로 취급함으로써, 이 프레임워크는 다음을 가능하게 합니다:

• 블랙박스 호환성: 미세 조정이 불가능한 폐쇄형 모델에서도 작동합니다.
• 방향성 진화: 휴리스틱 자기 정제를 넘어 시간이 지남에 따라 기술을 개선하는 원칙적이고 보상 기반의 프로세스로 이동합니다.
• 견고성: 순환적 구조를 통해 시스템은 고립된 시도보다는 집계된 증거 (성공과 실패) 를 기반으로 기술을 정제할 수 있습니다.

저자들은 기술 진화가 에이전트 행동을 개선하는 실현 가능한 메커니즘이며, 특히 단일 패스 정제 방법이 어려움을 겪는 복잡하고 다단계 작업에서 특히 유용하다고 결론지었습니다. 결과는 소수의 편집 라운드가 대부분의 능력 향상을 포착할 수 있으며, 후속 반복은 신뢰성을 향상시킨다는 것을 시사합니다.