기술 요약: SKILLMASTER

문제 정의

현재의 대규모 언어 모델 (LLM) 에이전트는 자율적 기술 습득에 어려움을 겪고 있습니다. 기술은 복잡한 작업의 성능을 향상시키는 효과적인 메커니즘으로 작용하지만, 기존 프레임워크들은 기술을 외부 교사, 수동 설계 규칙, 또는 보조 모듈이 관리하는 외부 자원으로 취급합니다. 이러한 설정에서 에이전트의 정책은 사전 정의된 기술을 검색하고 호출하는 데 제한되며, 자신의 경험에 기반하여 기술을 능동적으로 개발, 정제 또는 내재화할 수 없습니다.

외부 관리에 대한 이러한 의존성은 세 가지 주요 과제를 야기합니다:

1. 내재화 부재: 기술 관리는 에이전트 내부의 학습 가능한 능력이 아니라, 에이전트 외부의 유지 관리 절차입니다.
2. 기술 품질에 대한 희소 피드백: 작업 결과 보상 (성공/실패) 은 특정 기술 편집 (제안 또는 업데이트) 이 유익한지 여부를 판단하기에 너무 거칠습니다. 작업은 운으로 성공하거나 무관한 요인으로 실패할 수 있어, 기술 자체의 품질에 대한 명시적 신호를 제공하지 않습니다.
3. 최적화 간섭: 단일 정책 내에서 작업 수행과 기술 관리를 함께 최적화하는 것은 어렵습니다. 이는 이진 환경 보상과 연속적인 기술 품질 보상이라는 서로 다른 보상 구조를 가지기 때문이며, 종종 불안정한 훈련으로 이어집니다.

방법론: SKILLMASTER

저자들은 에이전트가 기술을 자율적으로 생성, 정제 및 선택할 수 있도록 기술 관리를 에이전트의 학습 루프에 직접 통합하는 훈련 프레임워크인 SKILLMASTER를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 궤적 기반 기술 검토

SKILLMASTER 는 표준 강화 학습 (RL) 훈련에 각 에피소드 뒤에 명시적인 기술 숙달 단계를 추가합니다.

• 행동 단계: 에이전트는 환경과 상호작용하며 기술 은행 ($B$) 에서 관련 기술을 검색하여 행동을 안내합니다.
• 기술 숙달 단계: 에피소드가 종료되면 에이전트는 작업 설명, 검색된 기술, 궤적 및 결과를 검토합니다. 그리고 정확히 하나의 도구 호출을 출력하도록 지시받습니다: propose_skill(새 기술 추가), update_skill(기존 기술 수정), 또는 keep_skill(현재 기술 유지).
• 메커니즘: 이 단계는 **도구 통합 추론 (TIR)**을 사용하여, 에이전트가 기술 은행을 정적 데이터베이스가 아니라 구조화된 함수 호출을 통해 편집할 수 있는 변경 가능한 객체로 취급하도록 합니다.

2. 반사실적 기술 유용성 보상

희소 피드백 문제를 해결하기 위해, 저자들은 반사실적 평가에 기반한 하류 유용성 보상을 도입합니다.

• 프로브 작업: 기술 편집이 제안되면, 시스템은 $K$개의 의미적으로 관련된 "프로브 작업"(예: 동일한 작업 계열에서) 을 선택합니다.
• 반사실적 비교: 시스템은 원래 기술 은행 ($B$) 과 수정된 은행 ($B'$) 을 사용하여 프로브 작업을 두 번 평가합니다.
• 보상 신호: 보상은 두 가지 지표를 기반으로 계산됩니다:
  1. 성공률: 수정이 이전에 실패했던 작업을 성공하도록 돕는가?
  2. 효율성: 수정이 이미 해결 가능한 작업의 단계 수를 줄이는가?
• 공식: 유용성 보상 ($R_{utility}$) 은 프로브 전반의 평균 성능 변화량 ($\bar{\delta}$) 과 방향성 일관성 항을 결합하여, 편집이 하류 성능을 일관되게 향상시킬 때만 보상이 부여되도록 합니다.

3. DualAdv-GRPO (분리된 최적화)

이질적인 목표 (작업 수행 대 기술 편집) 를 함께 최적화할 때 발생하는 불안정성을 해결하기 위해, 저자들은 DualAdv-GRPO를 제안합니다.

• 이중 스트림 이점 추정: 표준 그룹 상대 정책 최적화 (GRPO) 는 일련의 궤적에 걸쳐 보상을 정규화합니다. SKILLMASTER 는 이를 두 개의 스트림으로 분리합니다:
  • 행동 이점 ($A_{act}$): 환경 보상 ($r_{env}$) 만을 사용하여 정규화합니다.
  • 기술 이점 ($A_{skill}$): 기술 숙달 보상 ($R_{skill}$) 만을 사용하여 정규화합니다.
• 병합: 이러한 정규화된 이점들은 조정 가능한 가중치 $\gamma$를 사용하여 토큰 수준에서 병합됩니다. 행동 토큰은 $A_{act}$를 받고, 기술 관리 토큰은 $\gamma \cdot A_{skill}$을 받습니다. 이는 희소하고 연속적인 기술 보상이 즉각적인 작업 행동에 대한 학습 신호를 왜곡하는 것을 방지하여 안정적인 공동 훈련을 가능하게 합니다.

주요 기여

1. SKILLMASTER 프레임워크: 외부 교사의 필요성을 제거하고 작업 수행과 기술 관리를 종단 간으로 학습하는 통합 정책.
2. 하류 유용성 보상: 프로브 작업에 대한 반사실적 비교를 통해 기술 편집을 평가하는 새로운 보상 메커니즘으로, 기술 품질에 대한 명시적이고 밀도 높은 신호를 제공합니다.
3. DualAdv-GRPO: 작업 행동과 기술 결정에 대한 이점 정규화를 분리하여 이질적 목표의 공동 훈련을 안정화하는 최적화 알고리즘.
4. 실증적 성능: ALFWorld와 WebShop에서 최첨단 결과를 입증하여, 에이전트가 자신의 절차적 지식을 자율적으로 향상시킬 수 있음을 보여줍니다.

실험 결과

이 프레임워크는 ALFWorld(구체화된 가정용 조작) 와 WebShop(온라인 쇼핑) 의 두 가지 벤치마크에서 평가되었습니다.

• ALFWorld: SKILLMASTER 는 전체 성공률 **98.7%**를 달성하여, 외부 교사를 사용하는 가장 강력한 베이스라인 (SkillRL) 보다 8.8% 포인트 더 높은 성능을 보였습니다. 여섯 가지 작업 계열 중 네 가지에서 완벽한 성공 (100%) 을 달성했습니다.
• WebShop: 성공률은 72.7%(SkillRL) 에서 **82.0%**로 향상되었으며, 전체 점수는 85.2 에서 95.0으로 상승했습니다.
• 기술 내재화: 중요한 발견은 SKILLMASTER 에이전트가 학습된 기술을 내재화할 수 있다는 점입니다. 테스트 시간 기술 검색 없이 평가했을 때, 에이전트는 검색이 활성화되었을 때와 거의 동일한 성능을 유지했습니다 (전체적으로 0.7% 만 감소). 이는 절차적 지식이 외부 조회에만 의존하는 것이 아니라 정책 매개변수 내에 흡수되었음을 시사합니다.
• 절제 연구: 유용성 보상 또는 분리된 이점 정규화를 제거하면 성능이 크게 저하되어, 반사실적 신호와 안정적인 최적화 전략의 모두 필요성이 확인되었습니다.

중요성과 주장

이 논문은 SKILLMASTER 가 외부 관리 기술 시스템에서 자율적 기술 습득으로의 전환을 나타낸다고 주장합니다. 기술 관리를 에이전트 정책 내의 학습 가능한 목표로 취급함으로써, 이 프레임워크는 에이전트가 다음을 수행할 수 있게 합니다:

• 절차적 지식의 공백을 식별 (예: 검색 전략이 비효율적임을 인식).
• 궤적 증거에 기반하여 기존 기술을 정제 (예: 물체를 전자레인지 안에 넣었을 때 실패하는 "가열" 지시사항 수정).
• 기술 은행의 최소한의 편집으로 향후 작업에 개선 사항을 이전.

저자들은 이 작업을 외부 시스템이 제공하는 정적 도구를 단순히 호출하는 것이 아니라, 자신의 기술 레퍼토리를 개발하고 적응할 수 있는 자기 개선 에이전트를 향한 움직임으로 위치시킵니다. 이 작업은 프로브 평가의 계산 오버헤드와 프로브 선택을 위한 사전 정의된 작업 그룹화에 대한 의존성과 같은 한계를 인정하지만, 핵심 메커니즘은 도메인 중립적이며 관련 작업이 있는 모든 환경에 적용 가능하다고 주장합니다.