기술 요약: SkillMentor

문제 정의

에이전트의 자기 진화(self-evolution)에 대한 기존 접근 방식은 주로 **실행(execution)**에 초점을 맞춥니다. 즉, 실행 파라미터를 업데이트하거나 외부 지식 베이스를 정교화함으로써 어떻게 행동할지를 학습하는 데 집중합니다. 이러한 방법들은 진단(diagnosis), 즉 외부의 감독 없이 에이전트의 "사각지대(blind spots, 반복되는 실패 모드)"를 발견하는 능력을 간과하고 있습니다. 기존의 진단 절차는 대개 설계된 대로 고정되어 있거나, 무엇을 수리해야 하는지 명시하기 위해 인간이 라벨링한 데이터에 의존합니다. 결과적으로, 에이전트가 무엇을 모르는지를 자율적으로 식별하는 능력은 학습되지 않은 상태로 남게 됩니다.

저자들은 진단이 실행과는 개념적으로 구별된다고 주장합니다. 이를 격리하여 연구하기 위해, 다음과 같은 설정을 제안합니다:

1. 실행기(Executor) (태스크를 수행하는 에이전트)는 **동결(frozen)**됩니다. 즉, 가중치가 절대 업데이트되지 않습니다.
2. 인간이 라벨링한 데이터를 사용할 수 없습니다. 시스템은 실패를 명시하기 위해 주석이 달린 예시에 의존할 수 없습니다.
3. 모든 성능 향상은 오로지 학습된 **진단 능력(diagnostic capability)**으로부터만 발생해야 합니다.

방법론: SkillMentor

본 논문은 작은 **멘토 정책(Mentor policy, $\pi_\theta$)**을 강화 학습(RL)을 통해 훈련시켜, 동결된 실행기($\pi_E$)를 진단하고 수리하는 프레임워크인 SkillMentor를 제안합니다. 이 시스템은 세 단계로 구성된 자기 진화 피드백 루프를 통해 작동합니다.

1. 사각지대 발견 (Blind-Spot Discovery)

멘토는 환경과 상호작용하며 **진단 태스크(diagnostic tasks)**를 생성합니다.

• 탐색(Exploration): 멘토는 환경을 탐색하여 실행기에 도전 과제를 던질 수 있는 후보 태스크들을 합성합니다.
• 다양성(Diversity): 다양성 버퍼(diversity buffer)는 탐색이 좁은 행동 패턴으로 붕려되는 것을 방지합니다.
• 격차 평가(Gap Evaluation): 각 후보 태스크에 대해, 강력한 참조 모델($M$)이 고품질의 궤적(trajectory)과 점수($s^M$)를 생성합니다. 동결된 실행기는 현재의 스킬 저장소를 사용하여 동일한 태스크를 시도하고 점수($s^E$)를 산출합니다.
• 보상(Reward): 발견 보상($r_{disc}$)은 진단 격차 $\delta = \max(0, s^M - s^E)$로 정의됩니다. 격차가 큰 태스크가 우선적으로 큐레이션됩니다.

2. 스킬 큐레이션 (Skill Curation)

멘토는 식별된 사각지대를 외부 저장소에 저장될 재사용 가능한 **교정 스킬(corrective skills)**로 변환합니다.

• 연산(Operations): 멘토는 새로운 스킬을 **추가(ADD)**하거나, 기존 스키를 **업데이트(UPDATE)**하거나, 스킬을 **병합(MERGE)**할 수 있습니다.
• 검증(Validation): 후보 스킬은 구문론적으로 유효해야 하며, 결정적으로 진단된 태스크에서 실행기의 성능을 $\Delta > 0.5$만큼 개선해야만 수용됩니다.
• 보상(Reward): 큐레이션 보상($r_{curate}$)은 형식 준수 여부와 성능 향상 폭($\Delta$)을 결합하여 계산됩니다.
• 유지보수(Maintenance): 저장소의 비대화를 방지하기 위해 성공률이 낮은(< 0.05) 스킬을 제거하는 경량화된 삭제(DELETE) 메커니즘이 작동합니다.

3. 공동 최적화 (Joint Optimization)

멘토는 다음의 결합된 목적 함수를 최대화하도록 GRPO(Group Relative Policy Optimization)를 통해 훈련됩니다:
$$J_{GRPO}(\theta) = J_{disc} + J_{curate} - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
저자들은 발견과 큐레이션이 양의 피드백 루프를 형성한다고 주장합니다. 즉, 사각지대를 발견하는 것이 더 나은 스킬로 이어지고, 더 나은 스킬은 실행기의 능력 경계를 변화시켜 이전에 숨겨져 있던 새로운 사각지대를 노출시킨다는 것입니다. 이 루프를 유지하기 위해서는 공동 최적화가 필수적입니다.

주요 기여

1. 학습 가능한 능력으로서의 진단: 본 논문은 사각지대 진단이 고정되거나 설계된 절차, 혹은 모델 규모의 부산물이 아니라, 하나의 적응형 정책으로서 학습될 수 있음을 입증했습니다.
2. 가중치 업데이트 없는 자기 진화: SkillMentor는 실행기의 파라미터를 업데이트하지 않고도 외부의 진화하는 스킬 저장소에 전적으로 의존하여 상당한 성능 향상을 달ей했습니다.
3. 제로-휴먼-데이터 제약: 이 프레임워크는 인간의 감독이나 라벨링된 데이터 없이 작동하며, 이를 통해 시스템이 자율적으로 반복되는 실패를 발견하고 수리하도록 강제합니다.
4. 해석 가능성(Interpretability): 지식을 가중치 내부에 내재화하는 방식과 달리, SkillMentor는 스킬을 인간이 읽을 수 있는 마크다운(Markdown) 파일로 저장하여 실행기의 결함에 대한 해석 가능한 지도를 제공합니다.

실험 결과

저자들은 세 가지 서로 다른 동결된 실행기(Qwen3.5-9B, Qwen3.5-4B, DeepSeek-R1-Distill-Qwen-7B)를 사용하여 AppWorld(장기 계획) 및 BFCLv3(정밀 함수 호출)에서 SkillMentor를 평가했습니다.

• 성능 향상: SkillMentor는 모든 실행기와 데이터셋에 대해 "스킬 없음(No Skill)" 베이스라인 대비 평균 **44.2%**의 상대적 향상을 달성했습니다.
• 강력한 모델과의 비교: RL로 훈련된 4B 멘토는 정적 멘터로 사용된 훨씬 더 큰 규모의 프롬프트 기반 모델(예: DeepSeek-V4-Flash)을 일관되게 능가했습니다. 이는 진단을 위해 단순한 모델 스케일링보다 타겟팅된 RL 훈련이 더 효과적임을 시사합니다.
• 전이 가능성(Transferability): 더 많은 사각지대를 노출하는 약한 실행기에서 학습된 스킬은 강한 실행기로 효과적으로 전이되었으며, 종종 강한 모델의 자체 훈련된 스킬에 근접하거나 이를 능가했습니다. 반대로, 강한 모델의 스킬은 약한 모델에서 효과가 떨어졌습니다.
• 절제 연구(Ablation Studies): 발견 또는 큐레이션 보상을 제거하거나 정책을 분리했을 때 성능이 크게 하락하였으며, 이는 공동 최적화의 필요성을 확인시켜 줍니다.
• 강건성(Robustness): 시스템의 성능은 "LLM Judge"(평가를 위해 사용된 강력한 모델)의 선택에 견고했으며, 저비용의 Flash 티어 모델도 최적에 가까운 결과를 달성했습니다.

의의 및 주장

본 논문은 사각지대 진단이 실행과 독립적으로 최적화될 수 있는 학습 가능한 능력이라고 주장합니다. 진단을 정책 최적화 문제로 다룸으로써, SkillMentor는 대규모 실행기 가중치를 재학습하는 계산 비용이나 인간의 감독에 따른 프라이버시/비용 부담 없이 에이전트의 자기 진화를 가능하게 합니다.

저자들은 이 접근 방식이 "어떻게 더 잘 행동할 것인가"에서 "에이전트가 무엇을 모르는가"로 패러다임을 전환한다고 강조합니다. 결과물인 스킬 저장소는 단순한 진단의 산물일 뿐만 아니라, 새로운 사각지대의 발견과 교정 스킬의 큐레이션이 서로를 강화하는 지속적인 자기 진화의 엔진 역할을 합니다. 이 연구는 미래의 자기 진화 에이전트가 단순히 고정된 프롬프팅이나 파라미터 업데이트에 의존하기보다, 전용의 학습된 진단 정책을 포함해야 함을 시사합니다.