기술 요약: OPENSKILL: LLM 에이전트를 위한 오픈 월드 자기 진화(Open-World Self-Evolution)

1. 문제 정의: 오픈 월드 자기 진화

현재의 자기 진화형 LLM 에이전트들은 일반적으로 학습 단계에서 정제된 기술, 성공적인 실행 궤적, 또는 명시적인 검증 신호(예: 보상, 정답)에 대한 접근을 전제로 하는 "사용 가능한 학습 루프(usable learning loop)"에 의존합니다. 그러나 실제 오픈 월드 배포 환경에서는 초기 기술이나 감독 신호 없이, 오직 태스크 프롬프트와 외부 리소스에 대한 접근 권한만을 제공하는 경우가 많습니다.

본 논문은 **오픈 월드 자기 진화(Open-World Self-Evolution)**를 다음과 같은 설정으로 정의합니다:

1. 에이전트는 오직 태스크 지침($I_i$)과 실행 환경($E_i$)만을 가지고 시작해야 합니다.
2. 오픈 월드 리소스(문서, 저장소, 웹 페이지)에 접근할 수 있으나, 숨겨진 타겟 정답, 보상, 또는 검증 출력값은 제외됩니다.
3. 에이전트는 자신의 기술(skills)(재사용 가능한 행동 아티팩트)과 자체적인 **검증 신호(verification signals)**를 처음부터 구축해야 합니다.
4. 진화 과정 중에는 타겟 태스크에 대한 감독 없이 성능을 개선해야 하며, 정답 기반 평가는 최종 평가 시에만 수행합니다.

핵심 과제는 사실(facts)만으로는 불충분하다는 점입니다. 에이전트는 무엇을 배워야 하는지 추론해야 하며, 동일한 오픈 월드 증거로부터 학습할 지식과 그 지식을 정교화하기 위한 감독 신호를 모두 제공하는 결합된 학습 루프를 구축해야 합니다.

2. 방법론: OpenSkill 프레임워크

OpenSkill은 타겟 태스크의 감독 정보가 누출되지 않도록 설계된 3단계 파이프라인으로, 이 자기 진화 루프를 부트스트래핑합니다. 이 프레임십은 정답($T^{GT}_i$)이 기술 구축 단계로 유입되는 것을 방지하는 엄격한 "누출 방지 장벽(leakage barrier)" 하에 작동합니다.

1단계: 오픈 월드 지식 습득

에이전트는 오픈 월드 리소스를 쿼리하여 두 가지 유형의 지식을 습득합니다:

• 기술 구축 지식 ($k_i$): 태스크와 관련된 배경 개념, 베스트 프랙티스, API 문서 및 인용 정보를 검색합니다.
• 검증 지식 ($k^v_i$): 공식 문서의 참조 값, 알려진 데이터셋의 통계적 불변량, 교차 검증 절차, 도메인 표준과 같이 독립적으로 검증 가능한 앵커(anchors)를 검색합니다.
• 기술 계획(Skill Planning): 기술 아키텍처, 핵심 절차 및 도메인 규칙을 정의하는 구조화된 계획($p_i$)을 합성합니다.
• 누출 방지: 모든 쿼리는 타겟 정답으로 이어질 수 있는 벤치마크 이름 및 식별자를 제외하도록 필터링됩니다.

2단계: 누출 없는 기술 진화

에이전트는 **가상 검증기(Virtual Verifier)**를 사용하여 기술을 반복적으로 생성하고 정교화합니다:

• 가상 테스트 생성: 정답 기반 테스트 대신, 시스템은 검증 지식($k^v_i$)에 근거한 가상 테스트 스위트($\tilde{T}_i$)를 생성합니다. 이 테스트들은 정답을 알 필요가 없는 결정론적 단언(assertion)들(예: 행 개수 확인, 메트릭 범위 또는 출력 형식 확인)로 구성됩니다.
• 반복적 정교화: 에이전트는 현재 기술 세트를 사용하여 태스크를 실행합니다. 만약 가상 통과율($\tilde{r}$)이 1 미만이면, **진단 리트리버(Diagnostic Retriever)**가 실패 원인을 분석하여 다음을 구분합니다:
  • 구현 버그(Implementation Bugs): 자기 수정(self-correction)을 통해 해결합니다.
  • 지식 격차(Knowledge Gaps): 새로운 오픈 월드 지식의 타겟팅된 검색을 트리거합니다.
• 종료: 가상 통과율이 1.0에 도달하거나 최대 반복 예산($J=3$)이 소진될 때까지 루프가 지속됩니다. 최종 기술 세트($\hat{S}^*_i$)는 루프 종료 시점의 기술 상태입니다.

3단계: 제로샷 타겟 평가

정교화된 기술 아티팩트는 (구성 에이전트와 다를 수 있는) 타겟 에이전트에 제로샷 설정으로 배포됩니다. 성능은 진화 과정 중에 절대 접근하지 않았던 숨겨진 정답 테스트 스위트($T^{GT}_i$)를 기준으로 측정됩니다.

3. 주요 기여

1. 오픈 월드 자기 진화의 정의: 에이전트가 타겟 태스크의 감독 없이 전적으로 오픈 월드 리소스만을 사용하여 기술과 검증 신호를 구축해야 하는 설정을 정형화했습니다.
2. OpenSkill 프레임워크: 숨겨진 정답이 아닌 오픈 월드 사실에 근거하여 전이 가능한 기술과 자체 구축된 가상 검증기를 합성함으로써 자기 진화를 부트스트래핑하는 새로운 파이프라인을 제시합니다.
3. 실증적 검증: OpenSkill이 감독 제약 조건을 준수하면서도 여러 벤치마크와 모델 제품군에 대해 우수한 자동화 통과율을 달eric함을 입증했습니다.

4. 실험 결과

프레임워크는 세 가지 벤치마크(SkillsBench, SocialMaze, ScienceWorld)와 두 가지 타겟 에이전트(Opus 4.6, GPT 5.2)를 대상으로 평가되었습니다.

• 성능: OpenSkill은 모든 벤치마크에서 최고의 자동화 전체 통과율을 달성했습니다. SkillsBench에서 Opus 4.6 기준 43.6%, GPT 5.2 기준 **42.1%**를 기록하며, 가장 강력한 클로즈드 월드(closed-world) 베이스라인인 Skill-Creator 및 CoT보다 각각 +8.9 및 +8.8 퍼센티지 포인트 더 높은 성능을 보였습니다. 이는 인간이 큐레이션한 상한선에 지속적으로 근접하는 수치입니다.
• 교차 모델 전이 가능성: Opus 4.6을 사용하여 OpenSkill이 생성한 기술을 재학습 없이 약한 모델들(Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3)에 직접 배포했습니다. OpenSkill이 생성한 기술은 모든 타겟 모델에서 일관되게 가장 높은 보상을 얻었으며, 기술이 없는 베이스라인 대비 5.5%~14.8% 향상된 성능을 보였습니다.
• 검증기 품질: 자체 구축된 가상 검증기는 정답 테스트에 한 번도 접근하지 않았음에도 불구하고, 정답 결과와 80.5%의 재현율(recall) 및 **60.7%의 일치도(agreement)**를 달성했습니다. 또한 샘플링된 태스크 전반에 걸쳐 정답 테스트 의도의 **88.9%**를 커버했습니다.
• 절제 연구(Ablation Studies):
  • 반복 횟수: 성능은 3회의 정교화 반복에서 정점을 찍었으며, 과도한 반복은 가상 피드백에 대한 과적합(overfitting)을 초래했습니다.
  • 구성 요소 기여도: 오픈 월드 쿼리 모듈과 가상 검증기 모두 파라미터 전용(parametric-only) 베이스라인에 비해 유의미하고 상호 보완적인 이득을 제공했습니다.

5. 의의 및 주장

본 논문은 OpenSkill이 큐레이션된 기술이나 신뢰할 수 있는 피드백을 사용할 수 없는 환경에 배포된 후에도 계속해서 개선될 수 있는 에이전트의 실행 가능한 경로를 보여준다고 주장합니다. 기술 습득을 타겟 태스크의 감독으로부터 분리하고 검증을 독립적으로 검증 가능한 오픈 월드 사실에 고정함으로써, OpenSkill은 다음을 가능하게 합니다:

• 확장성: 기술은 모델 가중치가 아닌 명시적인 아티팩트이므로, 다양한 모델 제품군 간에 전이될 수 있습니다.
• 근거 기반(Groundedness): 기술은 외부 문서 및 저장소에서 파생되므로, 업데이트가 되지 않았거나 틈새 영역(niche domains)에 부적합할 수 있는 파라미터 지식에 대한 의존도를 완화합니다.
• 감독 없는 학습: 본 프레임워크는 "골든 답(gold answer)" 없이도 태스크 프롬프트와 오픈 월드 리소스만으로 자기 개선 루프를 구축할 수 있음을 증명합니다.

저자들은 오픈 월드 소스의 잠재적 노이즈, 가상 태스크가 너무 쉬워질 위험(기술 품질 과대평가), 그리고 클로즈드 월드 생성 대비 오픈 월드 연구의 계산 비용 문제 등의 한계를 인정합니다. 그러나 결과는 오픈 월드 획득과 누출 없는 검증의 결합이 자율적인 에이전트 진화를 위한 견고한 메커니즘임을 시사합니다.