Toward Scalable Terminal Task Synthesis via Skill Graphs

다음은 "Toward Scalable Terminal Task Synthesis via Skill Graphs"(SkillSynth) 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

터미널 에이전트(명령줄 인터페이스를 통해 상호작용하는 LLM) 는 자율 시스템 관리에 유망한 가능성을 보이지만, 훈련을 위한 고품질이고 다양한 실행 궤적의 부족으로 인해 심각하게 제약받고 있습니다.

• 현재의 한계: 터미널 작업을 확장하기 위한 기존 방법들은 다음과 같은 요소들에 의존합니다:
  • LLM 생성 분류 체계: 실제 사용과 종종 괴리가 있습니다.
  • GitHub 저장소 역추적: 실제 코드베이스에서 작업을 도출하지만 범위를 소프트웨어 공학 (예: 버그 수정) 으로 제한하며, 실행 경로(시나리오와 기술의 시퀀스) 의 다양성을 통제하지 못합니다.
• 핵심 통찰: 터미널 에이전트의 궤적은 두 가지 차원으로 정의됩니다: 에이전트가 통과하는 시나리오(중간 상태) 와 수행하는 기술(행동). 훈련에는 $(\text{시나리오}, \text{기술})$ 쌍의 조건부 곱 공간을 밀집하게 커버하는 데이터가 필요합니다. 기존 방법들은 이러한 차원에서 중복성을 보여 최적의 학습을 저해합니다.

2. 방법론: SkillSynth

저자들은 SkillSynth를 제안합니다. 이는 워크플로우를 시나리오 매개 기술 그래프상의 경로로 모델링하여 다양한 터미널 작업을 합성하는 자동화 프레임워크입니다.

A. 기술 그래프 구축

이 프레임워크는 다음과 같은 방향성 다중 그래프 $G = (\Omega, K)$를 구축합니다:

• 노드 ($\Omega$): 시나리오 (시스템 상태의 결정 관련 추상화).
• 간선 ($K$): 기술 (전제 조건 시나리오에서 결과 조건 시나리오로의 방향성 전환).
• 파이프라인:
  1. 기술 필터링: ClawHub와 공개 GitHub 저장소에서 기술을 집계하여 실행 가능성, 구조화된 워크플로우, 안전성 (제일브레이크 없음) 을 기준으로 필터링합니다.
  2. 시나리오 추론: 각 기술에 대한 전제 조건 및 결과 조건 시나리오를 LLM 을 통해 추론합니다.
  3. 의미적 중복 제거: 계층적 응집 클러스터링을 사용하여 어휘는 다르지만 의미적으로 동일한 시나리오를 클러스터링하고 병합합니다.
  4. 기술 간 정렬: 임베딩 유사성과 LLM 검증을 통해 한 기술의 결과 조건을 다른 기술의 전제 조건과 매칭하여 기술을 연결합니다.
  • 결과: 약 82,000 개의 시나리오, 약 57,000 개의 기술, 약 185,000 개의 검증된 브리지를 가진 그래프.

B. 그래프 유도 경로 샘플링

무작위 보행 (고차수 노드를 선호함) 대신 SkillSynth 는 역빈도 경로 샘플링(알고리즘 1) 을 사용합니다:

• 메커니즘: 시나리오 ($\nu$) 와 기술 ($\mu$) 에 대한 방문 횟수를 유지합니다.
• 확률: 다음 단계를 $(count + 1)^{-1}$에 비례하는 확률로 샘플링합니다.
• 제약: 단일 경로 내에서 노드를 재방문하지 않는 단조 진행을 강제하여 다양성을 보장합니다.
• 목표: 경험적 분포를 $(\text{시나리오}, \text{기술})$ 공간의 균일한 커버리지로 유도합니다.

C. 멀티 에이전트 합성 하네스

샘플링된 경로는 멀티 에이전트 시스템을 통해 실행 가능한 작업으로 인스턴스화됩니다:

1. Planner: 추상 경로를 하위 목표의 구조화된 계획으로 변환합니다.
2. Constructor: 전체 작업 인스턴스 (지시사항, 초기 파일시스템, Docker 환경, 검증 스크립트, 오라클 솔루션) 를 생성합니다.
3. 이중 검증:
   • 오라클 확인: 컨테이너에서 솔루션을 실행하여 해결 가능성을 보장합니다.
   • 루브릭 확인: LLM-as-a-Judge 를 사용하여 지시사항 - 테스트 정렬을 검증하고 솔루션 유출이 없음을 보장합니다.
4. 반복적 수리: 실패한 인스턴스는 폐기되기 전에 도구 증강 에이전트를 사용하여 최대 3 회까지 수리 사이클을 거칩니다.

3. 주요 기여

1. 이론적 모델링: 터미널 에이전트 궤적을 시나리오와 기술의 시퀀스로 공식화하여 효과적인 훈련을 위해 $(\sigma, \kappa)$ 공간에서 다양성을 극대화할 필요성을 규명합니다.
2. SkillSynth 프레임워크: 시나리오 매개 기술 그래프를 구축하고 인간의 개입 없이 작업을 합성하는 엔드투엔드 자동화 파이프라인입니다.
3. 확장 가능한 합성: 단일 실행에서 3,721 개의 샘플링된 경로로부터 3,560 개의 검증된 작업 인스턴스를 달성했으며, 작업당 평균 $27.3의 비용으로 95.7% 의 오라클 통과율을 기록했습니다.
4. 실증적 검증: 그래프 유도 합성이 단일 기술이나 무작위 멀티 기술 베이스라인보다 더 어렵고 다양한 작업을 생성하여 일관된 성능 향상을 이끌어냄을 입증했습니다.

4. 실험 결과

• 데이터셋: 3,560 개의 검증된 작업을 사용하여 Qwen3 모델 (8B, 14B, 32B) 을 지도 미세 조정 (SFT) 을 통해 훈련했습니다.
• 벤치마크: Terminal-Bench 1.0 및 2.0에서 평가되었습니다.
• 성능 향상:
  • Qwen3-32B + SkillSynth는 TB 1.0 에서 33.8%, TB 2.0 에서 **29.6%**를 달성했습니다.
  • 이는 훨씬 더 큰 Qwen 3 Coder 480B(TB 2.0 에서 23.9%) 를 능가하여, 단순한 모델 규모보다 표적 데이터 다양성이 더 효과적임을 입증했습니다.
  • 어블레이션: SkillSynth 작업은 TB 2.0 에서 "단일 기술" 베이스라인보다 약 8.4 점, "무작위 멀티 기술" 베이스라인보다 약 3.8 점을 상회했습니다.
• 작업 난이도: 합성된 작업의 38% 는 에이전트가 3 번 시도 후에도 해결하지 못했습니다 (0/3 성공), 이는 높은 복잡성을 나타냅니다.
• 다양성: SkillSynth 궤적은 단일 기술 베이스라인보다 31% 더 높은 고유 시나리오 - 기술 커버리지를 보여주었습니다.

5. 의의 및 향후 작업

• 패러다임 전환: "양 기반"(많은 유사 작업 생성) 에서 "다양성 제어"(상태 - 행동 공간의 커버리지 보장) 로 터미널 작업 합성을 전환합니다.
• 비용 효율성: 고품질 훈련 데이터를 생성할 수 있는 확장 가능하고 저비용 방법을 제공하여, 소형 모델이 터미널 작업에서 대형 독점 모델과 경쟁할 수 있게 합니다.
• 실제 세계 정렬: 실제 세계 기술 (ClawHub/GitHub) 과 시나리오 전환에 합성을 기반을 둠으로써, 생성된 작업이 실제 사용자 워크플로우를 더 잘 반영합니다.
• 향후 방향: 더 큰 데이터 영역으로 확장, 더 저렴한 모델에 적응, 그리고 작업 복잡성을 더욱 증가시키기 위해 여러 기술의 병렬 실행을 가능하게 하는 서브그래프 샘플링 탐구.

결론: SkillSynth 는 고품질 터미널 데이터의 부족과 다양한 훈련 궤적의 필요성 사이의 간극을 효과적으로 연결하여, 확장 가능하고 자동화된 터미널 에이전트 훈련을 위한 새로운 표준을 확립합니다.