기술 요약: SkillSmith

문제 정의

대형 언어 모델 (LLM) 기반 에이전트 시스템의 최근 발전으로 인해, 전문 작업을 처리하기 위해 지시 문서 (예: SKILL.md), 스크립트, 템플릿, 참조 등을 포함하는 재사용 가능한 패키지인 '기술 (skills)'의 사용이 보편화되었습니다. 현재의 프레임워크에서는 매칭이 식별되면 이러한 기술들이 에이전트의 추론 루프 (예: ReAct 스타일) 에 전체적인 문맥 안내로서 주입되는 것이 일반적입니다.

저자들은 이 실행 패러다임에서 두 가지 주요 중복 원인을 식별했습니다:

1. 관련 없는 문맥 주입: 기술이 선택될 때, 전체 패키지가 종종 모델 문맥에 로드됩니다. SkillsBench 벤치마크 분석에 따르면 로드된 토큰의 약 51.21% 가 특정 런타임 작업과 관련이 없어 불필요한 문맥 소비를 초래합니다.
2. 반복된 기술 추론: 에이전트들은 서로 다른 작업에 대해 동일한 기술 지시문을 반복적으로 해석하고 실행 전략을 재구성합니다. 저자들은 동일한 기술을 사용하는 작업들 간에 평균 45.5% 의 추론 흔적 유사성을 관찰했는데, 이는 정적 지시문을 재이해하고 유사한 계획을 재생성하는 데 상당한 계산 낭비가 있음을 시사합니다.

저자들은 이러한 문제들이 반복적인 온라인 해석이 필요한 단일 텍스트 리소스로 기술을 취급하고 명시적인 런타임 경계가 부족하기 때문에 발생한다고 주장합니다.

방법론: SkillSmith

이러한 비효율성을 해결하기 위해 저자들은 SkillSmith, 즉 경계 우선 컴파일러-런타임 프레임워크를 제안합니다. 전통적인 컴파일러 시스템에서 영감을 받은 SkillSmith 는 기술 명세의 해석을 런타임 루프에서 오프라인 컴파일 단계로 이동시켜 최소한의 실행 가능한 인터페이스를 생성합니다.

핵심 설계 원칙

• 경계 우선 컴파일: 기술을 통합된 중간 표현 (IR) 으로 컴파일하는 대신, SkillSmith 는 명시적인 **런타임 경계 계약 (runtime boundary contracts)**으로 컴파일합니다. 이러한 계약은 기술의 운영 경계, 호출 인터페이스, 실행 조건 및 폴백 의무를 포착합니다.
• 소스 형태 분류: 컴파일 전에 시스템은 구조적 증거에 기반하여 기술 패키지를 네 가지 형태 중 하나로 분류합니다:
  • 워크플로우 (Workflow): 순차적인 단계와 제어 흐름 (단계별 그래프로 컴파일됨).
  • 디스패처 (Dispatcher): 고정된 순서 없이 묶인 스크립트 또는 호출 가능한 연산 (타입 지정 연산자 레지스트리로 컴파일됨).
  • 참조 (Reference): 실행 가능한 구조가 제한된 지시 중심의 산문 (색인화된 검색 섹션으로 컴파일됨).
  • 불충분 (Insufficient): 신뢰할 수 있는 구조가 부족한 패키지 (원래 문맥으로의 폴백을 통해 진단됨).
• 경계 계약 (ABI): 컴파일의 출력물은 다음을 노출하는 정적 레코드 (계약) 입니다:
  • 스키마 및 바인딩이 있는 연산자.
  • 입력/출력 요구사항.
  • 위험 플래그 및 유효성 검사 수준 (증거 강도).
  • 행동 및 선택 정책.
  • 손실 없는 폴백 메타데이터 (원본 소스 자료를 포함하는 캡슐).

런타임 실행

런타임 시, 에이전트는 **점진적 공개 (progressive disclosure)**를 통해 컴파일된 아티팩트와 상호작용합니다:

1. 에이전트는 컴팩트한 핸들 및 경계 요약을 봅니다.
2. 선택 시, 런타임은 필요에 따라 관련 연산자와 정책을 공개합니다.
3. 런타임은 세 가지 결과로 이어지는 보호된 상태 머신을 실행합니다:
   • 차단 (Blocked): 정책 제약이 위반될 경우 이유 및 비최적화 힌트를 반환합니다.
   • 안내 (Guidance): 컴파일된 연산자 이상의 의미적 판단이 필요한 경우 참조 안내를 반환합니다.
   • 실행 (Execute): 타입 지정 연산자, 스크립트 또는 명령을 직접 실행하여 증거 또는 솔버 출력을 반환합니다.
4. 손실 없는 비최적화 (Lossless Deoptimization): 컴파일된 구조가 불충분하거나 정책이 실행을 방해하는 경우, 시스템은 정확한 원본 소스 자료를 검색할 수 있는 연산자를 제공하여 에이전트가 항상 원시 기술 해석으로 폴백할 수 있도록 보장합니다.

주요 기여

1. 중복성 식별: 저자들은 기술 기반 에이전트 시스템이 관련 없는 문맥 주입 및 유사한 실행 계획에 대한 반복적 추론으로 인해 상당한 런타임 중복을 겪음을 경험적으로 증명했습니다.
2. SkillSmith 프레임워크: 그들은 기술 패키지를 최소한의 경계 관리 런타임 단위로 변환하여 오프라인 변환과 온라인 실행을 분리하는 새로운 컴파일러-런타임 프레임워크를 제안합니다.
3. 경험적 검증: SkillsBench 벤치마크를 통한 평가를 통해 SkillSmith 가 작업 정확도를 유지하거나 향상시키면서 리소스 소비를 크게 줄임을 보여주었습니다.

실험 결과

저자들은 여러 모델 (GPT-5.5, Claude Opus 4.7, DeepSeek V4 Flash, Qwen3.6) 과 에이전트 하네스 (AGENT-H, Codex, OpenCode) 를 통해 SkillsBench 의 일곱 가지 대표 작업 (쉬운 문서 생성부터 어려운 과학적 처리까지) 에서 SkillSmith 를 평가했습니다.

원시 기술 (Standard Context Injection) 대비 성능:

• 토큰 사용량: 57.44% 감소.
• 생각 반복 횟수: 42.99% 감소.
• 해결 시간: 50.57% 감소 (2.02 배 빠름).
• 금전적 비용: 57.44% 감소 (토큰 비례).

SkVM(최근 기술 가상 머신) 대비 성능:

• 토큰 사용량: 46.49% 감소.
• 해결 시간: 47.04% 감소.
• LLM 호출 횟수: 18.67% 감소.

모델 안정성 및 전이:

• SkillSmith 는 성공적인 원시 기술 사례에서 작업 정확도를 유지합니다.
• 크로스-모델 재사용: 더 강력한 모델 (Claude Opus 4.7) 이 생성한 컴파일된 아티팩트가 더 작거나 효율적인 런타임 모델 (예: DeepSeek V4 Flash, Qwen3.6) 에 의해 성공적으로 재사용되었습니다. 여러 사례에서, 이러한 전이는 런타임 모델이 원시 기술을 사용하여 실패했던 작업을 해결할 수 있게 하여 효율성과 정확성 모두를 향상시켰습니다.

컴파일 오버헤드:

• 일회성 컴파일 비용은 기술당 약 3,104 토큰 및 13.22 초입니다. 저자들은 이 비용이 반복 호출에 걸쳐 분산되며, 이후 모든 사용 시 런타임 절감 효과가 반복된다고 지적합니다.

중요성 및 주장

이 논문은 SkillSmith 가 에이전트 기술 활용 방식의 전환, 즉 '문맥 로드'에서 '인터페이스 실행'으로의 이동을 나타낸다고 주장합니다. 재사용 가능한 기술 명세를 구조화되고 소스 기반의 워크플로우 아티팩트로 컴파일함으로써, 이 프레임워크는 다음과 같은 효과를 가집니다:

• 효율성 향상: 기술 기반 작업에 필요한 토큰 소비, 지연 시간 및 추론 반복 횟수를 극적으로 줄입니다.
• 이식성 강화: 강력한 컴파일 타임 모델에서 효율적인 런타임 모델로 기술 구조의 이전을 가능하게 하여, 고성능 에이전트 실행의 장벽을 낮출 수 있습니다.
• 안전성 및 유연성 유지: 명시적인 경계 계약과 손실 없는 폴백 메커니즘을 통해 컴파일이 복잡한 비정형 추론 처리 능력이나 컴파일 불일치로부터의 복구를 희생하지 않도록 보장합니다.

저자들은 SkillSmith 를 프롬프트 최적화 및 런타임 오케스트레이션에 대한 기존 작업과 상호 보완적인 것으로 위치시키며, 특히 정적 기술 문서 해석의 오버헤드를 줄이기 위해 실행 레이어를 대상으로 한다고 명시합니다. 그들은 효과성이 소스 기술의 안정성에 의존하며, 외부 도구 실행이나 새로운 작업별 판단과 같은 불가피한 런타임 작업을 컴파일이 제거하지는 않는다는 한계를 인정합니다.