기술 요약: 형식적 기술 (Formal Skill): 효율적이고 정확한 LLM 에이전트를 위한 프로그래밍 가능 런타임 기술

1. 문제 제기

대형 언어 모델 (LLM) 에이전트는 실제 작업 공간에서 점점 더 널리 배포되고 있으며, 이들의 행동 능력은 도구와 기술의 신뢰성에 달려 있습니다. 에이전트 기술을 정의하는 현재의 접근 방식은 비형식적 기술 (Informal Skills)(주로 자연어로 인코딩된 절차적 지식) 에 의존하기 때문에 다음과 같은 네 가지 주요 한계를 겪고 있습니다:

1. 토큰 비효율성: 절차적 지시사항 (예: SKILL.md 파일, 마크다운 팩) 은 관련 턴마다 프롬프트 토큰으로 로드되어야 하므로 비용이 많이 듭니다.
2. 모호성: 자연어는 기계에게 반구조화된 형태일 뿐이므로, 엄격한 순서, 안전 규칙, 또는 완료 기준을 강제하기 어렵습니다.
3. 약한 강제력: "완료 전 검증" 또는 "보호된 파일 편집 금지"와 같은 제약 조건은 종종 프롬프트에서의 부드러운 제안일 뿐 실행 가능한 검사가 아니어서, 모델이 이를 우회할 수 있습니다.
4. 취약한 복구: 상태 및 복구 컨텍스트는 대화 기록에 암시적으로 존재할 뿐, 명시적이고 기술 로컬 런타임 상태로 표현되지 않아, 장기 작업에서 임시방편적인 복구 전략을 초래합니다.

SKILL.md 라이브러리나 스키마 기반 도구 인터페이스 (예: MCP, 함수 호출) 를 사용하는 기존 시스템들은 절차를 읽어야 할 문서로 취급하거나, 워크플로우 상태, 정책 강제, 또는 완료 규율을 통제하지 않은 채 개별 동작만 정의합니다.

2. 방법론: 형식적 기술과 FairyClaw

저자들은 **형식적 기술 (Formal Skill)**을 제안합니다. 이는 재사용 가능한 에이전트 능력을 자연어 아티팩트에서 구조화되고 실행 가능한 객체로 변환하는 런타임 네이티브 추상화입니다. 이 접근법은 절차적 불변식을 모델의 프롬프트에서 런타임의 실행 로직으로 이전시킵니다.

형식적 기술의 핵심 구성 요소

형식적 기술은 다섯 가지 통합 구성 요소로 이루어집니다:

1. JSON 메타데이터 및 동작 스키마: 긴 절차적 텍스트를 대신하여 기계가 읽을 수 있는 인터페이스를 정의하며, 간결한 도구 설명과 인수 스키마를 제공합니다.
2. 신뢰할 수 있는 Python 실행기: 결정론적 검증과 경계된 부작용을 통해 동작을 구현하여, 도구 호출이 실행 전 안전하고 정확하도록 보장합니다.
3. 후크 (Hook) 에 의해 통제되는 제어 로직: 모델과 도구 상호작용을 중재하는 후크 파이프라인 (예: before_llm_call, before_tool_call, after_tool_call) 입니다. 이러한 후크는 정책을 강제하고, 상태에 따라 표시되는 도구를 필터링하며, 인수를 검증합니다.
4. 기술 로컬 런타임 상태: 진행 상황을 추적하는 명시적 상태 객체 (예: 현재 단계, 검증 상태, 아티팩트 게이트) 입니다. 이 상태는 후크에 의해 소비되어 도구 가시성과 작업 완료를 결정하며, 암시적 기록 기반 복구를 대체합니다.
5. 라우팅 메타데이터: 특정 작업 또는 하위 작업에 기술이 언제 그리고 어떻게 노출되는지를 결정하여 동적 능력 선택을 가능하게 합니다.

구현: FairyClaw

저자들은 형식적 기술을 오픈 소스 이벤트 기반 에이전트 런타임인 FairyClaw에 구현했습니다. 주요 아키텍처 특징은 다음과 같습니다:

• 단일 단계 플래너: 런타임은 한 번에 하나의 LLM 결정과 그 도구의 효과를 실행하며, 턴을 영구화하고 다음 이벤트를 예약하기 전에 기술 상태를 업데이트합니다.
• 타입화된 히스토리 IR: 히스토리의 타입화된 중간 표현을 유지합니다.
• 서브 에이전트 위임 및 라우팅: 상위 플래너는 좁은 작업 공간과 라우팅된 기술 세트를 가진 서브 세션을 생성할 수 있습니다. 이는 모델이 현재 단계와 관련된 도구와 지침만 보도록 하여 토큰 사용량과 동작 모호성을 줄입니다.
• 후크 파이프라인: 상태를 도구 가시성, 프롬프트 지침, 정책 검사로 변환하는 구조화된 파이프라인입니다.

사례 연구: CODEREPAIROPS

개념을 구체화하기 위해 저자들은 코드 수정 및 테스트 주도 디버깅을 위한 형식적 기술인 CODEREPAIROPS를 개발했습니다.

• 단계: 이 기술은 reproduce(재현) → diagnose(진단, 선택적) → patch(패치) → verify(검증) → report(보고) 의 워크플로우를 강제합니다.
• 상태 기반 가시성: reproduce 단계에서는 증거 수집 도구만 표시됩니다. patch 단계에서는 통합 패치 도구만 허용되며, 보호된 경로나 과도한 변경을 거부하는 가드가 작동합니다.
• 게이트 강제: 검증이 통과되고 필요한 아티팩트가 생성될 때까지 완료가 차단됩니다. 게이트가 실패하면 세션은 조기 완료를 허용하는 대신 이전 단계로 강제로 되돌아갑니다.

3. 주요 기여

1. 형식적 기술 추상화: 절차적 지식을 자연어 프롬프트에서 JSON 메타데이터, 동작 스키마, 신뢰할 수 있는 실행기, 후크에 의해 통제되는 제어 루프, 그리고 기술 로컬 런타임 상태로 이동시키는 에이전트 기술에 대한 새로운 패러다임입니다.
2. FairyClaw 런타임: 형식적 기술을 라우팅 가능, 실행 가능, 관찰 가능, 그리고 강제 가능하게 만드는 오픈 소스 이벤트 기반 런타임입니다. 이는 단일 단계 계획, 영구 세션 상태, 후크 기반 실행 통제를 통합합니다.
3. 실증적 검증: Harness-Bench 스위트에서의 시연은 형식적 기술이 토큰 소비를 크게 줄이면서도 경쟁력 있는 성능을 달성할 수 있음을 보여줍니다.

4. 실험 결과

저자들은 두 가지 모델 계열 (gpt-5.4 및 gemini-3.1-pro) 을 사용하여 75 개의 작업에 걸쳐 FairyClaw 를 다섯 가지 다른 에이전트 하네스 (Moltis, NullClaw, ZeroClaw, Hermes, OpenClaw) 와 비교 평가했습니다.

• 전체 성능:
  • gpt-5.4에서 FairyClaw 는 모든 에이전트 중 가장 높은 종합 점수 (0.746) 를 달성하여 이 그룹에서 1 위, 두 모델 계열 전체에서는 3 위를 차지했습니다.
  • gemini-3.1-pro에서 FairyClaw 는 0.635의 경쟁력 있는 점수를 달성하여 전체적으로 3 위를 차지했습니다.
• 토큰 효율성:
  • FairyClaw 는 모든 비교 대상보다 훨씬 적은 토큰을 사용했습니다. gpt-5.4에서 평균 작업당 46.8K 토큰을 사용했는데, 이는 다른 다섯 개 하네스의 평균보다 약 48% 낮으며, 다음으로 효율적인 시스템보다 33% 낮습니다.
  • FairyClaw(gpt-5.4) 의 총 토큰 사용량은 3.51M이었으며, Moltis 는 6.29M, Hermes 는 7.28M 였습니다.
  • 저자들은 이러한 실행 중 컨텍스트 압축이 비활성화되었음을 지적했습니다. 따라서 효율성 향상은 대화 요약이 아닌 형식적 기술 라우팅, 간결한 단계 지침, 그리고 좁은 도구 노출에 기인합니다.
• 작업별 성능:
  • 증거 수집, 작업 공간 수정, 검증을 요구하는 대표적인 코드 디버깅 작업에서 FairyClaw 는 두 모델 모두에 대해 가장 높은 종합 점수를 달성했습니다 (gpt-5.4 의 경우 0.865, gemini-3.1-pro 의 경우 0.843).
  • FairyClaw 는 때때로 더 많은 라운드가 필요했습니다 (예: gpt-5.4 에서 NullClaw 의 21 라운드 대비 48 라운드). 그러나 이러한 라운드는 비구조화된 프롬프팅이 아닌 명시적 상태 전환과 후크 제어에 의해 관리되었으므로, 더 긴 궤적임에도 불구하고 전체 토큰 소비량은 더 낮았습니다.

5. 중요성 및 주장

본 논문은 형식적 기술이 재사용 가능한 에이전트 능력 구축 방식의 전환을 나타낸다고 주장합니다. 기술을 "텍스트 매뉴얼"이 아닌 "런타임 계약"으로 취급함으로써 이 접근 방식은 다음과 같은 이점을 제공합니다:

• 추론과 실행의 분리: 모델은 구조화된 동작 사이에서 추론하고 선택하는 역할을 유지하는 반면, 런타임은 절차적 불변식, 안전 규칙, 상태 관리를 담당합니다.
• 규율 강제: 제약 조건은 모델이 무시할 수 있는 지시사항이 아니라 (예: 안전하지 않은 편집이나 조기 완료를 차단하는) 실행 가능한 검사가 됩니다.
• 효율성 향상: 긴 절차 문서를 간결하고 상태 조건부 지침으로 대체함으로써 토큰 소비를 극적으로 줄입니다.

저자들은 이를 에이전트 행동에서 자연어를 대체하는 것이 아니라 역할 재분배로 위치시킵니다. 자연어는 작업별 추론에 사용되고, 재사용 가능한 절차는 간결하고 강제 가능한 런타임 객체로 인코딩됩니다. 결과는 이 접근 방식이 에이전트가 더 높은 신뢰성과 훨씬 낮은 비용으로 복잡하고 다단계 작업을 수행할 수 있음을 시사합니다.