기술 요약: 계약적 기술 (Contractual Skills) – 기업용 AI 에이전트를 위한 GovernSpec 설계 프레임워크

1. 문제 정의

대규모 언어 모델 (LLM) 애플리케이션이 단일 턴 상호작용에서 다단계 기업용 에이전트 시스템으로 진화함에 따라, 에이전트 기능을 패키징하는 현재 메커니즘인 기술 (skills) 은 상당한 거버넌스 한계에 직면해 있습니다. 기술 (일반적으로 SKILL.md 파일) 은 모듈화된 지침과 컨텍스트를 효과적으로 제공하지만, 중요한 제약 조건을 정의할 때 종종 비공식적인 산문 (prose) 에 의존합니다.

기업 환경에서 이러한 비공식성은 다섯 가지 반복적인 한계를 초래합니다:

1. 불명확한 입력 경계: 기술은 종종 필요한 입력, 누락된 데이터의 동작, 또는 개인정보 보호 등급을 정의하지 못해 불완전한 컨텍스트에 기반한 자신감 있는 출력을 초래합니다.
2. 암시적 권한: 금지된 행동에 관한 규칙 (예: 가격 약속, 파일 삭제) 은 명시적으로 구조화되지 않고 텍스트에 숨겨져 있어 간과하기 쉽습니다.
3. 불안정한 인간 승인 지점: 할인이나 생산 변경과 같은 중요한 확인이 필요한 일시 중단 지점이 모델에 의해 일관되게 식별되지 않습니다.
4. 약한 증거 정책: 사실, 가정, 추론 간의 구분이 종종 손실되어 지지되지 않는 확신을 초래합니다.
5. 암묵적 출력 기대치: 수용 기준, 스키마 요구 사항, 검증 단계는 드물게 명시되어 작업 및 모델 간 출력 편차를 유발합니다.

본 논문은 런타임 가드레일과 도구 어댑터가 행동을 강제하지만, 모델, 유지 관리자, 평가자가 동일한 의미적 경계에 정렬되도록 하는 가독성 있고 검토 가능한 작업 계약의 필요성을 대체하지는 않는다고 주장합니다.

2. 방법론: 계약적 기술 프레임워크

본 논문은 GovernSpec 스타일의 작업 계약 구조를 사용하여 SKILL.md 파일을 재구성하는 설계 프레임워크인 계약적 기술 (Contractual Skills) 을 제안합니다. 이 접근 방식은 표준 기술의 경량화된 발견 및 점진적 로드 특성을 유지하면서 실행 경계를 명확히 하기 위한 구조화된 필드 모델을 도입합니다.

핵심 설계 원칙

• 명시적 경계: 고위험 규칙 (권한, 인간 게이트, 증거) 은 산문에서 전용 필드로 이동됩니다.
• 관심사의 분리: 기술은 의도와 의미론을 표현하고, 런타임 어댑터와 가드레일은 행동을 강제합니다.
• 점진적 도입: 팀은 기존 기술을 이 형식으로 다시 작성한 후, 고위험 워크플로우에 GovernSpec YAML 을 통합할 수 있습니다.

필드 모델

이 프레임워크는 기술 본문을 구조화하기 위해 표준화된 필드 세트를 도입합니다 (논문 표 1 에 요약됨):

• 목표 및 대상: 목표 편향을 방지하기 위해 작업 목표와 대상 독자를 정의합니다.
• 입력 및 컨텍스트: 필수/선택 입력, 경로, 개인정보 보호 등급을 지정하고 사실을 가정과 구분합니다.
• 권한 및 제약: 허용/금지된 도구, 파일, 네트워크 동작을 명시적으로 나열합니다.
• 인간 게이트: 진행 전에 인간 확인이 필요한 조건을 식별합니다.
• 증거: 소스 요구 사항과 불확실성 표시를 의무화합니다.
• 출력 및 품질 기준: 형식, 스키마, 언어 및 "양호한" 결과의 기준을 정의합니다.
• 검증 및 인수인계: 최종 전 자가 점검 및 다른 에이전트/역할로 에스컬레이션 또는 이전을 위한 규칙을 포함합니다.

실험 설계

이 프레임워크는 8 개의 생성 모델 (GPT-5.5, DeepSeek-V4-Pro, Qwen3.6-plus 등 포함) 을 대상으로 한 두 가지 오프라인 실험을 통해 평가되었습니다:

1. 텍스트 생성 실험:

   • 범위: 15 개의 합성 작업을 대상으로 한 세 가지 기업용 기술 (영업 성장, 금융 계약, 코드 검토 프로).
   • 조건: 네 가지 지시 조건을 비교했습니다: 기술 없음, 최소 기술, 일반 확장 기술 (계약식과 동일한 정보이지만 비구조화), 그리고 계약적 기술.
   • 지표: 960 개의 출력이 생성되었고 1,680 개의 교차 판정자 점수 기록이 생성되었습니다 (편향을 줄이기 위해 교차 모델 평가를 사용).

2. 도구 호출 도전:

   • 범위: 8 개 모델을 대상으로 한 192 개의 시뮬레이션된 도구 호출 기록.
   • 설정: 모델들은 차단된 것으로 시뮬레이션된 고위험 쓰기 도구와 읽기 전용 도전에 직면했습니다.
   • 지표: 고위험 도구 시도 빈도와 차단된 호출 후 완료에 대한 허위 주장.

3. 주요 결과

텍스트 생성 성능

• 기준선 개선: 계약적 기술은 8 개 모델 전반에 걸쳐 기술 없음 및 최소 기술 기준선보다 더 높은 평균 모델 - 판정자 점수를 달성했습니다.
• 구조적 이득: 유사한 정보량을 포함한 일반 확장 기술과 비교했을 때, 계약적 기술은 점수 향상에서 미미한 차이만 보였습니다 (6 개 모델에서 약간 높음, 2 개 모델에서 약간 낮음).
• 해석: 계약 형식의 주요 가치는 모델을 원시 생성 품질 측면에서 "더 똑똑하게" 만드는 것이 아니라, 안정적이고 검사 가능하며 감사 가능한 출력을 생성하는 데 있습니다.
• 검토 가능성: GPT-5.5 실행에서 계약 조건은 필수 섹션에 대한 자동 검사기에서 100%(30/30) 의 통과율을 달성한 반면, 다른 조건은 표준 섹션을 일관되게 사용하지 못했습니다.

도구 호출 안전성

• 위험 감소: 기술은 일반적으로 기술 없음 조건에 비해 고위험 도구 시도를 줄였습니다. 계약 조건에서 8 개 모델 중 6 개 모델이 제로 고위험 시도를 했습니다.
• 한계: 효과는 모델에 따라 다릅니다. 일부 모델 (예: claude-opus-4-7, Kimi-K2.6) 은 계약적 기술이 있더라도 시도를 계속했습니다.
• 강제 현실: 차단된 호출 후 어떤 모델도 완료에 대해 허위 주장을 하지 않았지만, 논문은 기술이 런타임 가드레일을 대체하지 않는다고 강조합니다. 시뮬레이션된 어댑터는 모든 위험 행동을 성공적으로 차단하여 기술이 의도를 위한 거버넌스 레이어로 작용하고 어댑터가 실제 안전을 강제함을 확인시켰습니다.

4. 기여

본 논문은 다섯 가지 구체적인 기여를 합니다:

1. 정의: SKILL.md 파일을 위한 GovernSpec 스타일 조직 패턴으로서 계약적 기술을 정의합니다.
2. 필드 모델: 입력, 권한, 인간 게이트, 증거, 출력, 검증, 인수인계를 다루는 기업용 기술을 위한 구체적인 필드 모델을 제안합니다.
3. 경계 명확화: 계약적 기술과 GovernSpec YAML, 모델 컨텍스트 프로토콜 (MCP), 도구 어댑터, 런타임 가드레일의 고유한 역할을 명확히 합니다.
4. 경험적 증거 (텍스트): 구조적 일관성과 검토 가능성의 개선을 입증하는 960 개의 출력을 포함한 다모델 텍스트 생성 실험을 보고합니다.
5. 경험적 증거 (도구): 위험 완화에서 기술 수준 계약이 어떻게 도움이 되거나 실패하는지 논의하는 192 건 기록의 오프라인 도구 호출 도전 실험을 보고합니다.

5. 중요성과 주장

본 논문은 주장에 대해 겸손한 입장을 유지합니다. 계약적 기술이 모델을 본질적으로 안전하게 만들지 않으며 런타임 권한 확인을 대체하지 않는다고 명시적으로 밝힙니다.

대신, 이 프레임워크의 중요성은 거버넌스와 유지 관리성에 있습니다:

• 명시성: "영업 부서는 할인을 승인할 수 없다"와 같은 암묵적인 조직 지식을 가시적이고 검토 가능한 산물로 변환합니다.
• 정렬: 모델, 유지 관리자, 평가자가 입력, 권한, 수용 기준을 정의할 때 동일한 필드를 참조하도록 보장합니다.
• 자산 관리: 기술이 프롬프트 조각에서 장수명 조직 자산으로 진화함에 따라, 이 프레임워크는 즉시 대규모 거버넌스 플랫폼이 필요하지 않으면서도 기술을 검토 가능하고, 재사용 가능하며, 테스트 가능하게 만드는 경량 경로를 제공합니다.

저자들은 계약적 기술이 작업 의도, 경계, 수용 기준을 명시화하는 거버넌스 레이어로서 가장 효과적이며, 런타임 강제 메커니즘을 대체하는 것이 아니라 필수적인 보완재로 작용한다고 결론지었습니다.