Agent Contracts: A Formal Framework for Resource-Bounded Autonomous AI Systems

1. 문제 정의 (Problem Statement)

• 배경: 2025 년 말, 한 엔지니어링 팀이 4 개의 전문 에이전트로 구성된 다중 에이전트 연구 시스템을 배포했으나, 두 에이전트가 11 일 동안 감지되지 않은 채 재귀적 명확화 루프 (recursive clarification loop) 에 빠져 $47,000 의 API 비용을 발생시키는 사고가 발생했습니다.
• 핵심 문제: 현재 AI 에이전트는 자율적인 행동을 수행할 수 있지만, 행동을 제한하는 형식적 메커니즘 (formal mechanisms) 이 부재합니다.
  • 기존 프로토콜 (예: Contract Net Protocol) 은 작업 할당 (task allocation) 에 초점을 맞추고 있지만, 자원 거버넌스 (resource governance) 즉, 에이전트가 소비할 수 있는 자원의 양이나 운영 시간을 제한하는 규범적 메커니즘을 제공하지 못합니다.
  • 이로 인해 비용 폭증, 예측 불가능한 실행 시간, 그리고 통제되지 않은 자율성으로 인한 시스템적 실패가 빈번히 발생합니다.
• 필요성: Gartner 는 2027 년까지 40% 이상의 에이전트 AI 프로젝트가 비용 상승이나 위험 통제 부족으로 취소될 것이라고 예측하며, 중앙 집중식 거버넌스 인프라의 필요성을 강조합니다.

2. 방법론 및 프레임워크 (Methodology & Framework)

저자들은 **"에이전트 계약 (Agent Contracts)"**이라는 새로운 형식적 프레임워크를 제안합니다. 이는 경제학의 계약 이론, 분산 시스템의 조정 이론, 실시간 시스템의 자원 제한 계산 이론을 융합한 것입니다.

2.1 에이전트 계약의 정의

에이전트 계약 $C$는 다음 7 개의 튜플로 정의되며, 입력/출력 사양, 자원 제약, 시간적 경계, 성공 기준을 통합합니다.
$$C = (I, O, S, R, T, \Phi, \Psi)$$

• $I$ (Input): 입력 스키마 및 제약 조건.
• $O$ (Output): 출력 스키마 및 품질 기준 ($Q_{min}$).
• $S$ (Skills): 에이전트가 사용할 수 있는 도구, 지식, 기능의 집합.
• $R$ (Resources): 다차원 자원 예산 (토큰, API 호출 횟수, 반복 횟수, 웹 검색, 계산 시간, 비용 등).
• $T$ (Temporal): 계약 시작 시간 ($t_{start}$) 및 수명 ($\tau$).
• $\Phi$ (Success Criteria): 계약 이행 조건 (가중치付き 측정 가능한 조건들의 합).
• $\Psi$ (Termination): 성공 여부와 상관없이 계약을 종료하는 조건 (자원 고갈, 시간 초과, 취소 신호 등).

2.2 계약 수명 주기 (Lifecycle)

계약은 DRAFTED(작성) $\rightarrow$ ACTIVE(활성화) $\rightarrow$ FULFILLED(이행), VIOLATED(위반), EXPIRED(만료), TERMINATED(종료) 중 하나의 최종 상태로 전환됩니다. 각 전이는 엄격한 가드 조건 (guard conditions) 에 의해 통제됩니다.

2.3 다중 에이전트 조정 및 보존 법칙 (Conservation Laws)

다중 에이전트 시스템에서 상위 에이전트 (Orchestrator) 가 하위 에이전트에게 작업을 위임할 때, 자원 보존 법칙이 적용됩니다.

• 보존 법칙: 하위 에이전트들에게 할당된 자원의 합계는 부모 에이전트의 전체 예산을 초과할 수 없습니다 ($\sum R_{child} \le R_{parent}$).
• 위임 메커니즘: 오케스트레이터는 하위 에이전트에게 서브 계약을 발행하며, 이 과정에서 예산을 분배하고 (비례, 균등, 협상 방식), 사용되지 않은 잔여 예산은 공유 풀로 반환하여 동적 재할당이 가능하도록 합니다.

2.4 강제 실행 (Enforcement)

• 소프트 강제 (Soft Enforcement): 예산 인식 프롬프팅을 통해 에이전트에게 남은 자원을 알려주고 자가 조절을 유도합니다 (단, 에이전트가 이를 무시할 수 있음).
• 하드 강제 (Hard Enforcement): 외부 모니터가 각 행동 후 자원 소비를 추적하고, 제약 조건을 위반하면 즉시 실행을 중단합니다. 이는 에이전트의 협력 여부와 무관하게 구조적으로 작동합니다.
  • 한계: LLM 호출 중 토큰 소비량을 실시간으로 알 수 없으므로, 단일 호출 내에서의 예산 초과를 완전히 막을 수는 없으나, 다중 호출 간의 누적 소비를 강력하게 통제할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 형식적 프레임워크 제안: 에이전트의 행동을 자원, 시간, 품질 측면에서 제한하는 형식적 계약 ($C$) 을 정의하고, 이를 통해 자율 AI 의 거버넌스 메커니즘을 표준화했습니다.
2. 다중 에이전트 보존 법칙 정립: 위임 계층 구조에서 예산이 상위 제약 조건을 준수하도록 보장하는 수학적 법칙을 수립하여, 재귀적 위임과 계층적 조정이 가능하게 했습니다.
3. 실용적 검증: 4 가지 실험을 통해 프레임워크가 이론적 개념을 넘어 실제 시스템에서 자원 소비를 획기적으로 줄이고 실패를 방지함을 입증했습니다.

4. 실험 결과 (Empirical Results)

저자들은 4 가지 실험을 통해 에이전트 계약의 효과를 검증했습니다.

• 종합적 발견: 에이전트 계약은 단순히 비용을 절감하는 것을 넘어, 예측 불가능한 에이전트 행동을 제한되고 감사 가능한 (auditable) 운영으로 전환시킵니다.

5. 의의 및 결론 (Significance & Conclusion)

• 거버넌스 패러다임의 전환: 기존 에이전트 프레임워크 (AutoGen, LangGraph 등) 가 주로 연결성 (connectivity) 과 상호 운용성에 초점을 맞춘 반면, 본 논문은 자원 거버넌스를 핵심으로 하는 형식적 계층을 추가했습니다.
• 실무 적용 가능성: 기업 환경에서 에이전트 AI 를 도입할 때 발생할 수 있는 비용 리스크와 통제 불능 상태를 해결할 수 있는 표준적인 방법을 제공합니다.
• 향후 방향:
  • API 레벨에서의 실시간 중단 (interruptible generation) 및 토큰 예약 기능 도입 필요.
  • 에이전트가 스스로 예산을 예측하고 서브 계약을 작성하는 학습 기반 계약 설계 연구.
  • 계약 속성의 형식적 검증 (Formal Verification) 및 인간 개입 (Human-in-the-loop) 메커니즘 통합.

결론적으로, 에이전트 계약은 자율 AI 시스템이 생산 환경 (Production) 으로 진입하기 위해 필수적인 예측 가능성, 감사 가능성, 자원 제한을 보장하는 형식적 기반을 마련했다는 점에서 중요한 의의를 가집니다.