Governance by Construction for Generalist Agents

기술 요약: 범용 에이전트를 위한 구성 기반 거버넌스

문제 제기
대형 언어 모델 (LLM) 에이전트가 정적 챗봇에서 기업 환경 전반에 걸쳐 자율적 계획, 도구 사용, 다단계 추론이 가능한 범용 시스템으로 진화함에 따라, 예측 불가능성과 안전성 측면에서 중대한 위험을 초래합니다. 유연성은 에이전트가 이질적인 시스템 전반에 걸쳐 일반화할 수 있게 하지만, 동시에 환각 현상, 도구 오용, 절차 위반, 데이터 유출로 이어집니다. 기업 맥락에서 이러한 실패는 단순한 품질 문제를 넘어 규정 준수 위반, 재정적 손실, 평판 훼손으로 이어질 수 있습니다.

현재 거버넌스 전략은 종종 프롬프트 엔지니어링, 지시사항 과다 주입 (instruction stuffing), 또는 사후 검증을 의존합니다. 저자들은 이러한 접근 방식이 구조적 한계를 겪고 있다고 주장합니다. 즉, 정책이 진화함에 따라 취약해지고, 배포 간에 논리가 중복되며, 확률적 모델 추론에 집행을 위임하여 (감사를 어렵게 만들고), 원칙적인 충돌 해결이 결여되어 있다는 것입니다. 기존 구조적 접근 방식은 종종 무거운 아키텍처 약속이나 도메인별 재구성을 요구합니다. 본 논문은 기업 거버넌스가 프롬프트 수준의 휴리스틱을 넘어 모델과 독립적으로 작동하는 명시적, 타입 지정, 런타임 강제 제어 원시 (control primitives) 인 '구성 기반 거버넌스 (governance by construction)'로 진화해야 한다고 제시합니다.

방법론: CUGA 정책 시스템
본 논문은 오픈소스 CUGA(Computer Using Generalist Agent) 프레임워크에 통합된 모듈형 정책-코드 (policy-as-code) 레이어의 구현을 제시합니다. 이 시스템은 모델 파인튜닝 없이 거버넌스를 강제하며, 에이전트의 실행 그래프를 다섯 가지 주요 구조적 체크포인트에서 가로채는 런타임 아키텍처를 활용합니다.

1. 의도 가드 (Intent Guard): 계획 단계 상류에 위치하여, 에이전트가 추론하거나 행동하기 전에 사용자 의도를 가로채어 하드 제약을 강제합니다. 이는 비인가 또는 제한된 작업을 즉시 차단하기 위해 결정론적 키워드 매칭과 의미적 유사성을 사용하며, 위반이 감지되면 실행을 종료합니다.
2. 플레이북 (Playbook): 시스템 프롬프트에 주입되는 이 레이어는 구조화된 단계별 워크플로우 지침을 제공합니다. 이는 요청을 사전 정의된 도구 시퀀스 및 기업 제약 조건과 동적으로 연관시켜 프롬프트에 과도한 토큰을 불필요하게 늘리지 않고 에이전트의 추론 및 계획을 유도합니다.
3. 도구 가이드 (Tool Guide): 도구 호출 경계에 적용되는 이 메커니즘은 컨텍스트 또는 규정 준수 관련 지침으로 도구 설명을 풍부하게 합니다. 세션 범위 내 수정을 보장하기 위해 도구 정의를 딥-복제하여 업데이트하고, 에이전트에게 적절한 사용법과 제약 조건 (예: 페이지 나누기 요구 사항) 을 지시합니다.
4. 도구 승인 (Tool Approval): 추론 루프 외부의 인간 개입 (HITL) 게이트로 작용하는 이 원시는 코드 생성 후 도구 호출 전에 실행을 일시 중단합니다. 고위험 작업 (예: 데이터베이스 쓰기, 외부 API 호출) 에 대해 명시적인 인간 확인을 요구하여 잠재적으로 파괴적인 작업에 대한 감독을 보장합니다.
5. 출력 포맷터 (Output Formatter): 최종 단계에 위치한 이 레이어는 에이전트의 응답을 필터링하고 구조화하여 컨텍스트 인식 트리거에 따라 사전 정의된 템플릿, 마크다운 또는 JSON 스키마로 변환합니다.

아키텍처 및 트리거 메커니즘
이 시스템은 정책 모델 (강력한 타입 지정 스키마), 저장소 (의미 검색을 위한 벡터 데이터베이스), 정책 에이전트 (런타임 매칭 및 충돌 해결), 그리고 LangGraph 내 실행 원시 (Enactment) 로 구성된 4 계층 아키텍처를 기반으로 구축되었습니다.

• 트리거: 정책은 자연어 (임베딩 유사성), 키워드 (정확/유사), 애플리케이션 컨텍스트, 에이전트 상태, 도구 사용 감지를 지원하는 구성 가능한 트리거 시스템을 통해 활성화됩니다.
• 충돌 해결: 시스템은 조언 정책보다 의도 가드를 우선시합니다. 여러 정책이 일치하는 자연어 트리거의 경우, LLM 기반 구조화된 추론 단계를 통해 가장 적합한 정책을 정당화와 함께 선택합니다.
• 가시성: 이 시스템은 감사 및 품질 보증을 위한 구조화된 설명 추적을 생성합니다.

주요 기여 및 결과
본 논문은 의료 시나리오와 다층 보안 개입을 통해 시스템을 시연하며, 동적 플레이북 주입, 의도 차단, HITL 체크포인트를 보여줍니다.

양적 평가는 OAK(27 개 고객 관리/보험 작업) 및 BPO(26 개 비즈니스 프로세스 운영 작업) 라는 두 가지 기업 중심 벤치마크에서 수행되었습니다. 시스템은 GPT-OSS-120B(오픈소스), GPT-4.1, Claude Opus-4.5 의 세 가지 백본 모델을 대상으로 테스트되었습니다.

• 성능 향상: 정책 시스템은 모든 모델과 벤치마크에서 성공률 (SR) 에서 일관되고 상당한 개선을 보여주었습니다.
  • OAK: GPT-OSS-120B 의 SR 은 75% 에서 100% 로, GPT-4.1 은 70% 에서 96% 로, Claude Opus-4.5 는 81% 에서 96% 로 향상되었습니다.
  • BPO: GPT-OSS-120B 의 SR 은 49.2% 에서 82.3% 로, GPT-4.1 은 28.5% 에서 66.2% 로, Claude Opus-4.5 는 50.0% 에서 68.5% 로 향상되었습니다.
• 절대 실험 (Ablation Study): GPT-OSS-120B 를 사용한 BPO 벤치마크에 대한 통제된 절대 실험은 단조로운 개선을 보여주었습니다: 46.2%(정책 없음) → 71.8%(2 개 정책) → 78.2%(5 개 정책). 특정 원시는 고유한 실패 모드를 해결했습니다: 의도 가드는 범위를 벗어난 쿼리를 처리했고, 도구 가이드는 신뢰할 수 없는 엔드포인트로의 호출을 안정화했으며, 플레이북은 다중 지표 작업에서의 체계적인 계산 오류를 해결했습니다.

의의 및 주장
저자들은 '구성 기반 거버넌스'가 일반성이나 성능을 희생하지 않고 신뢰할 수 있는 기업용 범용 에이전트의 배포를 가능하게 한다고 주장합니다. 거버넌스를 구성 가능한 런타임 정책으로 외부화함으로써, 시스템은 예측 가능하고 감사 가능하며 규정 준수를 인식하는 행동을 달성합니다.

주요 주장에는 다음이 포함됩니다:

• 모델 중립성: 이 접근 방식은 온프레미스 배포에 적합하며 제 3 자 클라우드 인프라 옵션이 없는 경우에 유용한 GPT-OSS-120B 와 같은 오픈소스 옵션을 포함한 다양한 모델에서 효과적으로 작동합니다.
• 파인튜닝 없는 안전성: 거버넌스는 모델 재학습이 아닌 타입 지정 원시 및 런타임 가로채기를 통해 강제됩니다.
• 트레이드오프 정당화: 명시적 지시사항으로 인해 토큰 오버헤드가 발생하지만, 저자들은 단일 정책 위반이 규정 준수 위반을 구성하거나 파괴적인 작업을 트리거할 수 있는 기업 환경에서는 이것이 정당화된 트레이드오프라고 주장합니다.

본 논문은 원칙적인 거버넌스 레이어가 제한이 아니라 책임 있는 에이전트 배포를 위한 전제 조건이며, 조직이 민감한 생산 환경에서 범용 에이전트를 자신 있게 배포할 수 있게 한다고 결론지었습니다.