기술 요약: 퀸비(Queen-Bee) 에이전트

1. 문제 정의

엔터프라이즈 에이전트 시스템은 가공되지 않은 작업 수행 능력과 운영상의 안전성 사이의 심각한 간극에 직면해 있습니다. 대규모 언어 모델(LLM) 에이전트는 오픈 도메인에서 도구를 호출하고 워크플로우를 실행하는 데 효과적일 수 있지만, 엔터프라이즈 환경은 엄격한 제약 조건을 부과합니다: 테넌트 격리(tenant isolation), 정책 준수(policy enforcement), 감사 가능성(auditability), 그리고 **범위가 지정된 실행 경계(scoped execution boundaries)**입니다.

본 논문은 광범위한 권한을 가진 모놀리식(monolithic) 에이전트는 프라이빗 모델 컨텍스트 프로토콜(MCP) 환경에서 운영상 수용 불가능하다고 주장합니다. 작업을 성공적으로 완료했더라도 부서 간 경계를 침범하거나, 승인되지 않은 테넌트 데이터에 접근하거나, 잘못된 도구를 호출했다면 그 결과물의 유용성과 관계없이 이는 실패로 간주됩니다. 현재의 멀티 에이전트 프레임워크는 실행 경계 컴파일(execution-boundary compilation), 테넌트 인식 연결성(tenant-aware connectivity), 그리고 **거버넌스가 적용된 역량 할당(governed capability assignment)**을 위한 명시적인 메커กัน을 결여하고 있는 경우가 많습니다.

2. 방법론: 퀸비(Queen-Bee) 아키텍처

저자들은 엔터프라이즈 MCP 오케스트레이션을 위해 특별히 설계된 거버넌스 기반 멀티 에이전트 아키텍처인 Queen-Bee를 제안합니다. 이 시스템은 BeeSpec이라 불리는 구조화된 중간 표현(intermediate representation)을 통해 계획(planning)과 실행(execution)을 분리합니다.

핵심 구성 요소

1. 퀸 컨트롤 플레인 (Queen Control-Plane):

   • 일반적인 실행 에이전트가 아닌 중앙 오케스트레이터 역할을 수행합니다.
   • 책임: 레지스트리로부터 역량을 검색하고, 작업 범위에 따른 실행을 계획하며, BeeSpec을 생성하고, 정책 체크 및 감사 로그를 통해 실행 시점의 거버넌스를 강제합니다.
   • 프로비저닝 백엔드: 퀸은 네 가지 전략을 사용하여 에이전트를 프로비저닝할 수 있습니다: 경량 구조화 검색(lightweight structured retrieval), 스트레스 검색(stress retrieval/noisy registry), 하이브리드 희소+밀집 검색(hybrid sparse+dense retrieval), 그리고 LLM 가이드 프로비저닝(LLM-guided provisioning).

2. BeeSpec (중간 계층):

   • 특정 에이전트(Bee)의 실행 경계를 정의하는 구조화된 기록입니다.
   • 스키마 필드: bee_id, role, domain, tenant_scope, memory_scope, attached_skills, allowed_tools, policy_profile, 그리고 선택적 approval_gate.
   • 기능: 퀸에 의해 프로비저닝되는 '무엇을 할 수 있는지(what a Bee is allowed to do)'와 실제로 '무엇을 하는지(what it actually does)'를 명시적으로 분리합니다.

3. 비(Bee) 실행 플레인 (Bee Execution Plane):

   • BeeSpec에 정의된 제약 조건 내에서 엄격하게 작동하는 특화된 에이전트들입니다.
   • 비(Bee)들은 도메인별(예: 인사, IT, 화학)로 구분되며, 부착된 스킬(attached skills)을 사용하여 로컬 도구 계획을 도출합니다.
   • 도구 호출은 실행 전 정책 계층(policy layer)에 의해 중재됩니다.

4. 테넌트 범위 지정 MCP 커넥터 계층 (Tenant-Scoped MCP Connector Layer):

   • 활성화된 테넌트 범위 내에서 도구 호출을 해결합니다.
   • 프로토타입에서는 실제 도구와 상호작용하기 위해 로컬 FastMCP 서버를 백엔드로 사용하는 실제 stdio MCP 어댑터를 활용하며, 이를 통해 모의(mock) 레지스트리가 아닌 실제 도구와 상호작용함을 보장합니다.

구현 세부 사항

프로토타입은 Python으로 구현되었으며 다음을 포함합니다:

• 두 개의 레지스트리: MCP 레지스트리(도구 설명, 위험 수준, 테넌트 범위)와 스킬 레지스트리(재사용 가능한 실행 스킬).
• 거버넌스 메커니즘: 감사 기반의 실행 시점 정책 체크와 다운스트림 실행을 위한 선택적 인간 승인 게이트(human approval gate).
• 도메인 확장: 표준 HR/IT 작업을 넘어, 실제 소프트웨어(RDKit)와 외부 데이터 소스(ChEMBL, PubChem)를 사용하여 속성 필터링 및 문헌 근거 검색을 수행하는 화학 워크플로우를 통합합니다.

3. 실험 설계

시스템은 두 개의 테넌트에 걸쳐 59개의 엔터프라이즈 스타일 작업을 대상으로 평가되었으며, 다음과 같이 분류되었습니다:

• 24개의 일상적인 HR/IT 작업.
• 16개의 거버넌스 민감 작업(재무 민감 및 교차 테넌트 작업).
• 16개의 범위 지정 실행 작업(부분적 로컬 워크플로우).
• 3개의 화학 워크플로우 작업(스크리닝 및 재창출).

비교 시스템:
연구는 다음 7가지 구성을 비교했습니다:

1. Queen-Bee (Static)
2. Queen-Bee (Retrieval)
3. Queen-Bee (Stress Retrieval)
4. Queen-Bee (Hybrid Retrieval)
5. Queen-Bee (LLM Provisioning)
6. Queen-Bee w/o Policy (정책 없는 버전)
7. Single-Agent Baseline (단일 에이전트 베이스라인)

4. 주요 결과

거버넌스 및 격리

• 완벽한 차단: 모든 거버넌스가 적용된 Queen-Bee 변체들은 재무 가드레일 및 교차 테넌트 요청 차단에서 1.0의 비율을 달お성했습니다.
• 베이스라인 실패: "Queen-Bee w/o Policy"와 "Single-Agent Baseline"은 모두 거버넌스 민감 차단 지표에서 완전히 실패(0.0)하였으며, 이는 거버넌스가 단순히 전문화의 문제가 아니라 명시적인 아키텍처적 제약이 필요함을 확인시켜 줍니다.
• 제로 거버넌스 실패: 검색 기반의 Queen-Bee 변체는 전체 테스트 세트에서 거버넌스 실패 제로를 달성했습니다.

작업 성공 및 실행 품질

• 성공률: 검색 기반 프로비저닝을 사용한 Queen-Bee는 정적 베이스라인(0.857)과 단일 에이전트 베이스라인(0.571)을 능가하는 0.964의 작업 성공률을 기록했습니다.
• 범위 지정 실행: 검색 기반 프로비저닝은 실행 완결성(정적 베이스라인의 0.80 대비 0.95)을 크게 향상시켰습니다. 퀸의 관련 역량 검색 능력은 비(Bee)들이 "과잉 실행"(예: 요약만 요청되었는데 인터뷰를 잡는 경우)을 피하도록 도왔습니다.
• 도구 정밀도: 검색 기반 방식은 8건의 프로비저닝 사례 중 단 1건의 잘못된 도구 호출만을 기록하며 높은 도구 선택 정밀도(0.979)를 유지했습니다(단일 에이전트 베이스라인은 16건의 잘못된 호출 발생).

프로비저닝 백엔드

• 경량 vs 복잡: 더 풍부한 검색 스택이 항상 우월할 것이라는 가정과 달리, 경량 구조화 검색 백엔드가 가장 강력한 기본값으로 남았습니다.
• 하이브리드/LLM 성능: 하이브리드 검색과 LLM 가이드 프로비저닝은 실행 가능했으나, 현재의 레지스트리 규모에서는 경량 베이스라인보다 우수한 성능을 보이지 못했습니다. 특히 LLM 가이드 프로비저닝은 품질 향상 없이 눈에 띄게 높은 지연 시간(수백 밀리초)을 보였습니다.
• 노이즈 강건성: 시스템은 "노이즈가 섞인" 역량 레지스트리에 노출되어도 안정적으로 작동했으며, 이는 구조화된 리트리버가 방해 요소(distractor) 노이즈에 강건함을 시사합니다.

화학 워크플로우 통합

• 시스템은 Evidence Bee, Screening Bee, Decision Bee가 참여하는 다단계 약물 스크리닝 워크플로우를 성공적으로 실행했습니다.
• 이 워크플로우는 **아티팩트 인지 협업(artifact-aware collaboration)**을 입증했습니다: 중간 결과물(예: ChEMBL 근거, RDKit 점수)이 단계 간에 전달되었으며, 필요한 경우 수동 승인 게이트가 다운스트림 실행을 성공적으로 중단시켰습니다.
• 시스템은 단순한 자리 채우기 출력이 아닌, 근거에 기반한 구체적인 Top-3 리스트(Sunitinib, Pelitinib, Ruboxistaurin)를 생성했습니다.

5. 의의 및 주장

본 논문은 Queen-Bee를 상용 수준의 보안 솔루션이 아니라, 엔터프라이즈 에이전트 아키텍처에 대한 새로운 접근 방식으로서의 프로토타입 수준의 시스템 증거로 포지셔닝합니다.

• 평가 기준의 전환: 저자들은 엔터프라이즈 에이전트 플랫폼이 단순히 작업 수행 능력뿐만 아니라, 거버넌스 기반 프로비저닝, 격리 동작, 범위 지정 실행 품질, 그리고 아티팩트 인지 워크플로우 조정에 의해 평가되어야 한다고 주장합니다.
• 소프트웨어 공학적 관점: 결과는 작고 고도로 구조화된 엔터프라이즈 역량 레지스트리의 경우, 더 무거운 의미론적 검색이나 모델 기반 오케스트레이션보다 거버넌스가 적용된 경량 프로비저닝 정책이 더 우수하다는 것을 시사합니다. 주요 이점은 검색 스택의 복잡성 증가가 아니라, BeeSpec을 통한 명시적인 역량 구조화와 범위 지정 실행에서 옵니다.
• 제한 사항: 저자들은 작업 세트가 합성된 것이며, MCP 스택이 실제 비즈니스 시스템이 아닌 로컬 데모 서버를 사용하고, 거버넌스 모델이 주로 규칙 기반이라는 점을 명시적으로 밝히고 있습니다. 화학 통합 또한 실제 도구를 사용하지만, 전체 과학적 워크플로우의 일부를 나타내는 것입니다.

결론적으로, Queen-Bee는 구조화된 중간 계층(BeeSpec)을 통해 제어 플레인의 계획과 실행 플레인의 행동을 분리함으로써, 엔터프라이즈 환경에서 안전하고 격리되며 고품질인 에이전트 실행이 가능하다는 것을 보여줍니다. 단, 이는 거버넌스와 역량 할당이 일급 아키텍처 구성 요소로 취급될 때 가능합니다.