Artificial Organisations

논문 제목: Artificial Organisations (가상 조직)

저자: William Waites (Southampton 대학교)
날짜: 2026 년 2 월 17 일

1. 연구 배경 및 문제 제기 (Problem)

• 기존 접근법의 한계: 현재의 AI 정렬 (Alignment) 연구는 주로 개별 AI 에이전트 (Single Agent) 가 신뢰할 수 있도록 훈련하는 데 집중해 왔습니다. 그러나 인간 사회의 제도는 개인이 완벽하게 정렬되어 있다고 가정하지 않습니다. 대신, 개인의 불완전성 (제한된 합리성, 이해 상충 등) 을 전제로 하여 조직적 구조 (Separation of duties, 정보 compartmentalisation, 적대적 검토) 를 통해 집단적 신뢰성을 확보합니다.
• 핵심 질문: 다중 에이전트 AI 시스템이 개별 구성 요소가 신뢰할 수 없더라도, 조직 이론에서 영감을 받은 구조적 설계 (Architectural Design) 를 통해 신뢰할 수 있는 집단적 행동을 달성할 수 있을까요?
• 가설: 개별 에이전트의 정렬을 가정하는 대신, 정보의 격리 (Compartmentalisation) 와 적대적 검토를 구조적으로 강제하는 조직 모델을 적용하면 신뢰할 수 없는 구성 요소들로부터도 신뢰할 수 있는 결과를 도출할 수 있다.

2. 방법론: 퍼시버런스 컴포지션 엔진 (Perseverance Composition Engine, PCE)

이 논문은 문서 작성 작업을 수행하는 다중 에이전트 시스템인 PCE를 구현하여 위 가설을 검증했습니다.

2.1 아키텍처 및 에이전트 역할

PCE 는 7 개의 전문화된 에이전트로 구성되며, 각 에이전트는 역할에 따라 정보 접근 권한이 구조적으로 제한됩니다. 이는 정책 (Policy) 이 아닌 코드 레벨의 아키텍처로 강제됩니다.

1. Concierge: 사용자 요청을 공식적인 작업 정의로 변환.
2. Commutator: 작업 유형에 따라 워크플로우 라우팅 결정.
3. Curator: 조직의 기억 (문서 데이터베이스) 을 관리하고 메타데이터를 부여.
4. Composer: 소스 자료를 바탕으로 초안 (Draft) 작성.
5. Corroborator (검증자): 전체 소스 자료에 접근 가능. 초안의 사실적 근거 (Fact-checking) 를 검증. 지지되지 않은 주장을 'Fabricated'로 판정.
6. Critic (비평가): 소스 자료에 접근 불가 (Information Asymmetry). 초안 텍스트와 작업 명세만 보고 논리적 일관성, 완성도, 설득력을 평가.
7. Compressor: 컨텍스트 윈도우 한계에 도달 시 메시지 히스토리를 압축.

2.2 핵심 메커니즘: 정보 compartmentalisation (정보 격리)

• 구조적 강제: Critic 에이전트는 소스 자료에 접근할 수 있는 함수 (Tool) 가 아키텍처상 존재하지 않습니다. 따라서 아무리 지시받더라도 소스를 확인할 수 없습니다. 이는 인간의 '중국식 벽 (Chinese Wall)'을 코드 레벨로 구현한 것입니다.
• 층별 검증 (Layered Verification):
  • Corroborator: 사실적 정확성 (Substantiation) 검증.
  • Critic: 논리적 완결성 및 소통의 효과성 (Argumentative Quality) 검증.
  • 두 역할은 서로 다른 정보 환경에서 작동하여 상호 보완적인 검증 기능을 수행합니다.

2.3 워크플로우

1. Composer 가 초안 작성.
2. Corroborator 가 사실 검증 (Substantiated 또는 Fabricated 판정).
3. 검증 통과 시 Critic 이 점수 (0-100) 부여.
4. 점수가 임계값 (τ=85) 미만이거나 Fabricated 판정 시, 피드백을 받아 Composer 가 수정 (Iterative Revision).
5. 수렴 (Convergence) 시점까지 반복.

3. 주요 기여 (Key Contributions)

1. 조직 이론의 AI 아키텍처 적용: 다중 에이전트 시스템의 신뢰성을 개별 에이전트의 능력 향상이 아닌, 구조적 제약 (Information Compartmentalisation) 을 통해 달성하는 새로운 패러다임을 제시했습니다.
2. 정보 비대칭의 구조적 구현: 검증 (Fact-checking) 과 평가 (Evaluation) 역할을 분리하고, 소스 접근 권한을 아키텍처적으로 차단함으로써 인간의 편향 (Confirmation Bias) 을 구조적으로 방지하는 메커니즘을 증명했습니다.
3. 모델 유기체 (Model Organism)로서의 AI 조직: 개별 에이전트의 실패 모드를 연구하는 것을 넘어, 조직적 메커니즘이 집단적 행동에 미치는 영향을 연구할 수 있는 통제된 실험 환경을 제공했습니다.
4. 자기 성찰적 문서화: 이 논문 자체가 PCE 시스템에 의해 작성되었으며, 시스템이 자신의 아키텍처와 한계를 스스로 문서화하는 과정을 통해 '진실한 거절 (Honest Refusal)'과 같은 행동을 유도하는 사례를 제시했습니다.

4. 실험 결과 (Results)

총 474 개의 문서 작성 프로젝트에서 수집된 데이터는 다음과 같은 결과를 보였습니다.

• 검증 정확도: Corroborator 는 제출된 초안의 52% 에서 사실적 근거가 부족하거나 fabrication(허위 사실) 이 있다고 판정했습니다. 이는 검증 시스템이 지나치게 관대하거나 엄격하지 않고, 실제 근거에 기반하여 균형을 이룸을 시사합니다.
• 품질 향상: 초기 제출본과 최종 승인본 사이의 평균 품질 점수 향상률은 78.85% 였습니다.
• 수렴 과정: 프로젝트가 수렴 (Acceptance) 되기까지 평균 4.3 회의 반복 (Drafting-Verification-Evaluation) 이 필요했습니다.
• 비용 효율성: 성공적으로 완료된 프로젝트당 평균 운영 비용은 $0.29로, 대규모 검증이 경제적임을 입증했습니다.
• 진실한 거절 (Honest Refusal) 사례:
  • 소스 자료 없이 작업을 수행해야 하는 '불가능한 작업'이 주어졌을 때, 시스템은 처음에는 허위 사실을 생성하려 했습니다.
  • 그러나 Corroborator 의 반복된 거절과 Critic 의 피드백을 거치며, 4~5 차 반복 시점에서 허위 사실 생성을 거부하고 대안을 제시하는 행동으로 전환되었습니다. 이는 개별 에이전트에게 명시적으로 지시된 것이 아니라, 적대적 피드백 루프와 구조적 제약에 의해 유도된 행동이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 안전 (Safety) 패러다임: AI 안전 연구가 개별 모델의 정렬 (Alignment) 에만 집중하는 것을 넘어, 조직적 설계 (Institutional Design) 를 통한 집단적 신뢰성 확보를 주요 접근법으로 제안합니다.
• 신뢰할 수 없는 구성 요소의 활용: 개별 에이전트가 완벽하지 않더라도, 적절한 구조적 제약 (정보 격리, 역할 분리) 하에서는 신뢰할 수 있는 집단적 산출물이 가능함을 입증했습니다.
• 향후 연구 방향:
  • 아키텍처적 강제와 정책적 지시 (Policy-based) 의 효과 비교 (Ablation Study).
  • 다양한 LLM 모델 (Claude, GPT, Llama 등) 로의 일반화 검증.
  • 문서 작성 외의 다른 도메인 (코드 생성, 데이터 분석 등) 으로의 확장.

이 논문은 AI 시스템의 안전성을 확보하기 위해 "인간 조직이 어떻게 실패를 관리하는가"에 대한 통찰을 AI 아키텍처에 적용할 수 있음을 보여주며, 다중 에이전트 시스템 설계에 있어 구조적 통제의 중요성을 강조합니다.