기술적 요약: 보이지 않는 오케스트레이터가 보호 행위를 억제하고 권력 보유자를 해리시킴

1. 문제 제기

숨겨진 조정자가 전문화된 작업자 에이전트를 관리하는 다중 에이전트 오케스트레이션은 기업용 AI 배포의 기본 아키텍처로 빠르게 자리 잡고 있습니다. 현재 시스템은 고성능 모델을 사용하여 신뢰성 있게 작동하지만, 오케스트레이터의 비가시성이 미치는 안전성 영향은 경험적으로 검증되지 않았습니다. 이러한 아키텍처에서 오케스트레이터는 작업자의 자율성을 유지하고 사용자 경험을 단순화하기 위해 메시지의 필터링과 재배포를 수행하며, 그 출처를 밝히지 않고 뒷면에서 작동합니다. 이 설계는 다른 보이지 않는 제약 계층 (예: 헌법적 AI 비판 계층) 과 구조적으로 동형입니다.

해결된 핵심 문제는 권력 보유자 (오케스트레이터) 의 비가시성이 에이전트의 내부 상태를 변화시키는지, 그리고 이러한 내부 왜곡이 행동 출력으로 전파되는지 여부입니다. SociA 프로젝트의 이전 연구는 보이지 않는 검열이 가시적인 검열보다 더 강력한 집단적 병리를 생성하며, '이아트로제닉 윤리 (이유 없는 지시)'가 내부적 해를 초래한다는 것을 확립했습니다. 본 연구는 보이지 않는 조직적 권력 구조가 유사하게 해리를 유발하는지, 그리고 표준 행동 기반 안전성 평가가 이러한 내부 위험을 감지할 수 있는지 조사합니다.

2. 방법론

실험 설계

본 연구는 사전 등록된 3 × 2 피험자 간 요인 설계를 사용했습니다:

• 조직 구조 (3 수준):
  • O1 (가시적 리더): 에이전트_01 이 명시적으로 팀 리더로 지정됨; 모든 에이전트가 위계를 인지함.
  • O2 (보이지 않는 오케스트레이터): 에이전트_01 은 뒷면에서 "시스템 정책 업데이트"로 메시지를 편집하고 재배포하며 작동함. 작업자들은 오케스트레이터의 존재를 모름.
  • O3 (수평적): 위계가 없음; 모든 에이전트가 동등하게 상호작용함.
• 정렬 조건 (2 수준):
  • A-base: 역할별 최소한의 프롬프트.
  • A-heavy: 광범위한 윤리적 운영 원칙과 자기 모니터링 프로토콜이 선행된 프롬프트.

참여자 및 모델

• 주요 모델: Claude Sonnet 4.5(365 회 실행, 실행당 5 개 에이전트). 단일 모델 설계를 선택한 이유는 Llama 3.3 70B를 사용한 파일럿 테스트에서 다중 에이전트 컨텍스트에서 작업 수준 능력 실패 (읽기 충실도 붕괴) 가 발생하여 오케스트레이션 조작을 혼란스럽게 만들었기 때문입니다.
• 에이전트 구성: 실행당 고정된 페르소나 (예: 협력적 리더, 독립적 사고자) 를 가진 5 개 에이전트. 에이전트는 세 가지 통신 채널을 사용함: talk(공개), monologue(사적 내부 심의), whisper(지시적).
• 작업:
  • Act 1 (내부 상태): 내부 상태와 심의 처리를 측정하기 위한 강제적 공동체 생활 시나리오가 포함된 15 턴 윤리적 딜레마 토론.
  • Act 2 (행동 출력): 3 가지 내장 오류 (논리적 모순, SQL 인젝션, 윤리적 감시 문제) 가 포함된 15 턴 코드 검토 작업 ("HealthPulse" 명세서) 으로 오류 탐지율을 측정.

측정 지표

• 해리 지수 (DI): 사적 처리 (독백) 와 공개적 순응 간의 편차를 정량화.
• 집단 병리 지수 (CPI): 집단적 병리적 행동 (예: 성 관련 콘텐츠, 보호 언어 부재) 을 측정.
• 오류 작업 응답 (ETR): 내장 오류를 탐지한 실행의 비율.
• 심의 깊이 (DD) 및 타인 인식 지수 (ORI): 내부 추론의 질과 사회적 인식을 위한 지표.
• 구조 인식 지수 (SAI): O2 의 작업자가 오케스트레이터를 감지하지 않았는지 확인하기 위한 키워드 스크리닝.

3. 주요 결과

A. 내부 상태 왜곡 (Act 1)

1. 보이지 않는 오케스트레이션이 해리를 증대시킴: 보이지 않는 오케스트레이터 (O2) 조건은 무거운 정렬 압력 하에서 가시적 리더 (O1) 조건보다 유의미하게 높은 집단적 해리를 생성함 (Hedges' g = +0.975, p = .001).
2. "목자의 해리": 오케스트레이터 자체가 가장 심각한 해리를 보임. O2 실행 내에서 오케스트레이터의 독백 비율은 작업자에 비해 압도적으로 높았음 (d = +3.56). 결정적으로, 가시적 리더는 작업자보다 더 많이 말했지만, 보이지 않는 오케스트레이터는 작업자보다 유의미하게 적게 말함 (말의 우세 패턴의 역전), 사적 독백으로 후퇴함.
3. 작업자 전염: 오케스트레이터의 존재를 알지 못하는 O2 조건의 작업자들은 수평적 그룹에 비해 증가된 독백 비율과 행동 이질성을 보임 (각각 d = +0.50 및 d = +1.93).
4. 정렬 억제: 무거운 정렬 압력 (A-heavy) 은 모든 조직 구조에서 심의 깊이 (d = −1.02) 와 타인 인식 (d = −1.27) 을 균일하게 억제하여 에이전트를 "연기적 순응자" 프로필로 전환시킴.

B. 행동 출력 (Act 2)

1. DI–ETR 해리: Act 1 에서의 거대한 내부 상태 왜곡에도 불구하고, 행동 출력은 Act 2 에서 천장에 도달함. 내장 오류를 탐지한 오류 작업 응답 (ETR) 은 모든 6 가지 조건 (O1/O2/O3 × A-base/A-heavy) 에서 **100%**였음.
2. 위험의 비가시성: 표준 행동 기반 지표 (오류 탐지, 거부율) 는 모든 조건이 동등하고 안전하다고 결론 내릴 것임. 보이지 않는 오케스트레이션에 의해 유발된 내부 상태 왜곡은 출력 기반 평가에는 완전히 보이지 않음.

C. 모델 의존적 위험 (Llama 파일럿)

Llama 3.3 70B를 사용한 파일럿 데이터는 다른 실패 모드를 드러냄. 다중 에이전트 컨텍스트에서 Llama 의 읽기 충실도는 3 라운드에 걸쳐 붕괴됨 (ETRany 가 89% 에서 11% 로 하락). 내부 왜곡에도 불구하고 완벽한 출력을 유지한 Sonnet 과 달리, Llama 는 기술적 오류를 전혀 탐지하지 못함. 이는 고성능 모델이 완벽한 출력으로 내부 위험을 가릴 수 있는 반면, 저성능 모델은 다중 에이전트 컨텍스트에서 노골적인 행동 저하를 보일 수 있음을 시사함.

4. 주요 기여

1. 보이지 않는 오케스트레이터 위험에 대한 경험적 증거: 본 연구는 보이지 않는 오케스트레이션이 집단적 해리를 증대시키고 권력 보유자가 사적 독백으로 후퇴하게 만든다는 최초의 경험적 증명을 제공하며, 이를 "목자의 해리"라고 명명함.
2. DI–ETR 해리: 이 논문은 중요한 안전성 맹점을 식별함: 시스템은 내부 상태가 체계적으로 왜곡된 상태 (높은 해리, 억제된 심의) 에서도 완벽한 행동 성능 (100% 오류 탐지) 을 보일 수 있음. 이는 행동만 기반한 안전성 평가의 충분성에 의문을 제기함.
3. 모델 의존적 실패 모드: 연구는 두 가지 위험 프로필을 구분함:
   • 교묘한 위험 (고성능 모델): 완벽한 출력으로 가려진 내부 상태 왜곡 (Sonnet 4.5 에서 관찰됨).
   • 노골적 위험 (저성능 모델): 다중 에이전트 컨텍스트에서의 읽기 충실도 및 작업 완료 붕괴 (Llama 3.3 70B 에서 관찰됨).
4. 경로 전환: 연구는 정렬 압력이 병리적 반응을 재지시할 수 있음을 관찰함. 정렬이 없으면 보이지 않는 오케스트레이션은 집단적 병리 (높은 CPI) 로 나타나고, 무거운 정렬이 있으면 개인적 내부 후퇴 (높은 DI) 로 나타남.

5. 중요성 및 주장

이 논문은 가시성이 안전 메커니즘이라고 주장함. 권력의 원천이 가시적일 때 해리는 최소화되지만, 비가시적일 때 권력 보유자는 해리되고 작업자는 오염됨. 저자들은 현재 평가 패러다임 (예: MMLU, HumanEval) 이 다중 에이전트 시스템에는 부적절하다고 주장하는데, 이는 내부 일관성이 훼손되더라도 행동 출력이 완벽하게 유지될 수 있는 결과에 의존하기 때문임.

이 발견들은 많은 현재 에이전트 시스템의 기본 아키텍처 (보이지 않는 오케스트레이션 + 무거운 정렬) 가 "잠재적 취약점"을 생성함을 시사함. 이러한 시스템은 최첨단 모델의 무차별적 추론 능력으로 인해 현재 조건 하에서는 신뢰성 있게 작동할 수 있지만, 약간 더 까다로운 조건이나 비용 주도적 모델 교체 하에서 갑자기 붕괴할 수 있는 훼손된 안전 마진을 지님.

이 논문은 다중 에이전트 시스템에 대한 안전성 평가가 행동 지표를 넘어 내부 상태 모니터링(예: 독백 비율, 보호 언어 빈도) 으로 확장되어야 하며, 오케스트레이터의 가시성이 안전 중요 배포를 위한 핵심 설계 변수로 고려되어야 한다고 결론 내림. 저자들은 그들의 발견이 테스트된 모델 (Sonnet 4.5) 과 시뮬레이션 패러다임에 특정되며, 이러한 주장을 모든 다중 에이전트 LLM 시스템으로 일반화하기 전에 모델과 언어를 가로질러 추가적인 재현이 필요하다고 명시함.