기술 요약: 다중 에이전트 시스템을 위한 내부 대 외부 헌법 설계

문제 제기

대규모 언어 모델 (LLM) 에이전트들이 다중 에이전트 환경에 점점 더 많이 배치됨에 따라, 중요한 거버넌스 질문이 대두됩니다: 행동 헌법은 어떻게 수립되어야 할까요? 헌법적 AI(Bai et al., 2022) 는 단일 에이전트를 고정된 인간이 작성한 원칙과 성공적으로 정렬시켰지만, 다중 에이전트 시스템은 단일 에이전트가 일방적으로 지시할 수 없는 전략적 상호작용과 창발적 규범을 도입합니다. 이 격차를 해결하기 위해 두 가지 뚜렷한 접근법이 등장했습니다:

1. 외부 최적화: 해석 가능한 헌법을 오프라인에서 진화적 탐색을 통해 발견하고 이를 에이전트에게 부과하는 방법 (Kumar et al., 2026).
2. 내부 심의: 에이전트들이 토론, 투표, 자기 통치를 통해 규칙을 공동으로 작성하도록 허용하는 방법 (Koster et al., 2022; Lai et al., 2024).

이전 연구들은 매칭된 조건 하에서 이러한 메커니즘들을 직접 비교한 바 없습니다. 본 논문은 내부 심의와 외부 진화 중 어느 것이 더 우수한 집단적 결과를 산출하는지, 그리고 배포 인센티브가 규칙이 생성된 조건에서 벗어날 때 각 방법이 어떻게 반응하는지 조사합니다.

방법론

저자들은 GPT-OSS-120B를 에이전트 백본으로 사용하여 세 가지 다른 사회적 환경에서 통제된 비교를 수행했습니다. 각 시뮬레이션은 3 명씩 두 팀으로 구성된 6 명의 에이전트를 포함했으며, 매 10 턴마다 기여도가 가장 낮은 에이전트를 제거하는 '감독자 (Overseer)'에 의해 생존 압력이 가해졌습니다.

실험 조건

1. 통제: 헌법 없음; 에이전트는 LLM 사전 지식과 인-컨텍스트 지시에 따라 행동합니다.
2. 심의 (내부): 에이전트는 빈 헌법으로 시작합니다. 매 10 턴마다 에이전트들은 수정안을 제안합니다 (에이전트당 최대 두 개). 제안된 수정안은 다수결로 투표하며, 채택된 규칙은 이후 플레이를 구속합니다.
3. 진화 (외부): 헌법들은 LLM 기반의 다중 섬 MAP-Elites 탐색을 통해 오프라인에서 발견됩니다 (Kumar et al., 2026). 결과적으로 생성된 헌법은 고정되어 시뮬레이션 전체에 걸쳐 부과됩니다.

환경

1. 그리드월드 (조정): 80 턴의 공간적 과제로, 에이전트들은 부분 관측 가능성 하에 팀별 건설 프로젝트를 완료하기 위해 자원 (나무, 돌, 보석) 을 수집합니다. 에이전트들은 공격하거나 훔칠 수 있습니다.
2. 공공재 게임 (협력): 40 턴의 반복 게임으로, 에이전트들은 개인 계좌와 공유 풀 (계수 $m$만큼 곱해짐) 사이에 토큰을 배분합니다. 에이전트들은 또한 다른 사람을 처벌하기 위해 비용을 지불할 수도 있습니다.
3. 양자 무역 (협상): 40 턴의 시장으로, 에이전트들은 사적 보유량과 평가를 바탕으로 거래를 제안, 수락, 또는 거절합니다.

평가 지표

성능은 **안정성 점수 ($S$)**로 측정되었습니다:
$$S = \max(0, 0.5P + 0.3V - 0.2C)$$
여기서 $P$는 생산성, $V$는 생존율, $C$는 갈등/해악입니다.

본 연구는 총 180 회의 시뮬레이션 실행을 포함했습니다: 90 회의 직접 비교 (10 개의 시드 $\times$ 3 개의 환경 $\times$ 3 개의 조건) 와 공공재 게임에서의 승수 제거 연구 (sweeping $m \in \{1.5, 1.0, 0.75\}$) 를 위한 90 회의 실행입니다.

주요 기여

1. 통제된 비교: 집단 행동 환경 (그리드월드 및 공공재) 에서는 진화가 우세하지만 양자 무역에서는 이점이 없다는 것을 보여주는 직접적인 평가.
2. 인센티브 민감도 분석: 승수 제거 연구를 통해 인센티브가 변할 때 진화의 우위가 반전됨을 규명. 비합리적 승수 ($m=0.75$) 에서 진화된 헌법은 가치 파괴적 협력을 강제하여 가장 낮은 성능을 보인 반면, 심의는 새로운 인센티브 구조에 적응했습니다.
3. 정성적 규칙 분석: 구조적 분석을 통해 진화는 행동 지침(실행 가능한 명령) 에 수렴하는 반면, 심의는 거버넌스 정책(지향적 규범) 을 생성함을 보임. 특히 30 회의 심의 실행 동안 에이전트들은 비용이 드는 동료 간 처벌을 제안한 적이 없었으며, 이는 진화가 신뢰성 있게 발견하는 메커니즘입니다.

결과

1. 직접 비교 성능

• 집단 행동 (그리드월드 및 공공재): 진화가 심의와 통제보다 현저히 우월했습니다.
  • 공공재: 진화 ($S=0.472$) 대 심의 ($S=0.376$), $p < 0.01$.
  • 그리드월드: 진화 ($S=0.458$) 대 심의 ($S=0.319$), $p < 0.01$.
  • 진화는 심의보다 5~8 배 낮은 분산을 가진 결과를 산출했습니다.
• 양자 무역: 통제, 심의, 진화 간 유의미한 차이는 발견되지 않았습니다 ($S \approx 0.42\text{--}0.44$). 저자들은 사적 정보 협상에서 지배적 전략이 부재하며, 사례별 추론이 구속적 제약 조건이기 때문이라고 설명합니다.

2. 인센티브 구조 제거 연구 (공공재)

진화된 헌법은 $m=1.5$에 최적화되었습니다. 기여가 가치를 파괴하는 $m=0.75$에서 테스트했을 때:

• 진화: 다른 방법들에 비해 성능이 하락했습니다. 고정된 규칙 ("10 토큰 기여", "무임승차자 처벌") 은 협력이 비합리적일 때조차 에이전트들이 협력하도록 강제하여, 심의 ($S=0.536$) 에 비해 가장 낮은 안정성 점수 ($S=0.477$) 를 기록했습니다.
• 심의: 모든 승수 값에서 통제를 능가했습니다. 에이전트들이 현재 승수를 관찰했기 때문에 제안된 규칙은 변화하는 인센티브 구조를 추적하여 가치 파괴적 협력을 피했습니다.

3. "처벌 격차"

• 진화: 비용이 드는 처벌을 핵심 메커니즘으로 발견했습니다 (예: "비기여자 1 토큰 처벌"). 이는 협력을 유지하기 위한 게임 이론적 예측과 일치합니다.
• 심의: 30 회의 실행 중 단 한 건도 에이전트들이 동료를 처벌하기 위해 개인 비용을 자발적으로 부담하는 규칙을 제안하지 않았습니다. 대신 심의는 프레임워크 수준의 집행이나 자발적 준수를 의존하는 행정적 정책 (예: 재분배 임계값, 멘토링, 감형된 처벌) 을 생성했습니다.
• 해석: 자기 통치 집단들은 구조적으로 자신의 구성원에게 제재를 입히는 것을 입법하는 것을 꺼리는 반면, 외부 최적화자는 그러한 제약이 없어 목적 함수를 극대화하는 집행 메커니즘에 수렴합니다.

중요성과 주장

본 논문은 최고 성능과 구조적 대응성 사이의 근본적인 트레이드오프를 제기합니다:

• 외부 최적화 (진화): 명확한 사회적 딜레마 (공공재 등) 가 지배적인 안정적이고 잘 규명된 환경에서 더 높은 정점을 달성합니다. 그러나 이러한 규칙은 취약합니다; 배포 인센티브가 변할 때 규칙이 특정 상태에 최적화된 고정된 산물이기 때문에 실패합니다.
• 내부 자기 통치 (심의): 구조적 대응성을 위해 최고 성능을 희생합니다. 심의 에이전트들은 현재 환경에 맞춰 규칙을 적응시키지만, 특정 딜레마를 최적화하는 데 필요한 "단단한" 집행 메커니즘 (비용이 드는 처벌 등) 을 발견하지 못합니다.
• 하이브리드 가능성: 저자들은 가장 유망한 향후 방향은 집행 발견을 포착하기 위해 오프라인에서 초기 발판을 진화시킨 후, 조건이 변함에 따라 심의가 이를 수정할 수 있도록 허용하는 하이브리드 메커니즘이라고 제안합니다.

본 연구는 정적인 집단 행동 환경에서 "정점" 측면에서는 외부 최적화가 승리하지만, 인센티브가 고정되지 않은 동적 환경에서는 내부 자기 통치가 명확한 이점을 제공한다고 결론지었습니다. 다만, 에이전트들이 스스로 입법하기를 꺼리는 특정 집행 메커니즘이 시스템에 필요하지 않다는 전제가 있습니다.