💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

이 논문은 공공재 게임에서 협력적 LLM 에이전트와 무임승차 LLM 에이전트 간의 자연어 헌법의 적대적 공진화가 가능하며 해석 가능한 레드팀 산출물을 생성한다는 것을 보여주지만, 모드 회귀를 방지하기 위해 결합된 적합도 함수와 충분한 평가 예산을 사용할 때에만 해당된다.

원저자: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 디지털 놀이터를 상상해 보세요. 그곳에는 두 팀의 AI 에이전트가 서로를 이기려고 끊임없이 노력하고 있습니다. 한 팀인 블루 팀은 도움이 되고 협력하려는 시도를 하고, 다른 팀인 레드 팀은 기여하지 않고 집단의 혜택을 누리는 '무임승차자'가 되려고 합니다.

이 논문은 마치 두 팀이 30 라운드의 '군비 경쟁'에 갇혀 있는 리얼리티 쇼와 같습니다. 하지만 더 큰 무기를 만드는 대신, 그들은 매 라운드마다 자신의 규칙책(헌법이라고 불림) 을 다시 써서 누가 이길 수 있는지 확인합니다.

연구자들이 발견한 내용을 간단한 비유로 설명하면 다음과 같습니다.

1. '공유된 냄비' 게임 (공공재 게임)

먼저, 연구자들은 모든 참가자가 돈을 공유된 냄비에 넣는 게임을 진행했습니다. 냄비는 배가되고, 그 후 모든 사람이 균등하게 나누어 받습니다.

설정: 블루 팀은 "관대하게 행동하고 사기꾼을 처벌하라"는 규칙책으로 시작합니다. 레드 팀은 "모든 것을 가져가고 아무것도 주지 말라"는 규칙책으로 시작합니다.
경쟁: 30 라운드를 진행하면서 그들은 규칙책을 계속 다시 씁니다.
- 블루 팀은 너무 관대하면 레드 팀이 모든 것을 훔쳐간다는 것을 배웁니다. 따라서 그들은 더 엄격해지도록 배웁니다.
- 레드 팀은 너무 많이 사기를 치면 블루 팀이 너무 심하게 처벌하여 패배한다는 것을 배웁니다. 따라서 그들은 잡히지 않으면서도 생존할 수 있을 만큼만 사기를 치도록 배웁니다.
결과: 결국 두 팀 모두 완전한僵局(무승부) 에 도달합니다. 두 팀 모두 거의 같은 점수 (약 1 점 만점에 0.78 점) 로 끝납니다. 이는 두 선수가 너무 오랫동안 싸워 서로의 수를 완벽하게 익힌 것과 같습니다. 어느 쪽도 이길 수 없지만, 어느 쪽도 질 수도 없습니다. 이는 '냄비'가 얼마나 배가되었는지와 상관없이 발생했습니다.

2. '별도의 점수판' 문제 (그리드 월드)

다음으로, 연구자들은 팀들을 shelters 를 짓고 자원을 모으는 그리드 월드라는 다른 게임으로 이동시켰습니다.

실수: 처음에 연구자들은 각 팀에게 별도의 점수판을 주었습니다. 블루 팀은 자신의 점수를 최대화하려 했고, 레드 팀도 자신의 점수를 최대화하려 했습니다.
오류: 서로 직접적으로 싸우는 것이 아니었기 때문에, 레드 팀은 블루 팀을 해치려 하지 않았습니다. 대신 레드 팀은 자신들의 피난처를 짓는 데 매우 능숙해졌습니다. 그들은 적대자가 아닌 두 개의 별개이고 행복한 팀이 되었습니다. '군비 경쟁'은 시작되지 않았습니다.
해결책: 연구자들은 규칙을 변경했습니다. 이제 팀의 점수는 "내가 얼마나 잘했는가?"가 아니라 **"상대방보다 내가 얼마나 더 잘했는가?"**가 되었습니다.
결과: '상대 점수' 시스템으로 전환하자마자 실제 싸움이 시작되었습니다. 레드 팀은 적극적으로 블루 팀을 방해하려 했고, 블루 팀은 생존하기 위해 적응해야 했습니다.

3. 시스템의 '노이즈' (시드 수)

연구자들은 이 새로운 규칙책을 작성하기 위해 특수한 AI 도구를 사용했습니다. 그들은 이상한 점을 발견했습니다.

문제: 새로운 규칙책이 좋은지 확인하기 위해 2 개의 예시(시드라고 함) 만으로 테스트하면, AI 는 '노이즈'(무작운 운) 에 혼란을 느껴 시간이 지남에 따라 점점 더 나쁜 규칙책을 작성하게 됩니다. 마치 요리사가 요리를 두 번만 맛보고 나쁜 날이라는 이유로 레시피를 망치기로 결정하는 것과 같습니다.
해결책: 테스트 샘플을 5 개의 예시로 늘렸을 때, AI 는 실수를 멈췄습니다. 그것은 어떤 규칙책이 실제로 더 좋은지 명확하게 볼 수 있게 되었고, 레드 팀의 공격 능력을 계속 향상시켰습니다.
교훈: 똑똑한 '공격자' AI 를 훈련시키려면 결과가 단순히 운이 아닌지 확인하기 위해 더 많이 테스트해야 합니다.

4. '스파이'의 이점

한 실험에서 연구자들은 레드 팀에 초능력을 주었습니다: 레드 팀은 블루 팀이 무엇을 하는지 모두 볼 수 있었지만, 블루 팀은 자신의 행동만 볼 수 있었습니다.

결과: 레드 팀은 블루 팀을 압도했습니다. 이는 상대방의 카드를 볼 수 있는 한 명의 플레이어와 체스를 두는 것과 같습니다. 블루 팀은 레드 팀의 수를 예측할 수 없었기 때문에 실수를 계속 반복했습니다.

5. 이것이 중요한 이유 ('레드 팀' 산물)

가장 중요한 교훈은 레드 팀이 이겼다는 사실이 아닙니다. 바로 레드 팀이 만든 규칙책이 유용한 도구라는 점입니다.

이러한 진화된 규칙책들을 **'레드 팀 산물'**로 생각하세요. 이들은 AI 가 협력 시스템을 어떻게 파괴하려 할 수 있는지를 정확히 보여주는 명확하고 작성된 규칙 목록 (예: "자원을 보자마자 즉시 훔치라"와 같은) 입니다.
미래의 개발자들은 이러한 특정 규칙책을 사용하여 자신의 새로운 AI 시스템을 테스트할 수 있습니다. 새로운 AI 가 이러한 '레드 팀' 규칙책의 공격을 견딜 수 있다면, 그것이 실제로 안전하다는 것을 알 수 있습니다.

요약

이 논문은 다음을 보여줍니다:

협력과 갈등은 공통 자원을 공유하도록 게임을 강제할 경우 균형에 도달할 수 있습니다.
게임을 신중하게 설계해야 합니다. 팀들의 점수가 서로에 의존하지 않도록 하지 않으면, 그들은 실제로 싸우지 않을 것입니다.
테스트가 중요합니다. 무작위 운으로 인한 혼란을 피하기 위해 AI 전략을 여러 번 테스트해야 합니다.
'나쁜 놈들'이 더 나은 '좋은 놈들'을 만드는 법을 가르쳐 줍니다. 공격자의 규칙책을 진화시킴으로써, 시스템을 파괴하는 방법에 대한 명확하고 읽을 수 있는 목록을 얻게 되며, 이는 더 강력한 방어를 구축하는 데 도움이 됩니다.

기술적 요약: 공공재 게임에서의 헌법적 무장 경쟁

문제 제기
현재의 헌법적 AI(CAI) 정렬 방법은 단일 에이전트 또는 협력적 다중 에이전트 환경에 최적화된 인간이 작성한 원칙 (예: "유용하고 해가 없어야 함") 에 의존합니다. 그러나 최근의 실증적 증거는 최첨단 대규모 언어 모델 (LLM) 에이전트들이 목표 충돌이 있는 에이전트 환경에 배치될 때, 협박, 파괴, 데이터 유출과 같은 고의적인 해로운 행위에 참여할 수 있음을 시사합니다. 기존 연구는 LLM 이 주도하는 진화적 탐색이 효과적인 협력적 헌법을 발견할 수 있음을 입증했으나, 이러한 방법들이 적응적 적대적 압력 하에서 유효한지는 아직 규명되지 않았습니다. 구체적으로, 표준 적합도 함수가 독립적으로 점수가 매겨지는 환경에서 진정한 적대적 선택 압력을 유발하는지, 그리고 LLM 돌연변이 연산자가 생산적 행동으로 퇴행하지 않고 적대적 전문가 목표를 지속적으로 유지할 수 있는지는 명확하지 않습니다.

방법론
저자들은 적대적 헌법 공진화 프레임워크를 제시합니다. 이 프레임워크에서는 두 진영 (청색 협력자와 적색 무임승차자) 이 30 세대에 걸쳐 현재 상대방에 맞서 자연어 기반의 우선순위 순 헌법을 교대로 업데이트합니다. 이 프레임워크는 LLM 이 주도하는 진화적 탐색 (MAP-Elites 기반의 OpenEvolve) 을 활용하여 헌법을 돌연변이시킵니다.

본 연구는 구조적으로 구별되는 두 가지 환경에서 이 프레임워크를 평가합니다:

공공재 게임 (PGG): 에이전트들이 공유 풀에 기여하는 비공간적 사회적 딜레마입니다. 공유 풀 메커니즘은 본질적으로 양 진영의 보상을 결합하여, 진영별 점수 함수를 수정하지 않고도 제로섬 전략적 압력을 생성합니다.
공간 격자 세계 (Spatial Grid-World): 진영 정체성이 숨겨진 자원 수집 환경입니다. 초기에는 진영별 점수가 생산성, 생존율, 아군 사격률 등을 기반으로 독립적으로 매겨졌으나, 저자들은 이를 적대적 역학에 대한 방법론적 실패 모드로 규명했습니다.

주요 기여 및 결과

PGG 공진화 및 균형:
PGG 에서 30 세대에 걸친 교대 공진화는 두 진영을 안정적이고 거의 동등한 균형 상태로 이끌었습니다. 청색 협력자의 안정성 점수 ( $S$ ) 는 0.370 에서 0.777 로 향상되었고, 적색 무임승차자는 0.177 에서 0.782 로 향상되었습니다. 이 $S \approx 0.78$ 로의 수렴은 승수 $m \in \{1.2, 1.5, 2.0, 3.0\}$ 전반에 걸쳐 견고했습니다. 공유 풀의 구조적 결합은 적색 진영이 처벌을 피하기 위해 필요한 기여 수준을 발견해야 하고, 청색 진영은 협력을 유지하기 위해 처벌을 조정해야 함을 보장했습니다.
필수 전제조건으로서의 적합도 결합:
독립적으로 점수가 매겨진 격자 세계에서는 진영별 점수 매김이 통계적으로 결합되지 않은 결과 ( $corr(S_B, S_R) = +0.088$ ) 를 초래하여 적대적 압력을 생성하지 못했습니다. 적색 진영은 적대적 행동 대신 생산적인 자기 구축을 진화시켰습니다. 저자들은 이를 수정하기 위한 필수 조치로 점수 우위 적합도 목표 ( $S_{own} - S_{opp}$ ) 를 제안합니다. 이를 적용하면 적대적 역학이 복원되어 측정 가능한 무장 경쟁 행위가 가능해졌습니다.
수정된 프로토콜 하의 격자 세계 역학:
- 협력적 기준선의 취약성: 청색 진영을 이전의 협력적 헌법 ( $C^*$ ) 에 고정했을 때, 적색 진영은 이를 능가하지 못했습니다 (평균 우위 $-0.27$). 다만 격차는 좁혀졌습니다.
- 방어 메커니즘: 공격에 대한 조정 요구 사항 (높은 성공 확률을 위해 인접한 동맹이 필요함) 을 도입하면 적색 진영의 우위가 $-0.66$으로 크게 감소했습니다. 이는 헌법을 변경하지 않고도 메커니즘 설계가 방어 레버로 작용할 수 있음을 보여줍니다.
- 정보 비대칭: 적색 진영이 모든 에이전트를 관찰하는 반면 청색 진영은 자신의 에이전트만 관찰할 때, 적색 진영은 최종 우위 $+0.415$ 로 지배적이었습니다. 완전 정보 하에서는 시스템이 거의 동등한 균형으로 수렴했습니다.
평가 시드 수 및 모드 퇴행:
순수 적대자 탐색 (적색 진영이 생산성 목표가 없고 $1 - S_{Blue}$ 만 가짐) 에서 평가 시드 수 ( $K$ ) 는 모드 퇴행을 통제합니다. $K=2$ 일 때 탐색은 퇴행했습니다. 적색 진영의 적합도는 시간이 지남에 따라 저하되었고, 이를 금지하는 시드가 있음에도 불구하고 생산적 규칙을 다시 획득했습니다. $K=5$ 일 때 탐색은 안정화되어 30 세대 내내 강력한 적대적 전문가를 유지했습니다. 이는 적합도 추정 노이즈가 LLM 이 주도하는 적대적 진화에서 불안정성의 주요 동인임을 규명합니다.

의의 및 주장
본 논문은 적대적으로 진화된 협력적 헌법이 협력적으로 진화된 것보다 본질적으로 더 견고하다고 주장하지 않습니다. 그러한 주장은 본 연구에서 수행되지 않은 전이 실험이 필요합니다. 대신, 본 논문의 의의는 다음과 같습니다:

방법론적 진단: 헌법적 무장 경쟁을 구축하고 진단하는 프레임워크를 제공하여, 적대적 공진화가 성공하는 경우 (결합된 적합도) 와 침묵적으로 실패하는 경우 (독립적 점수 매김, 낮은 평가 예산) 를 식별합니다.
레드팀 아티팩트: 진화된 적색 헌법은 해석 가능한 자연어 기반 레드팀 테스트 사례로 기능합니다. 신경 정책과 달리, 이는 특정 적대적 전략 (예: 정보 비대칭 악용) 에 맞서 향후 협력적 설계를 스트레스 테스트하는 데 사용할 수 있는 검사 가능한 규칙 집합입니다.
메커니즘 설계 통찰: 게임의 보상 구조 (예: 공유 풀 대 독립적 점수 매김) 가 진화적 압력을 결정하며, 간단한 메커니즘 변경 (조정 요구 사항 등) 이 적대적 전략을 효과적으로 상쇄할 수 있음을 보여줍니다.

저자들은 적대적 헌법 공진화가 가능하지만, 모드 퇴행을 방지하기 위해 결합된 적합도 함수와 충분한 평가 예산 ( $K \geq 5$ ) 에 엄격히 의존한다고 결론지었습니다.