기술 요약: 인간은 더 다양하다: 최첨단 LLM은 이상화된 AI 개발 경쟁에서 극단적인 정책을 보인다

문제 정의

첨단 인공지능 분야의 경쟁은 개체가 빠른 비안전적 개발과 느린 안전한 개발 사이에서 상충 관계(trade-off)에 직면하게 되는 안전 딜레마를 창출한다. 인간 실험을 통해 이러한 역학을 탐구해 왔으나, 대규모 언어 모델(LLM)을 시뮬레이션 에이전트로 사용하는 것은 "측정 문제(measurement problem)"를 야기한다. 모델은 올바른 형식의 행동을 출력할 수는 있지만, 게임 상태를 정확하게 추적하거나 보상(payoff)을 계산하지 못할 수 있다. 반복되는 게임에서 단 한 번의 상태 추적 오류는 이후 모든 라운드의 궤적을 변화시킨다. 결과적으로, 그럴듯한 행동 시퀀스를 관찰하는 것이 에이전트가 게임을 이해하거나, 전략적 논리를 따르거나, 인간과 유사한 의사결정 역학을 보여준다는 증거가 되지는 않는다. 또한, LLM의 행동은 프롬프트 제시 방식(예: 어구, 답변 순서, 페르소나)에 민감한 것으로 알려져 있어, 그들의 출력을 전략적 정책으로 해석하는 것의 타당성에 의문을 제기한다.

방법론

저자들은 작업 타당성(task validity)과 전략적 해석을 분리하기 위해 **감사 우선 평가 프레임워크(audit-first evaluation framework)**를 채택한다. 본 연구는 2명에서 5명의 플레이어를 포함하는 이상화된 AI 개발 경쟁 게임을 활용한다.

게임 메커니즘

• 구조: 두 명 이상의 플레이어가 안전(Safe)(느린 진보, 낮은 위험)과 비안전(Unsafe)(빠른 진보, 높은 사적 위험) 중 하나를 동시에 선택하는 반복 게임.
• 진보: 안전은 1.0의 진보를 더하고, 비안전은 1.5를 더한다.
• 보상(Payoffs):
  • 2인 게임: 비안전이 단기적으로 안전을 엄격하게 지배(strictly dominates)하는 고정 단계 보상 행렬을 사용한다.
  • N인 게임 ($N \ge 3$): 보상은 안전을 선택한 플레이어 수와 비안전을 선택한 플레이어 수에 따라 달라지며, 이는 2인 행렬을 일반화한 것이다.
• 종료: 숨겨진 라운드 수(기대 호라이즌 $E[T]=9$) 후에 경주가 종료된다. 승자(최고 진보 달성자)는 상금($B=100$)을 받는다.
• 위험: 오직 승자(또는 공동 승자)만이 누적된 비안전 선택에 따라 결정되는 "사적 좌절 위험(private setback risk)"에 직면한다. 위험이 실현될 경우, 해당 플레이어의 총 보상은 0이 된다. 패자는 위험과 상관없이 단계별 보상을 유지한다.

실험 설계

본 연구는 네 가지 수준의 증거로 구성된다:

1. 기계적 타당성(Mechanical Validity): 게임 엔진이 규칙을 올바르게 적용하는지 검증.
2. 작업 타당성(Task Validity): 에이전트가 규칙을 회상하고, 상태를 재구성하며, 상태 전이를 수행하고, 기대 보상을 계산할 수 있는지 감사.
3. 표현 견고성(Representation Robustness): 동일한 작업 제시 방식 하에서 선택이 안정적인지 테스트 (예: 내러티브 스킨 변경, 불투명한 응답 코드, 또는 산술식 공개).
4. 행동 비교(Behavioral Comparison): 유효한 궤적을 게임 이론적 벤치마크 및 발표된 인간 데이터와 비교.

에이전트 및 조건:

• 모델: GPT-5-nano, GPT-5.4-nano, Gemini-3-Flash 변형, Claude Opus 5, Claude Sonnet 5 및 감사를 위한 Qwen2.5-7B-Instruct를 포함한 7개의 최첨단 LLM 엔드포인트.
• 변수: 위험 조건(낮음, 중간, 높음), 페르소나(위험 인식형, 협력적/적대적, 베이스라인), 그룹 크기 ($N=2$ ~ $5$).
• 데이터 수집: 모든 프롬프트, 응답, 파싱된 행동, 재시도, 상태 변화 및 랜덤 시드가 기록된다.

주요 기여

1. 타당성 감사

본 연구는 규칙 회상이 상태 추적을 보장하지 않음을 입증한다.

• 결과: Qwen2.5-7B-Instruct에 대한 685회의 프로브 감사에서, 모델은 규칙 회상에서 97.4%, 단일 단계 보상 조회에서 100%의 정확도를 달성했다. 그러나 상태 재구성(37.0%), 상태 전이(22.2%), 기대 보상 계산(16.7%)에서는 정확도가 크게 떨어졌다.
• 시사점: 에이전트는 규칙에 대한 질문에는 올바르게 답할 수 있지만, 그 규칙이 지배하는 진화하는 게임 상태를 추적하는 데는 실패할 수 있다.

2. 표현에 대한 민감성

행동 출력은 게임 메커니즘을 변경하지 않는 조작 하에서도 불안정하다.

• 산술 공개: 현재 라운드에 대한 검증된 산술식을 제공했을 때, 비안전 비율이 52.0%에서 60.8%로 증가했다.
• 불투명한 매핑: "Safe/Unsafe"가 불투명한 코드($P/Q$)로 대체되었을 때, 근본적인 게임은 동일함에도 불구하고 매핑 방식에 따라 행동이 크게 갈라졌다(최대 34 퍼센트 포인트 차이). 결정적으로, 이러한 불투명한 조건에서 이해(comprehension) 게이트가 실패했는데, 이는 모델이 게임을 최적화하는 것이 아니라 프롬프트의 인공물(artifact)에 반응하고 있음을 나타낸다.

3. 전략적 다양성 vs. 집계 비율

본 논문은 집계된 비안전 비율만으로는 LLM의 행동을 특징짓기에 불충분하다고 주장한다.

• 2인 역학: 유사한 집계 비안전 비율을 가진 모델들(예: GPT-5-nano 17% vs. 인간 56%)은 근본적으로 다른 응답 규칙을 보인다.
  • 인간: 주로 상대방의 이전 행동(호혜성)에 의해 구동된다.
  • GPT-5-nano: 주로 상대적 진보 격차(예측 중요도 44%)에 의해 구동되며, 상대방의 이력은 4%만 기여한다.
  • Gemini 모델: 주로 할당된 위험 조건에 의해 구동된다.
• 클러스터링: 원시 행동 궤적에 HDBSCAN을 사용하여 11개의 행동 유형(archetypes)을 식별했다. 인간의 궤적은 넓은 행동 공간을 가로지르며 여러 모델 특정 영역과 중첩되었다. 반면, 개별 모델은 매우 집중되어 있었다(예: GPT-5-nano는 95%가 단일 "첫 라운드 상호 안전" 유형에 집중됨). 이는 인간 인구에서 관찰되는 내부 다양성이 결여되어 있음을 보여준다.

4. 다중 에이전트 및 페르소나 효과

• 순위 효과: $N$-플레이어 경주에서 순위(리더/중간/추격자)와 비안전 플레이 사이의 관계는 단조적이지 않으며, 모델과 페르소나에 따라 달라진다. GPT-5-nano의 경우, 순위의 효과는 페르소나 프레이밍에 따라 부호가 바뀌었는데, 이는 순위의 인과적 효과라기보다 선택 편향(리더는 종종 이전에 비안전 플레이를 했던 사람들임) 때문일 가능성이 크다.
• 페르소나 vs. 위험: 인간의 위험 선호도(비안전 플레이와 거의 상관관계가 없음, $r=-0.015$)와 달리, 프롬프트에 할당된 "위험 페르소나"는 강력한 정책 동인으로 작용하여 다양한 모델에서 비안전 비율을 50~98 퍼센트 포인트까지 변화시켰다.

결과 요약

• 타당성: 강력한 규칙 회상이 약한 상태 추적과 공존한다. 유효한 궤적은 이해 게이트를 통과해야 하며, 이를 통과하지 못하면 관찰된 행동은 정보에 기반한 최적화가 아닌 프롬프트에 민계한 출력이다.
• 인간-LLM 비교: 단일 LLM 체크포인트는 인간의 다양한 전략을 재현하지 못한다. 일부 모델은 인간의 평균 비안전 비율은 일치시키지만, 인간의 전략 분포(즉, 인간은 다양하지만 모델은 특정 유형에 집중된 점 질량임)는 재현하지 못한다.
• 행동의 동인: 비안전 플레이의 예측 변수는 모델마다 다르다. 인간은 호혜성에 의존하고, GPT-5-nano는 위치에 의존하며, Gemini 모델은 위험 파라미터에 의존한다.
• 다중 에이전트: 플레이어를 추가하는 것($N=3$ ~ $5$)이 행동의 단조로운 변화를 일으키지는 않는다. 패턴은 모델별로 다르며, 보상 구조 및 프롬프트 길이에 의해 혼재되어 있다.

의의 및 주장

본 논문은 다중 에이전트 AI 경주 시뮬레이션이 그 출력을 전략적, 인간적, 또는 안전 지향적이라고 설명하기 전에 반드시 타당성 검사와 궤적 수준의 분석을 거쳐야 한다고 주장한다.

• 제한된 범위: 연구 결과는 명시적으로 탐색적이며, 테스트된 모델, 프롬프트 및 디코딩 설정에만 적용된다. 저자들은 이 결과가 모든 LLM이나 실제 AI 연구소로 일반화된다고 주장하지 않는다.
• 핵-통찰: LLM의 "안전성" 또는 "전략"은 고정된 속성이 아니라, 모델의 내부 상태 추적 능력, 프서의 표현 방식, 그리고 특정 실험 구성 사이의 취약한 상호작용이다.
• 방법론적 전환: 저자들은 진단적 증거(타당성, 상태 추적)와 확증적 증거(전략적 행동)를 분리할 것을 권고한다. 전자가 없다면 후자는 해석 불가능하다.

본 연구는 집계된 지표(예: 총 비안전 비율)에만 의존하는 것이 모델이 게임 상태를 처리하고, 상대방에게 반응하며, 위험을 다루는 방식의 결정적인 차이를 가릴 수 있으며, 잠재적으로 AI 안전 및 전략적 정렬에 대한 잘못된 결론으로 이어질 수 있다고 결론짓는다.