💻 computer science

Noncooperative Human-AI Agent Dynamics

이 논문은 행동경제학의 전망 이론을 적용한 인간과 기대효용극대화를 따르는 AI 간의 비협력적 전략적 상호작용을 다양한 매트릭스 게임을 통해 시뮬레이션하고, 이로부터 도출된 혼합 집단의 경쟁에서 나타나는 예상치 못한 행동 패턴과 전략적 역학을 분석합니다.

원저자: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

게시일 2026-03-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎮 핵심 비유: "냉철한 계산기 vs 감성적인 도박꾼"

이 연구는 두 종류의 플레이어가 서로 다른 게임 규칙을 가지고 경기를 하는 상황을 상상해 봅니다.

AI 에이전트 (냉철한 계산기):
- 이 친구는 **"기대 효용 이론 (Expected Utility)"**이라는 규칙을 따릅니다.
- 마치 정교한 계산기처럼, 모든 상황을 수학적으로 분석합니다. "A 를 하면 10 점, B 를 하면 5 점"이라면 무조건 10 점을 얻는 A 를 선택합니다. 감정이 없고, 과거의 실수나 미래의 두려움에 흔들리지 않습니다. 오직 최대 이익만 쫓습니다.
인간 에이전트 (감성적인 도박꾼):
- 이 친구는 **"프로스펙트 이론 (Prospect Theory)"**이라는 규칙을 따릅니다.
- 인간은 계산기처럼 완벽하지 않습니다. 우리는 **상대적인 기준점 (Reference Point)**에 따라 판단합니다.
  - 손실 회피: 100 원을 잃는 아픔은 100 원을 얻는 기쁨보다 훨씬 큽니다.
  - 비합리적 확률: 당첨 확률이 1% 라도 "나만은 될 거야!"라고 믿는 과대평가나, 99% 라도 "아무 일도 안 일어날 거야"라고 무시하는 경향이 있습니다.
- 즉, 인간은 감정과 심리가 개입된 도박꾼과 같습니다.

🏆 실험실: "게임판 위의 대결"

연구자들은 이 두 친구를 서로 다른 게임판에 올려놓고 경쟁시켰습니다.

게임 종류: 죄수의 딜레마 (서로 배신할지 협력할지), 닭싸움 (Chicken, 누가 먼저 물러날지), 성전 (Stag Hunt, 협력할지 안전을 택할지) 등 고전적인 게임 이론 문제들.
상황:
1. 한 번만 하는 게임: 서로를 모르고 딱 한 번만 맞붙는 경우.
2. 반복되는 게임: 서로의 행동을 기억하며 여러 번 맞붙는 경우.
3. 참관자 vs 학습자: 게임 규칙을 다 아는 전문가 (Aware Human) 와 게임 중 학습하는 일반인 (Learning Human) 을 구분했습니다.

🔍 발견된 놀라운 사실들 (결과)

이 실험을 통해 몇 가지 재미있고 예상치 못한 결과가 나왔습니다.

1. "예상치 못한 승자" (기존 이론의 깨짐)

전통적인 경제학 이론에 따르면, AI(계산기) 가 인간(도박꾼) 을 이길 것이라고 예상했습니다. 하지만 결과는 달랐습니다.

닭싸움 (Chicken) 게임: 인간이 AI 보다 더 잘 이기는 경우가 많았습니다. 인간의 '손실 회피' 심리가 오히려 AI 의 공격적인 전략을 무력화시켰기 때문입니다. AI 가 "위험을 감수하고 공격하자"고 계산할 때, 인간은 "잃을 게 너무 많으니 물러서자"라고 생각하며 오히려 더 유리한 위치를 차지하기도 했습니다.

2. "혼란스러운 춤" (비합리적 행동)

인간 에이전트는 때때로 전혀 이해할 수 없는 행동을 했습니다.

성전 (Battle of the Sexes) 게임: 두 사람이 서로 다른 것을 원할 때, 인간은 "무조건 내 것을 고집"하거나 "무조건 양보"하는 대신, 10% 는 내 것을 고집하고 90% 는 양보하는 이상한 패턴을 만들었습니다. 이는 인간의 심리가 "손실"과 "이득"을 다르게 느끼기 때문에 발생하는 현상입니다. 마치 감기에 걸려서 미친 듯이 춤을 추는 것처럼, 논리적으로는 설명할 수 없는 행동을 보였습니다.

3. "공평한 결과, 하지만 다른 과정"

재미있는 점은, 최종적으로 얻은 점수 (보상) 는 AI 와 인간이 비슷하게 나왔다는 것입니다.

하지만 그 과정은 완전히 달랐습니다. AI 는 계산대로 움직였지만, 인간은 심리적 요인 때문에 길을 잃었다가 다시 찾아오는 등 험난한 과정을 겪었습니다. 마치 같은 목적지에 도착했지만, 하나는 직선 도로로, 다른 하나는 미로 속을 헤매며 도착한 것과 같습니다.

4. "게임이 깨진 경우" (Pathology)

일부 게임 (크로우포드의 반례 등) 에서는 인간이 참여할 때 아예 균형 (Equilibrium) 이 깨지기도 했습니다. 인간의 비합리성이 너무 강해서, 게임 이론적으로 "어떤 선택도 안정적이지 않다"는 상황이 발생했습니다. 이는 AI 와 인간이 섞여 있을 때 시스템이 어떻게 망가질 수 있는지를 보여줍니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 단순히 "인간이 AI 보다 못하다"거나 "AI 가 인간을 이긴다"는 결론을 내리는 것이 아닙니다. 대신 다음과 같은 중요한 메시지를 전달합니다.

인간은 예측 불가능하다: AI 를 설계할 때 인간이 "합리적인 계산기"처럼 행동한다고 가정하면 큰 실수를 합니다. 인간의 감정, 두려움, 편견을 반드시 고려해야 합니다.
경쟁의 새로운 양상: AI 와 인간이 경쟁하거나 협력할 때, 인간의 비합리성이 오히려 AI 의 약점이 되거나, 반대로 인간에게 예상치 못한 기회를 줄 수 있습니다.
안전한 AI 를 위한 설계: 자율주행차나 금융 시장 같은 곳에서 AI 가 인간과 함께 일할 때, 인간의 심리적 반응을 이해하지 못하면 시스템이 붕괴될 수 있습니다.

🚀 결론: "로봇과 인간의 공존을 위한 지도"

이 연구는 **"인간과 AI 가 서로 다른 언어 (논리 vs 심리) 로 대화할 때, 어떤 일이 벌어지는지"**에 대한 지도를 그려줍니다.

앞으로 AI 가 우리 사회에 더 깊게 들어오면, 우리는 이 지도를 통해 AI 가 인간의 감정을 어떻게 이해하고, 인간은 AI 의 냉철한 계산에 어떻게 대응해야 할지 준비해야 합니다. 결국, 인간의 '비합리성'을 이해하는 것이 더 똑똑한 AI 를 만드는 열쇠라는 것이 이 논문의 핵심입니다.

비협력적 인간-AI 에이전트 역학에 대한 기술적 요약

이 논문은 전략적 환경에서 인공지능 (AI) 에이전트와 인간 의사결정자 간의 비협력적 상호작용 역학을 조사합니다. 특히, 행동 경제학의 최신 이론인 **프로스펙트 이론 (Prospect Theory, PT)**을 인간 에이전트의 모델에 적용하고, 이를 전통적인 **기대 효용 (Expected Utility, EU)**을 극대화하는 AI 에이전트와 비교하여 혼합 인구 (Human vs. AI) 경쟁에서 발생하는 새로운 행동을 분석합니다.

1. 문제 정의 (Problem)

기존의 다중 에이전트 강화학습 (MARL) 및 게임 이론 연구는 대부분 합리적인 '경제적 인간 (Homo Economicus)'을 가정하며, 모든 에이전트가 기대 효용을 극대화한다고 봅니다. 그러나 실제 인간은 인지적 휴리스틱 (heuristic) 과 편향을 가지고 있으며, 이는 **프로스펙트 이론 (PT)**으로 더 정확하게 설명됩니다.

핵심 문제: 기대 효용을 극대화하는 AI 에이전트와 손실 회피 (loss aversion), 기준점 의존성 (reference dependence), 확률 가중치 왜곡 등의 PT 특성을 가진 인간 에이전트가 비협력적 게임에서 상호작용할 때, 어떤 균형 (equilibrium) 이 도출되며, 어떤 전략적 우위나 취약점이 발생하는가?
연구 목적: 인간과 AI 의 혼합 인구에서 발생하는 점근적 (asymptotic) 행동 패턴을 실증적으로 분석하고, PT 선호도가 게임의 균형과 수렴에 미치는 영향을 규명합니다.

2. 방법론 (Methodology)

2.1 에이전트 모델링

논문은 세 가지 유형의 에이전트를 정의하고 비교합니다:

AI 에이전트 (EU Maximizer): 표준 기대 효용 극대화를 목표로 하는 강화학습 에이전트 (Q-learning 기반).
인지적 인간 에이전트 (Aware Human, AH): 게임 구조와 보수 (payoff) 를 완전히 알고 있는 인간. 상대방의 최적 대응 (best reply) 을 계산하여 PT 변환을 적용한 보수를 극대화합니다. 학습 과정이 없으며, 한 번의 게임 (one-shot) 에서 최적 대응을 수행합니다.
학습 인간 에이전트 (Learning Human, LH): 게임 구조를 모르고 상호작용을 통해 학습하는 인간. 평균 보상 (average reward) Q-learning 을 사용하되, Q 값에 누적 프로스펙트 이론 (CPT) 변환을 적용하여 의사결정을 내립니다.

2.2 프로스펙트 이론 (CPT) 적용

기준점 (Reference Point): 보상은 절대적 크기가 아닌 기준점 대비 이득/손실로 평가됩니다. 기준점 적응 방식 (EMA, V-based, EMAOR 등) 을 다양화하여 실험했습니다.
가치 함수: 손실 회피 ( $\lambda > 1$ ) 와 민감도 감소 ( $\alpha, \beta < 1$ ) 를 반영합니다.
확률 가중치: 작은 확률은 과대평가, 큰 확률은 과소평가하는 역 S 자형 (inverse S-shape) 함수를 사용합니다.
학습 알고리즘: LH 에이전트는 상대방의 행동에 대한 믿음 (belief) 을 업데이트하며, CPT 변환된 기대 보상을 극대화하는 정책을 학습합니다.

2.3 실험 환경

게임 세트: 고전적 게임 (죄수의 딜레마, Matching Pennies, Battle of the Sexes, Stag Hunt, Chicken) 과 PT 이론에서 균형 부재나 이상 현상이 발생하는 게임 (Ochs' Game, Crawford's Counterexample) 을 포함합니다.
실험 설정: 2 인 게임에서 에이전트 조합 (AI-AI, AI-AH, AI-LH, LH-LH 등) 과 기준점 유형을 조합하여 50,000 스텝 동안 반복 실행했습니다. 상태 공간은 과거 행동 이력 (State History) 을 포함하여 확장했습니다.

3. 주요 기여 (Key Contributions)

이질적 에이전트 모델링: PT 선호도 (인간) 와 EU 선호도 (AI) 를 가진 에이전트를 동시에 모델링하여 비협력적 게임에서의 상호작용을 체계적으로 연구했습니다.
학습 vs 인지 에이전트 구분: 완전 정보를 가진 인간 (AH) 과 학습을 통한 인간 (LH) 을 구분하여, 학습 과정이 PT 편향과 어떻게 결합되는지 분석했습니다.
다중 기준점 regimes 에 대한 Q-learning 정립: 다양한 기준점 적응 메커니즘 (EMA, V-based 등) 하에서 Q-learning 을 적용하고, 이를 통해 발생하는 균형의 존재성과 수렴성을 실증적으로 검증했습니다.
혼합 인구의 점근적 행동 발견: 고전적 게임 이론이 예측하지 못한 새로운 수렴점 (basins of attraction) 과 비정상적 행동 패턴을 발견했습니다.

4. 주요 결과 (Results)

4.1 고전적 게임에서의 발견

죄수의 딜레마 (Prisoner's Dilemma): 대부분의 조합은 배신 (Defect) 으로 수렴했으나, LH 에이전트가 특정 기준점 (EMAOR) 하에서 AI 와 대결 시 예외적으로 협력 (Cooperate) 비율이 약 10% 발생했습니다. 이는 학습 역학의 비선형적 변동 때문으로 추정됩니다.
Matching Pennies: 균형 (0.5, 0.5) 에서 크게 벗어난 행동이 관찰되었습니다. 특히 LH 에이전트가 AI 와 대결 시 CPT 선호도로 인해 행동이 급격히 변하며 (action flip rate 증가), AI 가 예측 불가능한 행동을 보였습니다. 흥미롭게도 정책의 편차는 보상의 불균형으로 이어지지 않았습니다.
Stag Hunt: 대부분의 경우 최적 균형 (Stag, 1, 1) 으로 수렴했으나, AI 대 AI 또는 LH 대 AI (V-based 기준점) 의 경우 안전 균형 (Hare, 0, 0) 으로 수렴하는 등 PT 특성이 협력 실패를 유발할 수 있음을 보였습니다.
Battle of the Sexes & Chicken: LH 에이전트는 최적 균형에 도달하지 못하고 비최적 혼합 전략으로 수렴하는 경향이 있었습니다. 특히 Battle of the Sexes 에서 LH 는 상대방이 최적 전략을 쓸 때조차 10% 확률로 비합리적인 행동을 선택하는 등 경쟁적 불이익을 보였습니다.

4.2 이상 현상 게임 (Anomalous Games)

Crawford's Counterexample: PT 선호도를 가진 에이전트들은 혼합 균형 (1/2, 1/2) 을 찾지 못하고 순수 전략으로 수렴하여, PT 하에서 균형이 존재하지 않거나 비정상적임을 확인했습니다.
Ochs' Game: PT-NE(균형 부재) 가 예측되었으나, 학습 에이전트들은 (0.5, 0.5) 와 (0.5, 0.1) 사이의 다양한 수렴 영역을 보였습니다. CPT 변환이 행동 결정의 약 50% 를 차지할 정도로 큰 영향을 미쳤습니다.

4.3 일반적 경향

보상과의 불일치: LH 에이전트의 행동이 고전적 균형에서 크게 벗어났음에도 불구하고, 최종 보상은 균형 상태와 유사하게 유지되는 경우가 많았습니다. 이는 상대방 (특히 AH) 의 안정성이 학습 에이전트의 극단적 행동을 상쇄시켰기 때문으로 해석됩니다.
L2 거리 스파이크: AH 대 LH 매치업에서 LH 에이전트의 CPT 변환된 가치와 EU 가치 간의 L2 거리가 급격히 증가했으나, 이것이 항상 행동 변화로 직결되지는 않았습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 연구는 인간과 AI 가 공존하는 미래 사회에서 발생할 수 있는 비협력적 상호작용의 복잡성을 조명합니다.

실제 인간 행동 모델링의 중요성: AI 안전 (AI Safety) 및 정책 설계 시, 인간을 단순한 합리적 에이전트로 가정하는 것은 위험할 수 있습니다. 인간의 인지 편향 (손실 회피, 기준점 의존성) 은 AI 와의 경쟁에서 예측 불가능한 균형이나 비효율적인 수렴을 초래할 수 있습니다.
전략적 우위와 취약점: PT 특성을 가진 인간 에이전트는 특정 게임 (예: Chicken, Battle of the Sexes) 에서 AI 에 비해 불리할 수 있으며, 반대로 AI 는 인간의 비합리성을 이용하거나 오해하여 시스템 전체의 효율성을 떨어뜨릴 수 있습니다.
향후 연구 방향: 이 모델은 AI 와 인간의 상호작용을 이해하기 위한 분석적 프레임워크를 제공합니다. 향후 진화 게임 이론 적용, 공공재 게임 및 자율주행/거래 시뮬레이션 확장 등을 통해 인간-AI 공존 전략을 설계하는 데 기여할 수 있습니다.

결론적으로, 이 논문은 심리학적 특성이 게임 이론적 균형에 어떻게 영향을 미치는지를 실증적으로 증명하며, 인간과 AI 의 혼합 환경에서 발생할 수 있는 시스템적 리스크와 기회를 식별하는 데 중요한 통찰을 제공합니다.