기술 요약: 게임 이론에서의 하이브리드 연합을 위한 엔트로피 기반 프레임워크. 제1부: 인간 중재 (Human Arbitration)

1. 문제 정의

폰 노이만(von Neumann)과 모르겐슈테른(Morgenstern)의 프레임워크에 뿌리를 둔 고전적 게임 이론은 완비성(completeness), 추이성(transitivity), 아르키메데스 성질(Archimedean property)과 같은 공리를 만족하는 고정된 의사결정 권한과 표준적 선호 구조를 가진 에이전트를 가정한다. 그러나 하이브리드 인간-AI 시스템은 근본적인 과제를 제시한다: 디지털 환경 내에서 실행 권한이 인간과 AI 구성 요소 사이에서 내생적으로 교차할 수 있다는 점이다. 이러한 설정에서 연합 행동은 단일한 매끄러운 선호 순서나 표준적 효용 함수로 표현될 수 없다. 기존의 하이브리드 접근 방식들은 효용을 혼합하거나 권한을 정적으로 취급하는 경우가 많으며, 정책적 발산(policy divergence)에 따라 실행 에이전트가 매 단계 선택되는 동적 제어 과정을 포착하지 못한다. 본 논문은 "가상 자연(Virtual Nature)"(고전적 '자연'의 알고리즘적 대응물) 하에서 작동하는 하이브리드 연합에 대해 기존의 평형 개념이 불충분함을 지적하며, 위임이 동적이고 체제 의존적(regime-dependent)인 프레임워크를 공식화하고자 한다.

2. 방법론: 신게임 이론 (Neo-Game Theory)

저자들은 하이브리드 인간-AI 연합을 위해 설계된 확장된 게임 이론인 **신게임 이론(Neo-Game Theory)**을 도입한다. 이 프레임워크는 다음의 기둥들로 구축된다:

2.1. 가상 자연과 하이브리드 게임

환경은 알고리즘적 확률성, 하드 임계값(hard thresholds), 불연속성을 포착하는 전이 함수 $V: S \times A \to \Delta(S)$인 **가상 자연($V$)**으로 모델링된다. 하이브리드 게임은 튜플 $N(V) = (S, A, U, \lambda, P_V)$로 정의된다:

• $S$는 상태 공간(state space).
• $A$는 공통 실행 액션 공간(인간과 AI 제안 집합의 합집합).
• $U = \{U_H, U_{AI}\}$는 개별 효용 함수.
• $\lambda_T \in \{0, 1\}$는 시간 $T$에서 어떤 에이전트가 액션을 실행할지를 결정하는 이진 위임 계수(binary delegation factor).
• $P_V$는 가상 자연에 의해 생성된 전이 커널(transition kernel).

2.2. 공리적 이탈

이 프레임워크는 연합 수준에서 고전적 공리들을 완화한다:

• 추이성의 실패: 제어권의 교차는 개별 에이전트는 추이적일지라도 비추이적(non-transitive)인 드러난 선호(revealed preferences)를 유도할 수 있다 (예: $A \succ B, B \succ C, C \succ A$).
• 아르키메데스 공리의 실패: 연합은 매끄러운 상충 관계(trade-offs)를 보이지 않는다. 인간의 조정은 점진적인 반면, AI 최적화는 불연속적일 수 있다.
• 사전적 효용(Lexicographic Utility): 연합의 결과는 사전적으로 비교된다. 실행 체제(인간 vs AI)는 효용 평가 전에 선택되며, 이는 체제 간의 보상적 상충 관계(compensatory trade-off)가 존재하지 않음을 의미한다.

2.3. 엔트로피 기반 위임 메커니즘

위임은 경험적 인간 정책($p_H$)과 AI 정책($p_{AI}$) 사이의 젠슨-샤논(Jensen–Shannon, JS) 발산($D_{JS}$)에 의해 결정된다. 프레임워크는 두 개의 고정된 임계값 $\alpha_{agree}$와 $\alpha_{disagree}$를 활용하여 정책 공간을 세 가지 체제로 분할한다:

1. 합의(Agreement) ($D_{JS} \le \alpha_{agree}$): AI가 실행한다 ($\lambda = 0$).
2. 불일치(Disagreement) ($D_{JS} \ge \alpha_{disagree}$): 인간이 실행한다 ($\lambda = 1$).
3. 맥락적(Contextual) ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$): 실행은 확률적 규칙에 의해 결정되며, 인간 실행 확률은 $D_{JS}$와 같다.

2.4. 학습 역학 및 평형

본 논문은 인간이 궁극적인 실행 권한을 보유하는 **시나리오 1: 인간 중재(Human Arbitration)**에 집중한다.

• 정책 업데이트: AI는 모든 체제에서 실행된 액션을 향해 정책을 업데이트한다. 인간은 오직 합의 체제($D_{JS} \le \alpha_{agree}$)에서만 정책을 업데이트한다.
• 효용 궤적(Utility Traces): 효용은 실행된 액션에 기반하여 지수 가중 이동 평균(EWMA) 궤적을 사용하여 온라인으로 업데이트된다.
• 평형 개념: 본 논문은 **빈도 수렴 평형(Frequency-Convergence Equilibrium)**을 정의한다. 이는 고정된 최적 대응(best response)의 고정점이 아니라, 확률적 정책 적응 과정의 동적 안정화이다. 이는 경험적 체제 빈도($f_{agree}, f_{ctx}, f_{disagree}$)의 점근적 안정화로 특징지어진다.

3. 주요 기여

1. 신게임 이론의 공식화: 본 논문은 하이브리드 연합을 위한 공리적 기초를 확립하며, 교차하는 권한이 어떻게 사전적 효용 구조와 고전적 추이성의 잠재적 실패를 초래하는지 입증한다.
2. 엔트로피를 통한 위임: 젠슨-샤논 발산을 사용하여 합의, 맥락적, 불일치라는 뚜렷한 실행 체제를 만드는 임계값을 활용한 새로운 위임 규칙을 제안한다.
3. 인간 중재 체제: 저자들은 AI가 관찰과 빈도 매칭을 통해 학습하고 인간이 최종 중재자로 작하는 이 이론의 첫 번째 체제를 개발하고 시뮬레이션한다.
4. 이론적 특성 규명: 로빈스-몬로(Robbins–Monro) 스텝 사이즈 또는 상수 이득(constant gains) 하에서 시스템이 안정적인 정책 빈도 분포로 수렴함을 증명한다. 또한, 특정 조건 하에서 발산 과정이 점근적으로 정상(stationary)이며 에르고딕(ergodic)함을 입증한다.

4. 결과

저자들은 다양한 호라이즌($H \in \{200, \dots, 50,000\}$)과 파라미터 그리드(임계값, 학습률, 스텝 사이즈 스케줄, 상태 생성 모드)에 대해 시뮬레이션을 수행하였다. 주요 결과는 다음과 같다:

• 수렴: 모든 호라이즌에 걸쳐 인간과 AI의 정책은 점진적으로 정렬되어, 젠슨-샤논 발산($D_{JS}$)이 0에 접근한다.
• 파라미터의 역할:
  • 학습률 ($\eta$): 상수 스텝 사이즈는 초기 정렬을 가속화하지만 작은 진동을 유발한다. 감소하는 스텝 사이즈(Robbins–Monro)는 더 매끄럽고 안정적인 수렴 궤적을 생성한다.
  • 임계값: 임계값은 체제 전환의 빈도를 결정하지만 장기적인 정렬 결과에는 영향을 미치지 않는다.
  • 상태 생성: 상태가 외생적(무작위)으로 생성되는지 또는 내생적(액션 의존적)으로 생성되는지는 단기적 변동성에는 영향을 미치지만 점근적 평형에는 영향을 미치지 않는다.
• 과도 상태 vs 점근 상태: 파라미터는 주로 (학습 스케줄이나 환경 명세와 관계없이) 수렴의 존재 자체가 아니라 과도적(transient) 학습 경로(속도 및 노이즈)에 영향을 미친다. 충분히 큰 호라이즌($H \ge 30,000$)에서 시스템은 정책이 정렬되고 $D_{JS} \approx 0$인 포화 체제에 도달한다.
• 안정성: 시스템은 고전적인 최적 대응 최적화에 의존하지 않고도 견고한 정책 정렬을 보여준다. 안정성은 반복적인 실행, 경험적 적응, 그리고 위임 규칙의 통계적 구조로부터 발생한다.

5. 의의 및 주장

본 논문은 더 넓은 신게임 이론 프레임워크의 첫 번째 체제(인간 중재)를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 이론적 토대: 권한이 교차하는 하이브리드 시스템을 위해, 단순히 효용을 합산하는 모델을 넘어 공리적 기초를 제공한다.
• 행동적 평형: 평형을 정적인 전략적 고정점이 아니라, 경험적 빈도와 정책 발산의 동적 안정화로 재정의한다.
• 실제적 구현: 시뮬레이션 결과는 엔트로피 기반 위임이 하이브리드 시스템에서 견고하게 정책 정렬을 유도할 수 있음을 검증하며, 이는 인간 참여형(human-in-the-loop) 훈련 및 신뢰 민감형 AI 시스템을 위한 실행 가능한 메커니즘을 시사한다.

저자들은 이 작업이 AI 제어 및 협상 체제로의 향후 확장을 위한 토대를 마련한다고 명시적으로 밝히며, 이를 통해 디지털 매개 환경에서 나쉬(Nash) 및 스택켈버그(Stackelberg) 평형과 같은 기존 솔루션 개념들과 체계적인 비교를 가능하게 할 것이다. 본 논문은 모든 하이브리드 상호작용 문제를 해결하려는 것이 아니라, 실행 권한이 내생적이고 정책에 의해 구동되는 특정 클래스의 상호작용을 공식화하는 데 목적이 있다.