기술 요약: Racing to Ruin (파멸을 향한 경주)

1. 문제 제기

본 논문은 실존적 위험(existential risk)이 존재하는 상황에서 복점 기업 간의 R&D 경쟁을 조사한다. 여기서 기술의 최전선(technology frontier)을 진전시키는 것은 모든 기업의 유동적 수익(flow payoffs)을 영구적으로 제로(0)로 만드는 재앙적 사건의 발생률(hazard rate)을 높인다. 선점한 보상을 차지하는 것이 목표인 표준적인 특허 경쟁 모델과 달리, 본 연구의 목적은 기업들이 자발적으로 멈추기 전까지 기술의 최전선이 얼마나 멀리 진전되는지를 결정하는 것이다.

핵심적인 긴장은 경쟁적 동기와 조정(coordination) 사이의 상충 관계에서 발생한다. 유동적 이윤은 자신의 기술 수준에는 비례하여 증가하지만, 경쟁자의 기술 수준에는 반비례하여 감소한다. 위험이 낮을 때는 경쟁적 동기가 지배적이어서 기업들은 경쟁자의 행동과 상관없이 경주를 지속한다. 그러나 위험이 한계 이윤에 비해 높을 경우, 기업들은 경쟁자도 멈출 때만 자신들도 멈추는 것을 선호하게 되며, 이는 문제를 조정 게임(coordination game)으로 변모시킨다. 본 논문은 다음을 질문한다:

1. 균형 상태에서 기술의 최전선은 얼마나 진전되는가?
2. 투명성(경쟁자의 중단 속도를 모니터링하는 속도)과 신뢰(경쟁자의 합리성에 대한 믿음)가 이 최전선을 어떻게 형성하는가?
3. 어떤 조건 하에서 "파멸을 향한 경주"(무한한 확장이 확실한 재앙으로 이어지는 현상)가 균형 결과로 나타나는가?

2. 방법론 및 모델 설정

저자들은 두 기업($N=\{1,2\}$) 간의 연속 시간 동적 게임을 개발하였다.

• 기술 및 중단: 기업들은 중단할 때까지 단위 속도로 기술을 진전시킨다. 중단은 비가역적이다. 기본 모델에서 기업들은 경쟁자의 중단 결정을 완벽하고 즉각적으로 관찰한다.
• 수익: 기업 $i$는 유동적 수익 $\pi(t_i, t_j)$를 받는다. 여기서 $t_i$는 자신의 기술 수준이고 $t_j$는 경쟁자의 기술 수준이다. 함수 $\pi$는 자신의 기술에 대해서는 엄격히 증가하고, 경쟁자의 기술에 대해서는 엄격히 감소한다.
• 재앙 위험: 시장 붕괴는 기술 규모 $T = \max(t_1, t_2)$의 함수인 $\lambda(T)$의 비율로 발생한다. 붕괴 시 모든 수익은 0으로 떨어진다. 해저드(hazard) $\lambda$는 비감소 함수이다.
• 대표 에이전트 벤치마크: 저자들은 잘못된 신념을 가진 "대표 기업"을 구축한다. 이 기업은 경쟁자의 기술이 현재 시점 $t$에서 고정되어 있다고 가정한다. 이 에이전트는 기술 확장의 한계 이득과 재앙 위험을 비교하는 최적 중단 문제를 해결한다. 이 솔루션 $\tau_R$은 중요한 벤치마크 역할을 한다.
• 확장 모델: 기본 모델은 다음과 같이 확장된다:
  1. 불완전한 투명성: 중단은 무작위 지연 $E \sim \text{Exp}(\omega)$와 함께 관찰된다.
  2. 불완전한 신뢰: 기업들은 (Kreps-Wilson 스타일의) 절대 멈추지 않는 "미친 유형(crazy types)"일 수 있으며, 그 확률은 $1-p$이다.

3. 주요 결과

A. 완전한 투명성 (기본 모델)

완벽한 모니터링과 합리성에 대한 공통 지식이 있는 경우, 균형 최전선은 특정 구간 $[\tau, \tau_R]$ 내에 묶여 있다.

• 상한선 ($\tau_R$): 최전선은 대표 에이전트의 중단 시점인 $\tau_R$을 초과하지 않는다. 만약 한 기업이 $\tau_R$에서 멈춘다면, 경쟁자는 이를 즉시 관찰하고 역시 멈춘다. 역진 귀납법(backward induction)에 의해 어떤 기업도 $\tau_R$을 지나 계속 나아가지 못한다.
• 하한선 ($\tau$): 최전선은 독점 기업의 중단 시점인 $\tau$(경쟁자의 기술이 0인 경우)까지는 최소한 진전된다. 로그-초중모듈성(log-supermodularity) 덕분에, 경쟁자가 활성화되어 있을 때 기술 확장에 따른 한계 이득이 더 높으므로 최전선은 독점 수준을 상회한다.
• 균형 구조: 균형은 "결집형"(둘 다 동시에 $\tau_R$에서 멈춤)이거나 "분산형"(한 명은 먼저 멈추고 다른 한 명은 나중에 멈추지만, 최전선은 $[\tau, \tau_R]$ 내에 유지됨)이다.
• 비교 정학: 더 높은 해저드율은 두 경계값 모두를 안쪽으로 끌어당긴다. 더 강한 경쟁 강도(상대적 위치에 따른 이윤의 민감도)는 상한선 $\tau_R$을 바깥쪽으로 밀어낸다.

B. 불완전한 투명성 (지연된 모니터링)

중단이 지연(속도 $\omega$)을 두고 관찰될 때, 조정 메커니즘은 교란된다.

• 파멸을 향한 경주: 모니터링이 충분히 노이즈가 심하다면($\omega < \bar{\omega}$), 두 기업이 영원히 경주하여 확률 1로 재앙에 이르는 균형이 존재한다. 지연 현상은 한 기업의 일방적인 중단이 다른 기업을 구하기 위해 적시에 상호 호응되는 것을 방해한다.
• 천장 돌파 (Overshooting the Ceiling): 모니터링이 정밀할 때($\omega > \bar{\omega}$), 모든 균형은 유한한 시간 내에 멈춘다. 그러나 최전선은 완전 투명성 모델의 천장인 $\tau_R$을 초과할 수 있다.
• 정량적 경계: "꼬리 조건(tail condition)"(경쟁적 손실이 사라지지 않고 해저드가 유계임을 보장함) 하에서, 기대 초과분은 $O(1/\omega)$이다. 모니터링이 완벽해질수록($\omega \to \infty$), 최전선은 $\tau_R$로 수렴한다.
• 메커니즘: 기업들은 경쟁자가 먼저 멈추는지 지켜보는 "소멸 전쟁(war of attrition)"을 벌인다. 기다림의 비용은 지속되는 해저드와 이윤의 침식이며, 이득은 경쟁자의 탐지 지연 시간 동안 유일한 생존자로 남을 수 있는 작은 가능성이다.

C. 불완전한 신뢰 (미친 유형)

기업이 경쟁자의 합리성을 확신할 수 없을 때(합리적일 확률 $p$), 역학은 변화한다. 저자들은 세 가지 신뢰 구간(신뢰도 $\ell = p/(1-p)$)을 식별한다.

1. 낮은 신뢰 ($\ell < \underline{\ell}$): 모든 균형은 파멸을 향한 경주로 이어진다. 경쟁자가 절대 멈추지 않는 "미친 유형"일 수 있다는 공포가 일방적인 중단을 너무 비용이 크게 만든다.
2. 중간 신뢰 ($\underline{\ell} \le \ell \le \bar{\ell}$): "즉각적 공동 중단"과 "파멸을 향한 경주"가 모두 균형이 될 수 있다. 기업들은 협력하여 멈출 수 있지만, (신호를 확인하기 위해) 기다리려는 유혹(무임승차)이 나쁜 균형을 유지시킨다.
3. 높은 신뢰 ($\ell > \bar{\ell}$): 모든 균형에서 (두 기업 모두 합리적이라는 조건 하에) 영원히 경주할 확률은 사전 오즈(prior odds)의 제곱인 $(\bar{\ell}/\ell)^2$에 따라 이차적으로 소멸한다.

투명성의 양날의 검:
투명성은 두 가지 조정 모드와 다르게 상호작용한다:

• 순차적 조정 (먼저 멈추기): 더 빠른 모니터링($\uparrow \omega$)은 상호 호응의 가치(경쟁자가 탐지된 후 더 빨리 멈추게 됨)를 높임으로써 도움이 된다.
• 동시적 조정 (함께 멈추기): 더 빠른 모니터링은 "기다리며 확인하기"의 비용을 낮춤으로써 오히려 해가 된다. 모니터링이 빠르면, 기업은 경쟁자가 멈춘 것을 확인한 후 스스로 멈추기 위해 기다릴 수 있어, 동시적 조정을 약화시킨다.
  결과적으로, 투명성을 높이는 것은 (중간 단계에서 낮은 단계로 이동시켜) "함께 멈추기" 균형을 먼저 파괴한 후, 결국 "먼저 멈추기" 조정을 가능하게 함으로써 (낮은 단계에서 높은 단계로 이동시켜) 최전선을 형성하게 된다.

4. 기여 및 의의

본 논문은 동적 R&D, 소멸 전쟁, 그리고 실존적 위험의 경제학 문헌에 기여한다.

• 과도한 위험의 전략적 원천: 저자들은 위험 중립적이고 인내심 있는 대리인들 사이에서도 지속되는 과도한 위험 감수의 전략적 메커니즘을 식별한다. 투명성과 신뢰의 마찰로 인한 중단 협조의 불가능성은, 모든 기업이 멈추기를 원할 때조차 재앙을 초래할 수 있다.
• 최전선의 경계: 저자들은 완전한 정보 하에서 최전선이 독점 및 대표 에이전트 임계값에 의해 엄격히 제한됨을 입증하여, "경주" 행위에 대한 명확한 이론적 한계를 제공한다.
• 정보와 믿음의 역할: 분석은 투명성이 반드시 유익한 것만은 아님을 보여준다. 투명성은 장기적으로 무한한 경주를 막을 수는 있지만, 중간 단계의 조정 체제를 불안정하게 만들 수 있다. 마찬가지로, 신뢰는 "나쁜" 균형(파멸)이 선택될지 여부를 결정하는 핵심 요소이다.
• 정책적 시사점: 이 결과는 AI와 같은 고위험 기술 경쟁에서 모니터링 체제의 설계와 신뢰 구축이 매우 중요하다는 점을 시사한다. 단순히 행동을 더 투명하게 만드는 것이, 만약 그것이 동시에 "확인을 위한 무임승차"를 조장한다면 파멸을 막는 데 충분하지 않을 수 있다.

본 논문은 완벽한 투명성이 한계치에서 효율적인 천곡(ceiling)을 회복할 수 있음에도 불구하고, 불완전한 투명성과 신뢰가 "파멸을 향한 경주"를 자가 강화적인 균형으로 만들 수 있는 복잡한 지형을 생성한다는 점을 강조하며, 재앙의 그림자 아래서의 조정이 얼마나 취약한지를 보여준다.