📈 economics

Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment

이 논문은 행동 실험과 진화 모델을 결합하여, 안전하지 않은 AI 개발이 개인의 위험 선호도보다는 경쟁적 역학, 즉 뒤처지는 것에 대한 두려움과 상대방에 대한 반응적 대응에 의해 더 크게 좌우된다는 점을 입증하며, 이는 정책이 단순히 개인의 위험 관리에만 집중하기보다 경쟁 압력을 줄이고 협력을 촉진하는 것을 우선시해야 함을 시사한다.

원저자: Elias Fernández Domingos, The Anh Han

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elias Fernández Domingos, The Anh Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세계에서 가장 강력한 로봇을 만들기 위해 라이벌과 경주하는, 인형 대신 당신이 직접 뛰는 고위험 '무궁화 꽃이 피었습니다' 게임을 상상해 보세요. 현실 세계에서 이것은 기업이나 국가가 인공지능(AI)을 만들기 위해 경쟁할 때 일어나는 일입니다. 그들은 첫 번째로 완주하기 위해 필사적인 경주를 벌이고 있는데, 왜냐하면 첫 번째가 된다는 것은 시장 지배력이나 국가 안보와 같은 가장 큰 보상을 차지한다는 것을 의미하기 때문입니다. 하지만 여기서 까다로운 점이 있습니다. 더 빨리 가기 위해 지름길을 택하는 것은 위험할 수 있다는 것입니다. 서두르다 보면 안전 점검을 건너뛸 수 있고, 이는 나중에 파멸적인 사고로 이어질 수 있습니다. 이로 인해 긴박한 줄다리기가 발생합니다. 안전하게 플레이하며 패배의 위험을 감수할 것인가, 아니면 모든 것을 폭파시킬 위험을 무릅쓰고 속도를 높일 것인가? 과학자들은 이를 "AI 레이스"라고 부르며, 사람들이 본래 무모해서 이러한 위험한 지름길을 택하는 것인지, 아니면 경주의 압박 자체가 그들의 손을 강요하는 것인지 궁금해해 왔습니다.

이를 알아내기 위해 연구자 엘리아스 페르난데스 도밍고스(Elias Fernández Domingos)와 테 안 한(The Anh Han)은 디지털 놀이터를 구축했습니다. 그들은 낯선 사람들을 짝지어 시뮬레이션된 AI 경주에 참여시켰습니다. 이 게임에서 플레이어는 "안전한" 개발(느리지만 꾸준하게 앞으로 나아감)과 "불안전한" 개발(빠르게 앞서 나가지만 점수에 숨겨진 '위험 수치'를 추가함) 중 하나를 선택할 수 있었습니다. 만약 플레이어가 위험 수치가 너무 높은 상태로 경주에서 승리하면, 보상을 잃을 가능성이 있었습니다. 연구진은 여러 그룹의 플레이어들에게 위험 수치의 상한선을 다르게 설정했습니다. 어떤 그룹은 낮은 상한선(재앙 확률 10%)을, 어떤 그룹은 중간(60%), 어떤 그룹은 높은 상한선(90%)을 가졌습니다. 그들은 더 높은 위험 상한선이 사람들을 더 조심스럽게 만들지, 아니면 상대에게 뒤처지는 것에 대한 두려움 때문에 어쨌든 불안전한 길을 택하게 만들지를 보고 싶었습니다.

결과는 놀라웠습니다. 연구진은 위험 상한선이 높을수록 사람들이 더 조심할 것이라고 예상했고, 본래 위험을 즐기는 사람들이 불안전한 경로를 더 자주 선택할 것이라고 생각했습니다. 하지만 데이터는 두 가지 아이디어 모두에 "아니오"라고 답했습니다. 위험 상한선이 낮든 높든 상관없었으며, 플레이어가 본래 용감하든 신중하든 상관없었습니다. 대신, 플레이어들의 선택은 경주 자체의 이야기에 의해 좌우되었습니다.

이것을 당신이 라이벌을 쫓고 있는 비디오 게임이라고 생각해 보세요. 만약 당신이 앞서고 있다면, 당신은 안전하다고 느끼고 챔피언으로서 리드를 지키듯 조심스럽게 플레이하기 시작합니다. 하지만 뒤처지기 시작하면 공포가 엄습합니다. 뒤처지고 있던 플레이어들은 속도 부스트를 통해 따라잡기를 희렴하며 "불안전한" 옵션을 선택할 가능성이 훨씬 높았습니다. 이것은 "뒤처지는 것에 대한 두려움" 메커니즘이었습니다. 더욱 흥미로운 점은, 플레이어들이 상대를 매의 눈으로 관찰했다는 것입니다. 만약 상대방이 위험한 지름길을 선택했다면, 플레이어는 다음 라운드에서 그를 현저히 더 많이 모방했습니다. 그것은 무모함에 관한 것이 아니라 반응에 관한 것이었습니다. 당신의 라이벌이 속도를 높이고 있다면, 느리게 가는 것은 패배하는 전략처럼 느껴지므로, 설령 위험하더라도 당신도 속도를 높이게 되는 것입니다.

연구진은 또한 플레이어의 첫 번째 움직임이 전체 게임의 분위기를 결정한다는 것을 발견했습니다. 만약 누군가 위험한 움직임으로 시작했다면, 그들은 나중에도 계속 위험을 감수하는 경향이 있었습니다. 왜 이런 일이 발생하는지 이해하기 위해, 연구팀은 네 가지 유형의 "AI 성격"을 가진 컴퓨터 모델을 구축했습니다. 항상 안전한 유형, 항상 불안전한 유형, 안전하게 시작하여 상대를 모방하는 유형, 그리고 불안전하게 시작하여 상대를 모방하는 유형입니다. 이 모델은 경쟁적인 경주에서 "모방꾼(copycat)" 전략이 종종 승리한다는 것을 보여주었습니다. 이 모델은 불안전한 행동이 단지 개인의 나쁜 사례 때문이 아니라, 연쇄 반응이라는 점을 시사합니다. 한 사람이 위험을 감수하면 다른 사람은 따라야 한다는 압박을 느끼고, 갑자기 모두가 낭떠러지를 향해 질주하게 됩니다. 이는 그들이 위험을 좋아해서가 아니라, 경주의 구조가 안전을 패배하는 전략처럼 느껴지게 만들기 때문입니다.

그렇다면 이것이 현실 세계에는 무엇을 의미할까요? 이는 우리가 AI 개발자들이 본래 신중하기를 바라는 것에만 의존해서는 안 된다는 것을 시사합니다. 경주의 압박 자체가 진짜 동력입니다. 만약 경쟁이 "안전함은 곧 패배"라고 느껴지게 만든다면, 사람들은 속도를 선택할 것입니다. 이를 해결하기 위해, 이 논문은 경주의 규칙 자체를 바꿔야 한다고 제안합니다. 예를 들어 협력을 더 쉽게 만들거나, 경쟁의 속도를 늦추거나, 혹은 아무도 따라잡기 위해 위험한 지름길을 반드시 택해야만 하는 상황에 처하지 않도록 보장하는 방식입니다. 위험은 단지 사람들에게 있는 것이 아니라, 그들이 강요받는 게임 안에 있습니다.

기술 요약: 뒤처지는 것에 대한 공포가 비정상적 AI 경쟁 실험에서의 위험한 개발을 유도한다

문제 제기
기술 경쟁, 특히 인공지능(AI) 분야의 경쟁은 속도와 안전 사이의 긴장을 조성한다. 경쟁적 압박은 행위자들이 위험 완화보다 신속한 발전을 우선시하도록 유인하며, 이러한 행동이 해로운 결과의 확률을 높이더라도 이를 정당화하는 경향이 있다고 이론적으로 추정된다. 이론적 모델은 선점 우위가 개별적으로는 위험한 개발을 합리적인 선택으로 만들 수 있음을 시사하지만, 반복되는 경쟁 환경에서 인간 행위자가 다양한 수준의 위험과 경쟁 상태에 어떻게 반응하는지에 대한 직접적인 실증적 증거는 제한적이다. 구체적으로, 위험한 개발이 주로 개인의 위험 선호도 때문인지, 외생적인 위험 수준 때문인지, 아니면 진화하는 경쟁의 전략적 상태(예: 뒤처짐 또는 상대방의 위험한 행동 관찰) 때문인지 여부는 여전히 불분명하다.

방법론
저자들은 이상화된 2인 AI 경주를 기반으로 한 프레임 기반 행동 실험을 수행하였다.

실험 설계: 참가자들은 쌍으로 매칭되어 불확실한 시간 지평(최소 5라운드 후, 일정한 확률로 종료)을 가진 반복 게임에 참여했다. 각 라운드에서 참가자들은 안전한(Safe) 개발(1단계 전진, 낮은 즉각적 보상)과 위험한(Unsafe) 개발(1.5단계 전진, 높은 즉각적 보상) 중 하나를 선택했다.
위험 메커니즘: 위험한 선택은 참가자가 경주에서 승리하거나 비겼을 때 모든 보상을 잃게 되는 '차질(setback)'의 개인적 확률을 증가시켰다. 이 위험은 위험한 선택의 비율에 따라 누적되며, 처치별 최대 위험( $p^r_{max}$ )에 의해 제한된다.
처치(Treatments): 본 연구는 최대 개인적 위험을 세 가지 수준( $p^r_{max} \in \{0.1, 0.6, 0.9\}$ )으로 조작하였다. 경쟁 구조(2인 경주)는 일정하게 유지되었다.
사전 등록: 본 연구는 두 가지 주요 가설을 사전 등록하였다: (1) 높은 최대 개인적 위험은 위험한 선택을 감소시킬 것이다, (2) 도출된 위험 선호도는 위험한 선택을 예측할 것이며, 높은 위험 수준에서 그 관계가 더 강해질 것이다.
분석: 저자들은 위험한 선택의 예측 변수(상대방의 이전 행동, 자신의 이전 행동, 경주 위치 포함)를 분석하기 위해 클러스터 강건 로지스틱 회귀(cluster-robust logistic regressions)를 사용하였다. 또한, 행동 패턴을 해석하기 위해 축소된 진화 게임 이론 모델을 개발하였다.

주요 결과
사전 등록된 가설과는 반대로, 데이터는 다음 사항들을 지지하지 않았다:

위험 수준: $p^r_{max}=0.6$ 처치와 $p^r_{max}=0.9$ 처치 간에 위험한 선택의 빈도에서 유의미한 차이가 없었다.
위험 선호도: 도출된 위험 선호도는 사전 등록된 분석이나 탐색적 분석 모두에서 위험한 선택을 유의미하게 예측하지 못했다.

대신, 탐색적 분석 결과 위험한 행동은 주로 경주의 진화하는 전략적 상태에 의해 형성됨이 드러났다:

상대방의 행동: 위험한 선택의 가장 강력한 예측 변수는 상대방의 이전 행동이었다. 참가자들은 상대방이 이전 라운드에서 위험한 선택을 했을 경우, 위험한 선택을 할 가능성이 유의미하게 높아졌다.
경주 위치: 경주에서 뒤처지는 것은 위험한 선택을 할 가능성을 높였고(‘뒤처지는 것에 대한 공포’ 메커니즘), 앞서 나가는 것은 이를 감소시켰다.
초기 모멘텀: 첫 라운드의 선택은 이후의 행동을 예측하였는데, 이는 지속되는 초기 행동 성향을 시사한다.
진화 모델: 네 가지 전략(항상 안전함, 항상 위험함, 조건부 안전함, 조건부 반사회적 안전함)을 사용하는 축소 모델은 실험적 패턴을 성공적으로 재현하였다. 모델은 조건부 위험 행동(상대방에게 반응하는 것)이 경주 역학, 특히 참가자들이 공격적으로 시작하거나 상대방의 속도에 방어적으로 반응할 때 진화적으로 유리할 수 있음을 보여주었다.

주요 기여

실증적 증거: 본 연구는 경쟁적인 기술 경주에서 위험한 개발이 개인의 위험 태도나 절대적인 위험 수준보다는 상호작용 이력과 경쟁적 위치에 의해 더 크게 좌우된다는 직접적인 행동적 증거를 제공한다.
메커니즘 식별: 본 연구는 ‘뒤처지는 것에 대한 공포’와 상대방의 위험 감수에 대한 상호적 반응을 위험한 개발의 핵심 동인으로 식별하며, 이러한 행동이 단순히 내재적인 위험 추구 성향에서 비롯된다는 견해에 도전한다.
이론적 통합: 행동 실험과 진화 게임 이론을 결합함으로써, 본 논문은 관찰된 인간 행동을 특정 전략 클래스(조건부 전략)와 연결하여, 행위자들이 내재적으로 위험 추구적이지 않더라도 어떻게 위험한 결과가 발생할 수 있는지를 설명한다.

의의 및 주장
저자들은 본 연구의 결과가 경쟁적인 AI 개발에서의 안전 실패가 행위자들이 위험을 과소평가하기 때문이 아니라, 경쟁이 위험을 감수하는 전략적 가치를 변화시키기 때문임을 시사한다고 주장한다. 위험한 개발이 속도와 추격 우위를 제공할 때, 안전은 경쟁자의 행동에 조건적으로 종속된다.

본 논문은 정책적 개입이 개인의 위험 선호도를 겨냥하는 조치에만 의존하기보다, 경쟁 압력을 줄이고 협력을 촉진하는 데(예: 투명성, 모니터링, 또는 신뢰할 수 있는 약속) 집중해야 한다고 결론짓는다. 결과는 위험의 사적 비용이 높더라도 초기 행동 모멘텀과 전략적 피드백 루프로 인해 위험한 개발이 나타날 수 있음을 시사한다.

한로사항
저자들은 실제 AI 개발과 비교했을 때 본 연구의 경주가 단순화되고 짧다는 점, 모델에서 사용된 전략 공간이 축소되었다는 점, 체계적 위험이 아닌 사적 위험에 초점을 맞췄다는 점, 그리고 상호작용 이력 및 경주 위치에 관한 주요 결과가 사전 등록된 분석이 아닌 탐색적 분석에서 도출되었다는 점 등 몇 가지 한계를 인정한다. 또한, 회귀 분석에 사용된 시차 변수(lagged predictors)는 엄밀히 말해 외생적이지 않으므로, 보고된 연관성은 엄격한 인과관계라기보다 조건부 관계로 간주되어야 한다.

유사한 논문