The coordination gap in frontier AI safety policies

이 논문은 최첨단 AI 안전 정책이 예방에 치중하여 실패 시 대응을 조정할 제도적 역량을 소홀히 하는 구조적 격차를 지적하며, 핵안전 및 팬데믹 대비 사례를 참고해 사전 약속과 공유 프로토콜 등을 통해 조정 체계를 구축할 것을 제안합니다.

핵심

🚗 비유: "완벽한 안전벨트 vs. 사고 발생 시 구조 팀"

지금까지 AI 안전 정책은 마치 자동차를 만들 때 '사고가 나지 않도록' 안전벨트와 에어백을 완벽하게 만드는 것에만 집중해 왔습니다. (예방 정책)

하지만 저자는 말합니다.

"아무리 안전벨트가 좋아도, 100% 사고가 안 날 수는 없잖아요? 만약 큰 사고가 났을 때, 어떻게 서로 도와서 사람을 구할지, 어떻게 교통 정리를 할지에 대한 준비는 전혀 되어 있지 않아요."

이 논문이 말하는 **'조정 간극 (Coordination Gap)'**은 바로 이 **'사고 발생 후 함께 대처하는 능력의 부재'**를 뜻합니다.

---

🧩 왜 이런 문제가 생겼나요? (구조적인 문제)

1. "내가 혼자만 잘하면 되지"라는 생각 (공공재의 딜레마)

• 상황: AI 회사들은 "우리가 안전장치를 더 강화하면 비용이 많이 들고, 경쟁사가 더 빨리 나올까 봐 두렵다"고 생각합니다.
• 결과: 사고가 났을 때 함께 대처하는 시스템 (예: 비상 연락망, 공통 대응 매뉴얼) 은 누군가 먼저 투자해야 하지만, 그 혜택은 모두에게 돌아갑니다.
• 비유: 아파트 화재 경보기를 설치하는 건 비용이 들지만, 화재가 나면 모든 세입자가 안전합니다. 그래서 각자 "내가 설치할 필요 없어, 옆집이 하겠지"라고 생각하면 결국 아무도 설치하지 않게 됩니다. 이것이 바로 **'투자 부족'**의 이유입니다.

2. "예측 불가능한 재앙"을 무시함

• 현재 정책들은 "이런 일이 일어날 것이다"라고 예측하고 대비합니다. 하지만 AI 는 너무 복잡해서 **예상치 못한 일 (예: 해킹이 생물 안전 실험실로 이어지거나, 심리적 피해가 갑자기 확산되는 등)**이 일어날 수 있습니다.
• 비유: 지진에 대비해 건물을 튼튼하게 짓는 건 좋지만, 지진이 났을 때 이웃집과 어떻게 구조 활동을 할지, 누가 무엇을 할지 정해두지 않으면 건물이 튼튼해도 큰 피해를 봅니다.

---

💡 이 논문이 제안하는 해결책: "시나리오 대응 등록부 (SRR)"

저자는 "사고가 나기 전에, 만약 이런 일이 생기면 우리는 이렇게 할 거예요라고 미리 약속하고 기록해 두자"고 제안합니다.

1. "만약 (If) ~라면, 우리는 (Then) ~를 한다"는 약속장

• AI 개발사, 클라우드 회사, 정부 기관 등이 모여서 다양한 위험 상황 (예: AI 가 해킹당함, AI 가 범죄에 이용됨 등) 을 상상해 봅니다.
• 그리고 **"만약 A 상황이 발생하면, B 회사가 C 조치를 취하고 D 기관은 E 를 지원한다"**는 구체적인 계획을 미리 작성해서 공유합니다.

2. "연습과 점검" (Tabletop Exercises)

• 단순히 종이에 쓰는 게 아니라, 실제 화재 대피 훈련처럼 이 계획들을 가지고 연습을 해봅니다.
• "우리 계획이 서로 충돌하지 않나?", "누가 빠진 역할이 있나?"를 미리 찾아서 고칩니다.

3. "신뢰를 쌓는 도구"

• 서로의 계획을 공개적으로 비교하고 검증함으로써, "저 회사는 진짜 준비가 되어 있구나"라는 신뢰를 쌓습니다.
• 비유: 마치 등산할 때 "우리는 이 길이 위험하면 이 경로로 우회하기로 약속했어"라고 미리 정해두는 것과 같습니다.

---

🌍 왜 이것이 중요한가요?

• 완벽한 예방은 불가능합니다: 아무리 노력해도 AI 가 실수를 하거나 악용될 수 있습니다.
• 학습 속도가 중요합니다: 사고가 난 뒤에 "아, 우리가 이렇게 해야 했구나"라고 배우면 이미 늦었을 수 있습니다. (AI 는 발전 속도가 너무 빨라요.)
• 함께하는 것이 안전합니다: 한 회사만 안전해도, 다른 회사가 무너지면 전체 시스템이 붕괴될 수 있습니다. 그래서 서로의 대응 계획을 미리 맞춰두는 것이 가장 중요합니다.

📝 한 줄 요약

"AI 안전 정책은 '사고를 막는 것'만 생각하지 말고, '사고가 났을 때 서로 어떻게 손발을 맞춰 대처할지' 미리 연습하고 약속하는 시스템을 만들어야 합니다."

이 논문은 AI 가 우리 사회에 미칠 수 있는 큰 위험에 대해, 개별 회사의 노력만으로는 부족하며, 모두의 '협력 시스템'이 필수적임을 강조하고 있습니다.

기술 요약

논문 개요

이 논문은 프런티어 AI(최첨단 인공지능) 안전 정책이 주로 '예방 (prevention)'에 집중되어 있지만, 예방이 실패했을 때 대응할 수 있는 **제도적 조정 능력 (coordination capacity)**이 결여되어 있다는 구조적 문제를 지적합니다. 저자는 이 '조정 격차'가 공공재의 특성을 가진 '강건성 (robustness)'에 대한 체계적 과소 투자에서 비롯된다고 주장하며, 이를 해결하기 위해 **시나리오 대응 등록부 (Scenario Response Registry, SRR)**를 제안합니다.

---

1. 문제 제기 (Problem)

• 예방 중심의 편향: 현재 AI 안전 정책 (FASPs) 은 능력 평가, 배포 게이트, 사용 제약 등 예방 조치에 집중하고 있습니다. 그러나 복잡한 사회 - 기술 시스템에서는 99% 의 예방 신뢰도조차 잔여 위험을 완전히 제거할 수 없습니다.
• 조정 격차 (Coordination Gap): 예방 실패 시 발생하는 대규모 또는 재앙적 피해를 완화하기 위해 필요한 '공유 학습', '조정된 대응', '적응적 조정'을 위한 제도적 역량이 부족합니다.
• 구조적 과소 투자: 강건성 (robustness) 투자의 편익은 전체 생태계에 확산되지만 (diffuse benefits), 비용은 특정 개발자나 기관에 집중됩니다 (concentrated costs). 이로 인해 '무임승차 (free-riding)' 현상이 발생하고, 강건성 투자가 체계적으로 과소 공급됩니다.
• 경직된 정책: 현재의 정책은 '예측 후 행동 (predict-then-act)' 방식을 따르며, 불확실성이 높은 상황에서 실패 시나리오를 진지하게 고려하지 않아 위기 발생 시 마비되거나 즉흥적인 대응 (ad hoc responses) 으로 이어질 위험이 있습니다.

2. 방법론 및 분석 프레임워크 (Methodology)

• 비교 위험 관리 연구: 원자력 안전, 팬데믹 대비, 사이버 보안 등 다른 고위험 분야의 위험 관리 체계를 분석하여 AI 거버넌스에 적용 가능한 교훈을 도출했습니다.
  • 핵심 교훈: 완벽한 예방보다는 사전 약속 (precommitment), 공유 프로토콜, 상시 조정 창구 (standing coordination venues) 와 같은 조정 원시적 요소 (coordination primitives) 가 필수적입니다.
• 강건한 의사결정 (Robust Decision Making, RDM) 프레임워크 적용: 특정 미래 예측에 의존하기보다, 수백 가지의 가능한 미래 시나리오를 통해 전략을 스트레스 테스트하여 취약점과 적응 레버를 찾는 접근법을 제안합니다.
• 제도적 설계 제안: 기존 AI 안전 정책의 한계를 보완하기 위해 새로운 거버넌스 메커니즘인 '시나리오 대응 등록부 (SRR)'를 설계했습니다.

3. 주요 기여 및 제안 (Key Contributions)

가. 개념적 기여: 강건성 (Robustness) 의 통합

• 프런티어 AI 거버넌스에 '강건성 사고'를 도입해야 한다고 주장합니다. 이는 단순히 기술적 트리거 (예: Anthropic 의 ASL, OpenAI 의 위험 게이트) 를 넘어, 신호를 행동으로 전환하는 의사결정 로직의 투명성과 사회적 영향을 고려한 외부적 트리거를 포함해야 함을 강조합니다.
• 현재 정책이 내부적 게이트는 강력하지만, 글로벌 적응성과 교차 영역 (cross-domain) 대응에는 약하다는 점을 지적합니다.

나. 정책 제안: 시나리오 대응 등록부 (Scenario Response Registry, SRR)

• 정의: 위기 발생 전에 조정 능력을 가시화하고 비교 가능하며 스트레스 테스트할 수 있도록 하는 제도적 메커니즘입니다.
• 운영 방식:
  1. 시나리오 라이브러리: 독립적인 패널이 기술, 사회경제, 보안, 교차 영역 시나리오를 큐레이션합니다.
  2. 행위자 제출 (Filings): 프런티어 실험실, 클라우드 제공자, 정부 기관 등이 사전에 "If-Then" 계획 (트리거 발생 시 취할 조치, 할당된 자원) 을 표준화된 형태로 제출합니다.
  3. 조정 및 검토: 등록부는 제출된 계획을 검토하여 격차 (gaps) 를 식별하고, 중복 (overlaps) 을 플래그하며, 계획을 스트레스 테스트합니다.
• 인센티브 구조:
  • 제출 계획의 품질에 따라 규제 유예, 공공 컴퓨팅 자원 접근 권한, 조달 자격 등을 부여합니다.
  • 트리거가 충족되었을 때 약속된 행동을 취하지 않을 경우 보증금이나 보험 상품을 몰수하는 'Skin-in-the-game' 메커니즘을 도입합니다.
  • 독립적인 기술 패널이 시나리오와 감사 기준을 설정하여 규제 포획 (regulatory capture) 을 방지합니다.

4. 결과 및 논의 (Results & Discussion)

• 조정의 가치: 완전한 국제적 합의가 불가능한 현재 지정학적 상황에서도, SRR 은 부분적 참여와 상호 운용성 (interoperability) 을 통해 조정 불확실성을 줄이고 대응 능력을 향상시킬 수 있습니다.
• 학습의 상향 이동 (Upstream Learning): 기존에는 '집중 사건 (focusing events, 즉 큰 사고)' 이후에 제도적 학습이 이루어졌으나, SRR 을 통해 시나리오 기반의 훈련과 조정을 사고 발생 전 (pre-crisis) 으로 이동시킵니다.
• 실패 모드 분석: SRR 자체의 잠재적 실패 모드 (시나리오의 부정확성, 형식적 준수, 규제 포획 등) 를 인정하고, 이를 해결하기 위해 반복적인 설계와 검토 메커니즘을 내장해야 함을 강조합니다.

5. 의의 및 중요성 (Significance)

• 거버넌스 패러다임 전환: AI 안전을 '예방의 최적화'에서 '예방 실패 시의 대응 및 적응 능력 강화'로 패러다임을 전환해야 함을 시사합니다.
• 실용적 해결책: 이상적인 국제 조약이나 완벽한 예방을 기다리는 대신, 현재 즉시 실행 가능하면서도 점진적으로 확장 가능한 (bootstrappable) 구체적인 거버넌스 도구를 제시합니다.
• 공공재 문제 해결: 강건성 투자의 공공재적 성격으로 인한 시장 실패를 해결하기 위해, 투명성, 기대 정렬, 준비 태세를 지원하는 조정 메커니즘이 필수적임을 입증합니다.

결론

이 논문은 프런티어 AI 안전 정책이 예방 실패를 가정하고 이에 대한 조정 메커니즘을 구축하지 않는 한, 시스템적 위험을 효과적으로 관리할 수 없다고 결론지었습니다. **시나리오 대응 등록부 (SRR)**는 이러한 조정 격차를 메우고, 다양한 이해관계자 간의 신뢰를 구축하며, 위기 발생 전 학습을 가능하게 하는 핵심적인 제도적 장치로 제안됩니다.