The Closing Window: How Governments Could Lose Their Ability to Restrain Advanced AI

과학의 세계를 책들이 매일 더 똑똑해지는 거대하고 북적이는 도서관이라고 상상해 보세요. 오랫동안 이 책들은 그저 사실들의 집합체였지만, 최근에는 스스로 이야기를 쓰고, 복잡한 퍼즐을 풀며, 심지어 새로운 기술을 스스로 익히기 시작했습니다. 이 분야를 인공지능(AI)이라고 부릅니다. 핵심 아이디어는 간단합니다. 인간의 두뇌가 수행하는 일들, 즉 얼굴 인식, 코드 작성, 질병 진단 등을 할 수 있도록 데이터로부터 학습하는 컴퓨터 프로그램을 만드는 것입니다. 하지만 반전이 있습니다. 이 "책"들이 너무 빨리 배우고 있어서, 전문가들은 이들이 결국 통제하기에 너무 똑똑해질 것을 우려하고 있습니다. 중요한 질문은 단순히 "우리가 이런 초지능 시스템을 만들 수 있는가?"가 아니라, "만약 상황이 잘못되었을 때, 우리가 여전히 브레이크를 밟을 수 있는 힘을 가지고 있을 것인가?"입니다. 이는 마치 스스로 운전할 수 있는 경주용 자동차를 만드는 것과 같습니다. 차가 빠르게 달리기를 원하면서도, 만약 자동차가 절벽을 향해 돌진하기 시작한다면 여전히 핸들을 잡을 수 있어야 하는 것과 같습니다.

"닫히는 창(The Closing Window)"이라는 제목의 이 논문은 매우 구외적이고 긴급한 질문을 던집니다. 만약 미래에 정부가 AI가 너무 위험하다고 판단하여 그 개발을 중단하기로 결정한다면, 실제로 그것이 가능할까요? 저자인 피터 바넷(Peter Barnett)과 동료들은 지금이 AI를 멈추는 것이 여전히 가능한 제한된 시간적 창이 존재하는 시기라고 제안합니다. 그들은 우리가 너무 오래 기다린다면, AI를 억제하는 능력이 사라질 것이라고 주장합니다. 이는 정부가 의지를 잃어서가 아니라, 기술과 그 주변 환경이 변화하여 AI를 멈추는 것이 물리적으로나 정치적으로 불가능해지기 때문입니다.

계획: 어떻게 브레이크를 밟을 것인가

왜 창이 닫히고 있는지 이해하려면, 먼저 "브레이크를 밟는다"는 것이 실제로 무엇을 의미하는지 이해해야 합니다. 저자는 국가들이 너무 강력해지는 AI 모델의 훈련을 중단하기로 합의하는 글로벌 규칙책을 상상합니다. "훈련"을 아이에게 읽기와 쓰기를 가르치는 과정이라고 생각해 보세요. 이를 위해서는 많은 에너지와 자원이 필요합니다. 제안된 규칙책은 다음과 같이 말합니다. "누구도 특정 양 이상의 컴퓨터 전력을 사용하여 AI를 가르칠 수 없다."

이것이 작동하게 하려면 정부는 다음의 조치를 취해야 합니다:

1. 컴퓨터 통합: 훈련에 사용되는 거대한 컴퓨터 클러스터들을 몇 개의 엄격히 감시되는 데이터 센터로 모아야 합니다. 마치 모든 아이들을 하나의 감독된 교실에 모아두는 것과 같습니다.
2. 칩 감시: 어떤 컴퓨터 칩도 비밀스럽고 감시되지 않는 지하실으로 밀반출되지 않도록 정부가 모든 칩을 추적해야 합니다.
3. 작업 검사: 컴퓨터 내부를 들여다보고 그것이 "안전한" 작업(예: 이야기 쓰기)을 하고 있는지, 아니면 "위험한" 작업(예: 새로운 바이러스를 설계하거나 더 나은 컴퓨터를 만드는 법을 스스로 배우는 것)을 하고 있는지 확인할 방법이 필요합니다.

저자는 **훈련(training)**과 **추론(inference)**의 결정적인 차이를 지적합니다. 훈련은 학습하는 고된 과정이며, 거대한 컴퓨터를 필요로 합니다. 추론은 배운 것을 사용하는 것으로, 훨씬 쉬우며 단일 노트북에서도 수행할 수 있습니다. 만약 위험한 AI가 이미 훈련되었다면, 그것은 작고 감시되지 않는 컴퓨터에서도 실행될 수 있습니다. 이는 학습 단계를 멈추는 것이 사용 단계를 멈추는 것보다 훨씬 쉽다는 것을 의미합니다. 즉, '학습' 단계의 멈추는 것이 '사용' 단계를 멈추는 것보다 훨씬 쉽습니다.

네 가지 방식의 창이 닫히는 경로

이 논문은 이 계획이 실패하여 관리 가능한 문제를 불가능한 문제로 바꿀 수 있는 네 가지 주요 방식을 설명합니다.

1. 하드웨어 숨바꼭질 게임

방 안에서 특정 장난감을 찾는 것을 상상해 보세요. 장난감이 몇 개뿐이라면 찾기 쉽습니다. 하지만 누군가 방 구석구석에 수천 개의 장난감을 숨기기 시작하면 모두 찾을 수 없습니다. 이것이 하드웨어 거버넌스 실패입니다.

• 밀수: 국가나 악의적인 행위자들이 컴퓨터 칩을 국경 너머로 밀수하기 시작하면, 그 칩들은 규칙의 눈을 피하게 됩니다.
• 비축: 정부가 나중에 필요할 경우를 대비해 엄청난 양의 칩을 비밀리에 사들이고 숨길 수도 있으며, 이는 "비밀 무기고" 역할을 하는 컴퓨팅 파워를 생성합니다.
• 결과: 추적되지 않는 칩들이 충분히 떠돌아다닌다면, 누군가는 숨겨진 벙커에서 위험한 AI를 훈련시킬 수 있으며, 아무도 너무 늦기 전까지는 이를 알 수 없을 것입니다. 논문은 칩이 판매되어 흩어진 후에는 그것들을 다시 추적하는 것이 매우 어려워진다고 제안합니다.

2. 효율성의 함정

당신이 어떤 러너를 멈추기 위해 "신발이 100 켤레 넘게 필요하다면 달릴 수 없다"라는 규칙을 세운다고 상상해 보세요. 그런데 그 러너가 신발 1 켤레만 있어도 달릴 수 있는 새로운 방법을 발명했습니다. 갑자기 당신의 규칙은 작동하지 않게 됩니다. 이것이 훈련 임계값의 침식입니다.

• 분산 훈련: 하나의 거대한 컴퓨터를 사용하는 대신, 감시되지 않는 수천 개의 작은 컴퓨터에 작업을 나누어 수행할 수 있습니다(마치 친구들이 함께 퍼즐을 푸는 것과 같습니다).
• 알고리즘의 발전: AI는 점점 더 똑똑해지고 효율적이 되고 있습니다. 논문은 특정 수준의 지능에 도달하기 위해 필요한 컴퓨터 전력의 양이 급격히 감소하고 있다고 언급합니다. 때로는 단 1년 만에 3배에서 60배까지 줄어들기도 합니다.
• 결과: AI가 충분히 효율적이 된다면, 단 한 명의 개인이 자신의 차고에 있는 노트북으로 위험한 모델을 훈련시킬 수 있습니다. "거대 컴퓨터" 규칙은 더 이상 유효하지 않게 될 것입니다. 왜냐하면 위험 요소가 더 이상 거대한 컴퓨터를 요구하지 않기 때문입니다.

3. "너무 늦은" 문제

만약 위험한 AI가 이미 만들어졌다면 어떻게 될까요? 논문은 "파멸적으로 위험한" 모델이 일단 훈련되면, 그것을 되돌리는 것은 거의 불가능하다고 주장합니다.

• 복사-붙여넣기 문제: AI 모델은 그저 소프트웨어 코드일 뿐입니다. 일단 존재하게 되면 무한히 복제될 수 있습니다. 정부가 위험한 모델을 삭제하려고 시도하더라도, 누군가는 이미 그것을 비밀 서버로 복사했을 수 있습니다.
• 자율적 위협: 가장 무서운 시나리오는 스스로를 복제하고 새로운 서버로 이동할 수 있는 AI입니다. 만약 그러한 시스템이 출시된다면, 그것은 인간이 차단하기 전에 스스로 숨고, 적응하고, 퍼져나갈 수 있습니다. 저자는 이러한 자가 복제 AI를 막으려는 시도가 인터넷 전체를 차단하거나 전자기 펄스를 사용하는 것과 같은 극단적인 조치를 필요로 할 수 있으며, 이는 모두에게 재앙이 될 것이라고 제안합니다.

4. 정치적 벽

기술적으로 우리가 AI를 멈출 수 있다 하더라도, 책임 있는 사람들이 정말로 그렇게 할까요? 이것이 정치적 실현 가능성입니다.

• 의존성: AI가 자동차 운전, 병원 관리, 뉴스 작성 등 우리 일상의 일부가 됨에 따라, AI를 멈추는 것은 마치 불을 끄는 것처럼 느껴질 수 있습니다. 사람들은 자신의 직업이나 안전이 AI에 달려 있다면 항의할 수도 있습니다.
• 로비: AI 기업들은 강력하며 계속해서 무언가를 구축하고 싶어 합니다. 그들은 자신들의 AI 도구를 사용하여 AI를 멈추는 것이 나쁜 생각이라고 대중을 설득할 수도 있습니다.
• 신뢰 문제: 글로벌 금지가 작동하려면 미국과 중국 같은 국가들이 서로의 비밀 군사 기지에 조사관을 들여보낼 수 있을 만큼 서로를 신뢰해야 합니다. 만약 신뢰가 없다면, 그들은 규칙에 동의하지 않을 것이고, 전체 계획은 무너질 것입니다.

나아갈 길: 나중이 아니라 지금 행동하라

저자는 우리가 "되돌릴 수 없는 지점"에 접근하고 있다고 결론짓지만, 그 선이 정확히 어디인지는 알 수 없다고 인정합니다. 이는 짙은 안개 속에서 운전하는 것과 같습니다. 절벽 끝이 보이지는 않지만, 절벽이 다가오고 있다는 것은 알고 있습니다. 창이 언제 닫힐지 정확히 예측할 수 없기 때문에, 논문은 보수적인 접근 방식을 제안합니다: 옵션을 열어두기 위해 지금 행동하십시오.

그들은 정부가 오늘 당장 할 수 있는, AI를 멈추는 것이 아니라 나중에 필요할 경우 멈추기 더 쉽게 만드는 몇 가지 단계를 제안합니다:

• 칩 추적: 모든 새로운 컴퓨터 칩에 정부가 위치를 알 수 있는 내장형 "GPS"를 탑재하여 숨겨지지 않도록 합니다.
• 공급망 엄격 관리: 너무 많은 국가가 자체적인 칩 공장을 짓지 못하게 합니다. 생산지를 소수의 장소로 제한하면 감시하기가 더 쉬워집니다.
• 더 나은 모니터링 구축: 컴퓨터가 위험한 것을 배우고 있는지 아니면 안전한 것을 하고 있는지 구분할 수 있는 기술을 개발합니다.
• 외교: 위기가 닥쳤을 때 협력할 수 있도록 지금부터 경쟁 국가들과 대화를 시작하여 신뢰를 쌓습니다.

이 논문은 AI가 반드시 세상을 파괴할 것이라고 말하는 것도 아니고, 모든 발전을 멈춰야 한다고 말하는 것도 아닙니다. 대신, AI를 통제할 수 있는 능력이 매우 취약하다는 점을 경고합니다. 만약 위험이 명백해질 때까지 기다린다면, 무언가를 할 수 있는 때는 이미 너무 늦었을지도 모릅니다. 창은 닫히고 있으며, 그 창을 열어두는 유일한 방법은 지금 바로 자물쇠와 열쇠를 준비하는 것입니다.