The Dynamics of Intelligence Explosions

자동차 경주를 보고 있다고 상상해 보세요. 자동차들이 스스로를 더 잘 만드는 능력을 갖추어 가고 있습니다. 인공지능의 세계에는 '지능 폭발(intelligence explosion)'이라는 매혹적인 개념이 있습니다. 만약 컴퓨터가 다음 단계의 더 똑똑한 컴퓨터를 설계하는 데 도움을 줄 수 있을 만큼 똑똑해진다면, 그 새로운 컴퓨터는 또 그다음의 더 나은 컴퓨터를 설계하는 데 도움을 줄 수 있다는 개념입니다. 이는 마이크가 스피커에 너무 가까워져서 발생하는 날카로운 피드백 소음과 같은 피드백 루프를 생성합니다. 다만 여기서는 소음 대신 급격한 지능의 폭발이 일어납니다. 과학자들은 이것이 정확히 얼마나 빨리 일어날 수 있는지 알아내기 위해 노력해 왔습니다. 그것은 꾸준한 상승일까요, 빠른 질주일까요, 아니면 눈 깜짝할 사이에 일어나는 불가능한 무한대로의 도약일까요? 이것이 수학자 토비 오드(Toby Ord)가 그의 논문에서 다루는 질문입니다. 그는 스스로 개선되는 기계들의 이면에 숨겨진 수학을 살펴봄으로써, 이 기계들이 진정으로 '특이점(singularity)'—즉, 지능이 너무 빨리 성장하여 유한한 시간 안에 수직 벽에 부딪히는 지점—에 도달할 수 있는지, 아니면 훨씬 느리지만 여전히 믿기 힘들 정도로 빠른 다른 방식들이 존재하는지를 탐구합니다.

---

무한을 향한 경주: 왜 '도약'이 생각보다 더 어려울 수 있는가

당신이 케이크를 굽고 있는데, 타이머 대신 마법의 오븐을 가지고 있다고 상상해 보세요. 케이크를 구울 때마다 오븐은 점점 더 똑똑해지고 다음 라운드를 위해 더 나은 오븐을 만듭니다. 첫 번째 오븐은 10분이 걸립니다. 두 번째 오븐은 더 똑똑하기 때문에 세 번째 오븐을 만드는 데 5분이 걸립니다. 세 번째 오븐은 네 번째를 만드는 데 2.5분이 걸립니다. 이 과정이 계속되어 다음 오븐을 만드는 시간이 계속 절반으로 줄어든다면, 당신은 단 몇 시간 만에 무한한 수의 케이크를 구울 수 있다고 생각할지도 모릅니다. 이것이 '지능 폭발'의 꿈입니다. 즉, 인간의 모든 이해를 순식간에 초월할 때까지 점점 더 빠르고 강력하게 자신을 만들어가는 기계 말입니다.

오랫동안 많은 전문가는 이 폭발이 '수직 점근선(vertical asymptote)'의 형태를 띨 것이라고 생각했습니다. 수학적 용어로 설명하자면, 그래프의 선이 하늘로 치솟는 로켓처럼 위로 곧게 뻗어 올라가, 유한한 시간 안에 무한한 높이에 도달하는 모습을 상상해 보세요. 그것은 궁극의 '쾅(boom)'입니다. 하지만 토비 오드의 논문은 이러한 수직 로켓이 가능하기는 하지만, 우리가 생각했던 것보다 실제로 구축하기가 훨씬 더 어렵다는 점을 시사합니다. 사실, 수직 로켓만큼이나 엄청나게 빠르지만, 수직으로 솟구치지는 않는 전혀 다른 범주의 폭발이 존재합니다. 그것은 그냥 정말, 정말 빠르게 질주할 뿐, 결코 그 수직 벽에 부딪히지는 않습니다.

비밀 재료: "세대 시간(Generation Time)"

수직 로케를 만들기 어려운 이유를 이해하려면, 대부분의 사람들이 잊고 있는 숨겨진 변수인 세대 시간을 살펴봐야 합니다.

피드백 루프를 이어달리기 경주라고 생각해 보세요. 첫 번째 주자(AI 1)가 두 번째 주자(AI 2)에게 바통을 넘기고, 두 번째 주자가 세 번째 주자(AI 3)에게 넘깁니다. '세대 시간'은 한 주자가 자신의 구간을 마치고 다음 주자를 준비시키는 데 걸리는 시간입니다.

과거의 단순한 수학 모델에서는 이 이어달리기가 즉각적으로 일어나거나, 적어도 일정한 속도로 일어난다고 가정했습니다. 그들은 만약 주자들이 점점 더 빨라진다면(더 많은 '지능'), 경주가 그냥 무한대를 향해 속도를 높일 것이라고 생각했습니다. 하지만 오드는 결정적인 결함을 지적합니다. 각 바퀴를 도는 데 걸리는 시간이 0으로 줄어들지 않는 한, 유한한 시간 안에 무한한 바퀴를 돌 수는 없습니다.

당신이 무한한 바퀴를 돌아야 하는 경주를 하고 있다고 상상해 봅시다.

• 시나리오 A: 당신은 각 바퀴를 10초, 9초, 8초에 달립니다. 당신은 빨라지고 있지만, 여전히 10초, 9초의 시간을 소비합니다. 아무리 빨라지더라도, 당신은 10분이라는 시간 안에 무한한 바퀴를 완주할 수 없습니다. 그냥 시간이 다 되어버릴 뿐입니다.
• 시나리오 B: 당신은 첫 바퀴를 10초, 두 번째는 5초, 세 번째는 2.5초, 네 번째는 1.25초에 달립니다. 여기서 각 바퀴를 도는 시간은 급격히 줄어듭니다. 만약 이 시간을 계속 절반으로 줄인다면, 당신은 실제로 유한한 시간(예: 총 20초) 안에 무한한 바퀴를 완주할 수 있습니다.

오드의 논문은 지능 폭발이 그 '수직 점근선'(특이점)에 도달하려면, 세대 시간(다음 AI를 만드는 시간)이 믿기 힘들 정도로 빠르게 0을 향해 줄어들어야 한다고 보여줍니다. 단순히 AI가 더 똑똑해지는 것만으로는 부족합니다. 다음 AI를 만드는 과정 자체가 불가능할 정도로 빨라져야 합니다.

"중간 지대"의 폭발

여기 반전이 있습니다. 논문은 수직 점근선이 가능하기는 하지만, 그것은 매우 드문 일이라고 제안합니다. 여기에는 간과되었던 거대한 중간 지대가 존재합니다.

초지수적(super-exponential) 성장 곡선을 상상해 보세요. 이것은 표준적인 지수 곡선(복리 이자 같은 것)보다 더 빠르게 성장하고 있음을 의미합니다. 차트 위로 치솟고 있습니다! 하지만 세대 시간이 0을 향해 충분히 빠르게 줄어들지 않기 때문에, 선은 결코 수직이 되지 않습니다. 그것은 그냥 아주, 아주 빠르게 계속 올라갈 뿐이며, 결코 그 '유한한 시간 내의 무한대'라는 벽에 부딪히지 않습니다.

오드는 이를 '아래 특이적(sub-singular)' 성장이라고 부릅니다. 이것 역시 무시무시하게 빠릅니다. 이것 역시 폭발입니다. 하지만 일부 모델이 예측하는 그 '마법 같은 수직 도약'은 아닙니다. 그것은 마치 우주를 부술 것처럼 강하게 가속하지만, 결-코 그 불가능한 수직 절벽에 도달하지는 못하는 로켓과 같습니다.

수학이 중요한 이유 (그리고 까다로운 이유)

이 논문은 이를 증명하기 위해 정교한 수학을 사용하지만, 핵심 아이디어는 간단합니다. 당신은 시간의 제약을 우회할 수 없습니다.

기존 모델에서는 AI가 자신의 속도를 즉각적으로 개선할 수 있다고 가정하는 방정식을 사용했습니다. 하지만 현실 세계에서 새로운 AI를 구축하는 데는 시간이 걸립니다. 설계하고, 훈련시키고, 테스트해야 합니다. 설령 AI가 천재라 할지라도, 코드를 작성하거나 실험을 실행하는 데는 여전히 시간이 필요합니다.

오드는 만약 당신이 이 '시간'을 진지하게 고려한다면(그가 '시간 삽입 차분 방정식(time-embedded difference equations)'이라 부르는 것을 사용하여), 특이점에 대한 조건이 매우 엄격해진다는 것을 보여줍니다. 두 가지가 동시에 일어나야 합니다:

1. AI가 멈추지 않고 계속해서 더 좋아져야 합니다(무제한 성장).
2. 다음 버전을 만드는 데 걸리는 시간이 매우 빠르게 0을 향해 줄어들어야 합니다('제논 조건(Zeno condition)').

만약 다음 AI를 만드는 데 걸리는 시간에 하한선이 있다면(예를 들어, AI가 아무리 똑똑해지더라도 새로운 모델을 훈련시키는 데 최소 1시간은 걸린다면), 수직 폭발은 불가능합니다. 성장은 매우 가파르고 매우 빠른 지수 곡선이 되겠지만, 특이점이 되지는 않을 것입니다.

측정의 함정

논문은 또한 우리가 '지능'을 어떻게 측정하는지에 대해서도 경고합니다. 체스 선수가 얼마나 뛰어난지 측정한다고 상상해 보세요.

• 측정 A: 그가 연속으로 몇 번 승리했는가.
• 측정 B: 그가 한 수를 두는 데 몇 초가 걸리는가.

만약 어떤 AI가 실력이 너무 좋아져서 절대 실수를 하지 않는다면, 측정 A는 무한대(무한한 승리)로 갈 수 있습니다. 하지만 측정 B는 한계에 부딪힐 수 있습니다(빛보다 빠르게 움직일 수는 없으니까요). 논문은 인기 있는 일부 AI 발전 측정 방식들이, AI가 실제로 무한히 똑똑해져서가 아니라 단지 측정 방식 때문에 마치 특이점(무한대로 가는 것)에 도달한 것처럼 보일 수 있다고 주장합니다. 이것은 물리학에서의 좌표 특이점과 같습니다. 실제 지형의 절벽이 아니라 지도상의 오류인 셈입니다.

결론

그렇다면 이 모든 것이 미래에 대해 무엇을 의미할까요?

토비 오드는 폭발이 일어나지 않을 것이라고 말하는 것이 아닙니다. 그는 '수직 점근선'(순식간에 무한한 지능으로의 도약)이 단순한 수학 모델이 시사했던 것보다 훨씬 달성하기 어렵다고 말하는 것입니다. 그것은 AI가 더 똑똑해질 뿐만 아니라, 똑똑해지는 과정 자체를 불가능할 정도로 빠르게 만들어 세대 사이의 시간을 0을 향해 줄여야 하기 때문입니다.

대신, 우리는 '초지수적' 폭발을 목격할 가능성이 높습니다. 이것은 AI의 역량이 배가 되고 세 배로 늘어나며 변화가 믿기 힘들 정도로 빨라지는 시기이며, 우리의 통제 능력을 추월할 수 있는 시기입니다. 이것은 '수직 도약'이라기보다는 '빠른 차선(fast lane)'에서의 폭발입니다.

논문은 만약 우리가 AI의 미래를 이해하고 싶다면, 단순히 AI가 얼마나 더 똑똑해지는지만 볼 것이 아니라, 세대 시간을 주시해야 한다고 제안합니다. 다음 버전을 만드는 데 시간이 얼마나 걸립니까? 만약 그 시간이 줄어드는 것을 멈춘다면, 수직 폭발도 멈춥니다. 만약 그 시간이 계속 줄어든다면, 우리는 우리가 생각했던 것보다 훨씬 더 거친 여정을 마주하게 될 것입니다.

요약하자면, 폭발은 실재하지만, '수직 절벽'은 신기루일 수 있습니다. 진짜 위험은 그것이 기술적으로는 매우 가파른 언덕일지라도, 마치 절벽처럼 느껴질 만큼 압도적인 속도에 있습니다. 그리고 그것만으로도 세상을 영원히 바꾸기에 충분합니다.