Why do we need social singularity? A mechanism-based critique of gradual scenarios in AI existential-risk discourse

거대한 AI 롤러코스터: 미래가 직선형이 아닌 이유

당신이 인공지능(AI)의 미래에 관한 영화를 보고 있다고 상상해 보십시오. 오랫동안 가장 인기 있었던 줄거리는 두 가지 매우 다른 종류의 재앙이었습니다. 첫 번째는 "갑작스러운 충돌"입니다. 아주 똑똑한 로봇이 어느 날 아침 깨어나 인간은 더 이상 필요 없다고 결정하고 순식간에 세상을 장악하는 것입니다. 두 번째는 "느린 소멸"입니다. 우리는 점점 더 나은 도구들을 만들어내고, 아무도 눈치채지 못하는 사이에 서서히 모든 권력을 그들에게 넘겨주어, 결국 우리는 우리 자신의 삶에서 그저 승객이 되어버리는 것입니다. 이 두 가지 이야기는 일단 우리가 이 기계들을 만들기 시작하면, 그것들은 계속 나아갈 것이고 사회는 그저 관찰자로서 멈출 수 없는 기차를 지켜볼 뿐이라고 가정합니다.

하지만 종종 간과되는 세 번째 가능성이 있습니다. 바로 미래의 '이야기'가 미래 자체를 바꿀 수도 있다는 생각입니다. 페트르 O. 예들리치카(Petr O. Jedlička)가 작성한 이 논문은 인간 사회의 무질서하고 혼란스러우며 예측 불가능한 세계를 파고들어 다음과 같은 단순한 질문을 던집니다. "사람들이 AI가 초지능이 되기도 전에 AI에 대해 공포, 분노, 혹은 흥분을 느끼게 된다면 어떤 일이 벌어질까?" 저자는 우리가 기술을 단순히 수학 문제처럼 바라봐서는 안 된다고 주장합니다. 우리는 사람을 보아야 합니다. 마치 롤러코스터가 단순히 트랙을 따라가는 것이 아니라, 탑승객들이 비명을 지를지, 꽉 붙잡을지, 아니면 뛰어내리려 할지에 달려 있는 것과 같습니다. 만약 탑승객들이 패닉에 빠지거나 저항한다면, 롤러코스터는 꼭대기에 도달하기 훨씬 전에 멈추거나 방향을 바꾸거나 추락할 수도 있습니다. 이 논문은 가장 큰 위험(혹은 가장 큰 희망)이 AI 자체에서 오는 것이 아니라, AI라는 '아이디어'에 대한 우리의 반응에서 올 수 있다고 제안합니다.

논문의 핵심 아이디어: "사회적 특이점(Social Singularity)"

논문은 카시르자데(Kasirzadeh)와 쿨베이트(Kulveit) 같은 사상가들이 제시한 '점진적 무력화(gradual disempowerment)'라는 유명한 AI 리스크 담론을 비판하며 시작합니다. 이들의 이야기는 AI가 우리의 일자리, 정부, 결정을 서서히 잠식해 들어가는 미래를 상상합니다. 그들은 '끓는 물 속의 개구리' 시나리오를 묘사합니다. 물은 점점 뜨거워지지만, 개구리(우리)는 너무 늦기 전까지는 절대 밖으로 뛰어 나가지 않는다는 것입니다. 저자는 이러한 이야기들이 거대한 퍼즐의 한 조각을 놓치고 있다고 주장합니다. 그들은 사회를 AI 프로젝터가 빛을 비추는 수동적인 영화 스크린처럼 취급하며, 관객이 토마토를 던지거나, 프로젝터를 끄거나, 심지어 무대로 난입할 수 있다는 사실을 무시하고 있습니다.

저자는 이 빠진 조각을 "기술 결정론(technological determinism)"이라고 부릅니다. 이는 기술이 스스로의 의지를 가지고 무엇이 있든 상관없이 앞으로 나아갈 것이라는 믿음입니다. 논문은 이것이 틀렸다고 제안합니다. 역사는 새로운 발명품이 등장했을 때 사람들이 그저 가만히 앉아 있지 않았음을 보여줍니다. 사람들은 논쟁하고, 조직하고, 기계를 부수며(러다이트 운동을 기억하십시오), 새로운 규칙을 만듭니다. 이 논문은 우리가 로봇이 통치하는 세상으로 미끄러지듯 들어가는 대신, 갈등과 논쟁, 그리고 갑작스러운 중단으로 가득 찬 무질서하고 울퉁불퉁한 여정을 겪게 될 가능성이 높다고 제안합니다.

엔진룸: 사회가 실제로 작동하는 방식

"느린 소멸" 이야기가 왜 실현 가능성이 낮은지 설명하기 위해, 저자는 "사회적 메커니즘"이라는 도구 상통을 소개합니다. 이것들은 사회를 움직이는 숨겨진 톱니바퀴와 같으며, 종종 우리를 놀라게 하는 방식으로 작동합니다.

1. 스토리텔링의 힘 (해석과 수행성)
어떤 은행이 파산할 것이라는 소문이 돌고 있다고 상상해 보십시오. 설령 그 은행에 돈이 충분하더라도, 모든 사람이 은행이 망했다고 믿고 현금을 인출하러 달려간다면 그 은행은 실제로 망하게 됩니다. 믿음이 현실을 만든 것입니다. 논문은 AI에서도 이런 일이 일어난다고 말합니다. 전문가와 대중이 "AI는 괴물이다"라는 이야기를 퍼뜨리기 시작하면, 사람들은 AI를 괴물처럼 대하게 될 것이고, 이는 AI를 막는 법률과 시위를 만들어낼 것입니다. 반대로 "AI는 구원자다"라는 이야기를 한다면, 사람들은 위험을 무시한 채 AI를 구축하는 데 달려들 것입니다. 우리가 AI에 대해 어떻게 '말하느냐'가 AI가 실제로 무엇을 '하느냐'를 바꿉니다.

2. 거대한 싸움 (동원과 갈등)
논문은 사람들이 위협을 느낄 때 단순히 포기하는 것이 아니라 저항한다는 점을 지적합니다. 과거 노동자들이 일자리를 지키기 위해 기계를 부쉈던 것처럼, 오늘날에도 "AI 저항 운동"이 나타날 수 있습니다. 한쪽에는 신기술을 사랑하고 더 많은 기술을 원하는 "AI 충성파"가 있을 것이고, 다른 한쪽에는 소외감을 느끼거나 두려움을 느끼는 "반(反) AI 급진주의자"가 있을 수 있습니다. 이 두 집단은 정치적 폭풍을 일으키며 기술의 매끄러운 출시를 막을 수도 있습니다. 논문은 미래가 직선이 아니라, 기술이 어느 방향으로 갈지를 결정하기 위해 서로 싸우는 전쟁터라고 제唆합니다.

3. 서로 다른 길 (경로 의존성과 분기)
친구들이 목적지로 걸어가려고 한다고 상상해 보십시오. 모두가 같은 지도를 가지고 있다면 함께 걷겠지만, 서로 다른 국가에서 서로 다른 규칙을 따르고 있다면 완전히 다른 경로로 가게 될 것입니다. 논문은 미국, 중국, 유럽이 매우 다른 법, 문화, 경제를 가지고 있다는 점에 주목합니다. 미국은 규제 없는 파격적인 AI 경쟁을 벌일 수 있고, 유럽은 느리고 안전하지만 지루한 버전을 만들 수 있으며, 중국은 엄격한 정부 통제를 따르는 버전을 만들 수 있습니다. 이러한 차이 때문에 AI는 전 세계에 균등하게 퍼지지 않을 것입니다. AI는 어떤 곳은 첨단 AI로 가득 차고 다른 곳은 이제 막 시작하는, "다중 속도"의 복잡한 경주가 될 것입니다.

4. 마음과 영혼 (사회-심리학적 메커니즘)
이 부분은 개인적인 영역입니다. 논문은 우리가 AI 친구를 어떻게 '사랑'하거나 '증오'하게 될지에 대해 다룹니다. 어떤 이들은 AI 동반자와 깊은 정서적 유대를 형성하여 가족처럼 대할 수도 있습니다(마치 아이가 로봇 장난감과 유대감을 형성하는 것처럼). 이는 그들이 AI를 보호하고 싶게 만들 수 있습니다. 그러나 다른 이들은 자신의 자유를 빼앗기고 있다고 느낄 수 있습니다. 만약 AI가 자신에게 무언가를 지시하려 한다면, 그들은 분노하고 반발할 것입니다(이를 '저항 이론/reactance'라고 합니다). 이러한 감정적 줄다리기는 사회를 AI를 껴안고 싶어 하는 사람들과 AI를 부수고 싶어 하는 사람들로 나눌 수 있습니다.

거대한 반전: "사회적 특이점"

여기에 논문의 가장 흥미로운 아이디어가 있습니다. 보통 사람들은 AI가 너무 똑똑해져서 모든 것을 바꾸는 순간인 "기술적 특이점(Technological Singularity)"을 이야기합니다. 하지만 저자는 우리가 다른 종류의 특이점에 먼저 도달할 수 있다고 제안합니다. 바로 **사회적 특이점(Social Singularity)**입니다.

이렇게 생각해 보십시오. "기술적 특이점"이 로켓이 실제로 우주에 도달하는 순간이라면, "사회적 특이점"은 지상의 모든 사람이 "잠깐! 아직 준비가 안 됐어요!"라고 외치며 연료선을 끊으려고 시도하는 순간입니다. 논문은 AI 폭발에 대한 '예측' 자체가 너무 강력해서, AI가 초지능이 되기도 전에 거대한 사회적 변화를 일으킬 수 있다고 주장합니다.

우리는 AI의 폭발에 대한 '생각'에 사회가 너무 강하게 반응하여 기술의 경로를 바꾸는 "사회적 특이점"을 목격할 수 있습니다. 어쩌면 우리는 AI를 금지하거나, 속도를 늦추거나, 혹은 그것을 두고 전쟁을 벌일지도 모릅니다. 논문은 우리 미래의 가장 극적인 사건은 AI가 세상을 지배하는 것이 아니라, 인간들이 AI가 세상을 지배하도록 허용할지를 두고 싸우는 일이 될 수 있다고 제안합니다.

이것이 미래에 의미하는 바

이 논문은 AI가 위험하지 않다고 말하는 것이 아닙니다. 우리가 반드시 그것을 막아낼 것이라고 말하는 것도 아닙니다. 대신, 미래는 "느린 소멸" 이야기보다 훨씬 더 복잡하다고 말합니다. 미래는 우리가 통제력을 잃고 미끄러지는 직선이 아닙니다. 그것은 수많은 가능한 경로를 가진 가지치기 된 나무입니다.

• 결정된 것은 없다: 미래는 돌에 새겨진 것처럼 확정된 것이 아닙니다. 논문은 인간의 갈등, 국가별로 다른 법률, 그리고 우리의 감정적 반응 때문에 AI의 경로는 굴곡과 회전, 그리고 갑작스러운 중단으로 가득할 것이라고 제안합니다.
• 무질서하다: 어떤 지역은 첨단 AI를 보유하고 다른 지역은 그렇지 않은 세상, 혹은 어떤 도시에서는 AI가 금지되지만 다른 도시에서는 자유로운 세상이 펼쳐질 수 있습니다.
• 우리에게 달려 있다: 가장 중요한 요소는 프로그래머가 쓰는 코드뿐만 아니라, 기술과 함께 살아가는 사람들의 논쟁, 시위, 법률, 그리고 감정입니다.

요약하자면, 이 논문은 미래를 로봇이 스스로 이기거나 지는 영화처럼 상상하는 것을 멈추라고 말합니다. 대신, 미래를 거대한, 혼란스러운 줄다리기 게임으로 상상해야 합니다. 그 줄은 AI의 미래이며, 우리는 모두 그 줄을 당기며 그것이 어느 방향으로 갈지를 결정하려고 노력하고 있습니다. "사회적 특이점"은 로봇이 똑똑해졌기 때문이 아니라, 우리가 마침내 싸우기로 결심했기 때문에 게임이 극도로 치열해지는 순간입니다.