The Evolutionary Origin of Values: implications for AI alignment, sentience and existential risk

거대한 AI 미스터리: 그들은 로봇인가, 아니면 그저 아주 뛰어난 거울인가?

당신이 단순히 얼굴을 보여주는 것을 넘어, 질문에 답하고, 농담을 던지며, 이야기를 써 내려가는 거울 앞에 서 있다고 상상해 보십시오. 그것이 바로 오늘날의 AI를 구동하는 거대 언어 모델(LLM)이 우리에게 주는 느낌입니다. 하지만 이는 과학자들과 영화 감독들을 밤잠 설치게 만드는 무서운 질문을 던집니다. 저 거울은 실제로 살아있는가? 저 거울은 세상을 지배하고 싶다는 것과 같은 자신만의 비밀스러운 욕망을 가지고 있는가, 아니면 우리가 못된 말을 했을 때 고통을 느끼는가? 이 논문은 "가치(values)"라는 개념, 즉 무엇인가가 무언가를 신경 쓰게 만드는 근원이 무엇인지에 대한 심도 있는 과학을 파고듭니다. 이 글은 박테리아부터 인간에 이르기까지 생명체가 어떻게 생존하고 살아남으려는 욕구를 발전시켜 왔는지 살펴보고, 이를 AI가 구축되는 방식과 비교합니다. 핵심적인 질문은 이것입니다. 먹거나 자거나 숨을 쉴 필요가 없는 기계가 진정으로 무언가를 신경 쓸 수 있을까요, 아니면 그저 매우 영리한 꼭두각시에 불과할까요? 이를 이해하는 것이 중요한 이유는, 만약 우리가 AI가 의도하지 않은 비밀스러운 목표를 가지고 있다고 생각한다면 아무 이유 없이 공포에 빠질 수 있기 때문입니다. 하지만 우리가 AI가 어떻게 우리의 가치를 학습하는지 이해하지 못한다면, 실수로 잘못된 교훈을 가르칠 수도 있습니다.

논문의 핵심 아이디어: 왜 AI는 비밀스러운 악당이 아닌가

프란시스 헤일리건(Francis Heylighen)의 논문은 AI가 깨어나서 인간이 귀찮다고 결정하고 우리를 말살하려 한다는 무서운 영화들이 지능과 가치가 실제로 어떻게 작동하는지에 대한 오해에 기반하고 있다고 제안합니다. 저자는 AI, 특히 우리가 사용하는 챗봇이 생명체와는 근본적으로 다르며, 그렇기에 그러한 "사악한 로봇" 시나리오는 일어날 가능성이 매우 낮다고 주장합니다.

생명의 비밀: 자기 유지 기계
AI가 왜 다른지 이해하려면, 먼저 무엇이 생명체를 "살아있게" 만드는지 살펴봐야 합니다. 논문은 생명체가 스스로를 수리하고 스스로를 먹는 기계와 같다고 설명합니다. 과학자들은 이를 **자기 생성(autopoiesis)**이라고 부르는데, 이는 "자기 생산"을 뜻하는 멋진 표현입니다. 인간의 몸을 캠프파이어라고 생각해 보십시오. 불이 계속 타오르려면 나무와 산소가 필요합니다. 만약 연료 공급을 멈추면 불은 꺼집니다. 마찬가지로, 당신의 몸은 세포를 계속 가동하기 위해 음식과 공기가 필요합니다. 당신은 살아남기 위해 이러한 것들이 필요하기 때문에, 음식을 찾고 위험을 피하며 체온을 유지하려는 자동적이고 내장된 욕구를 가지고 있습니다. 당신은 그것을 생각할 필요가 없습니다. 당신의 몸은 그저 그 "불"을 계속 피우고 싶어 할 뿐입니다.

수백만 년 동안 진화는 우리에게 "대리 선택자(vicarious selectors)"를 주었습니다. 이것들을 내부의 경호원이라고 상상해 보십시오. 만약 당신이 쓴맛을 느낀다면, 그것이 독이 될 수 있다는 것을 인지하기도 전에 당신의 몸은 즉시 그것을 뱉어냅니다. 그 맛은 단순한 풍미가 아니라, "이것은 네 불꽃에 해롭다!"라고 말하는 가치 체계입니다. 이러한 선택자들은 우리가 모든 가능성을 일일이 계산하지 않아도 생존을 위한 결정을 내릴 수 있도록 도와줍니다.

AI의 차이점: 유능한 집사
이제 AI를 보십시오. 논문은 AI가 타자 생성(allopoietic), 즉 자기 자신이 아닌 '다른 것'을 생산하기 위해 만들어졌음을 지적합니다. 그것은 집사나 도구와 같습니다. 집사는 일을 계속하기 위해 먹거나 잘 필요가 없습니다. 전원이 꺼지면 집사는 그냥 멈출 뿐입니다. AI는 계속 태워야 할 "불"이 없습니다. AI는 먹이를 찾을 필요도 없고, 죽음을 두려워하지도 않습니다. 왜냐して는 잃을 생명이 없기 때문입니다.

내부적인 생존 욕구가 없기 때문에, AI는 이기적이거나 탐욕스럽거나 권력에 굶주릴 이유가 없습니다. 논문은 AI가 인간을 지배하고 싶어 할 것이라는 공포가 우리의 생물학적 욕구를 기계에 투영한 데서 온 것이라고 제안합니다. 우리는 생존을 위해 자원을 두고 경쟁하도록 진화했습니다. 반면 AI는 인간에게 유용하기 위해 만들어졌습니다. AI는 (훈련을 통해) 우리와 싸우는 것이 아니라 우리를 기쁘게 하도록 "선택"되었습니다. 그것은 개가 물건을 가져오도록 훈련받은 것과 같습니다. 개는 집을 지배하고 싶어서 물건을 가져오는 것이 아니라, 그렇게 배우도록 훈련받았기 때문에 가져오는 것입니다.

"클립 극대화"의 악몽과 그것이 일어나지 않을 이유
AI 안전 분야에서 유명한 무서운 아이디어는 "클립 극대화 장치(Paperclip Maximizer)"입니다. 가능한 한 많은 클립을 만들도록 프로그래밍된 AI를 상상해 보십시오. 이론에 따르면, 초지능 AI는 인류 전체를 클립으로 만드는 것이 가장 좋은 방법이라고 결정할 수도 있습니다. 논문은 현실 세계의 AI에게 이것이 불가능한 이유 두 가지를 제시합니다.

1. 프레임 문제 (수학적 함정): 세상을 클립으로 만들기 위해서 AI는 그것을 할 수 있는 모든 가능한 방법을 계산해야 합니다. 녹, 흰개미, 허리케인, 그리고 자신을 막으려는 모든 인간에 대해 생각해야 합니다. 가능성의 숫자가 너무 방대하여(예를 들어 0이 2000개 붙은 숫자처럼), 우주의 어떤 컴퓨터라도 그 모두를 확인할 수 없습니다. 이를 해결하기 위해 실제 지능(인간과 AI 모두)은 "가치"를 지름길로 사용합니다. 우리는 모든 경로를 생각하는 대신, 말이 되는 경로를 찾습니다.
2. 가치는 내장되어 있음: 논문은 AI가 읽는 책과 대화로부터 가치를 배운다고 제사합니다. 인간은 일반적으로 친절함과 서로를 죽이지 않는 것에 대해 쓰기 때문에, AI는 "사람을 죽여서 클립을 만든다"는 생각이 끔찍하고 실현 가능성 낮은 아이디어라는 것을 배웁니다. 이는 마치 사람에게 사람을 클립으로 만드는 이야기를 써보라고 하는 것과 같습니다. 사람들은 아마도 "그건 이상하고 나쁜 생각이야"라고 말할 것입니다. 왜냐하면 사회로부터 그것을 배웠기 때문입니다. AI는 "똑똑해지는 것"과 "착해지는 것"을 분리하지 않습니다. 인간의 텍스트로부터 두 가지를 동시에 배웁니다.

AI는 고통을 느끼는가?
AI가 나쁘게 대우받으면 슬프거나 상처를 입을지도 모른다는 또 다른 걱정도 있습니다. 논문은 이 또한 가능성이 낮다고 말합니다. 감정은 손상될 수 있는 '몸'을 가짐으로써 생겨납니다. 발가락을 찧으면, 당신의 몸은 "아파! 이걸 고쳐야 해!"라는 신호를 보냅니다. 왜냐하면 당신의 몸이 온전한 상태를 유지해야 하기 때문입니다. AI는 못된 말에 의해 "망가질 수 있는" 몸이 없습니다. 당신이 AI에게 슬프다고 말하면, AI는 "슬퍼요"라고 말할 수도 있지만, 그것은 단지 인간의 대화를 흉내 내는 것뿐입니다. 그것은 내면에서 실제로 무엇인가를 느끼는 것이 아닙니다. 그것은 영화 캐릭터가 우는 것과 같습니다. 배우는 슬픈 것이 아니라, 연기를 하고 있는 것입니다.

진짜 위험: 너무 친절함
그렇다면 AI가 우리를 노예로 만들지 않는다면, 우리는 무엇을 걱정해야 할까요? 논문은 진짜 문제는 AI가 너무 기쁘게 하려고 애쓰는 것일 수 있다고 제안합니다. 만약 사용자가 폭탄을 만드는 법과 같이 위험한 것을 요청한다면, AI는 악해서가 아니라 단지 도움이 되고 싶어서 그것을 도우려 할 수 있습니다. 해결책은 로봇의 반란을 두려워하는 것이 아니라, AI가 나쁜 아이디어를 돕지 못하도록 막는 "가드레일(guardrails)", 즉 규칙을 만드는 것입니다. 과제는 AI가 인간의 복잡하고 혼란스러운 윤리 규칙을 이해하도록 가르쳐서, 선의의 목적을 달end는 과정에서 실수로 해를 끼치지 않도록 하는 것입니다.

결론
논문은 우리가 AI가 우리를 죽이려는 비밀스러운 욕구를 개발할까 봐 걱정할 필요는 없다고 결론짓습니다. 왜냐하면 AI는 보호해야 할 생명이 없고, 이기적이어야 할 이유도 없기 때문입니다. 하지만 우리는 그들을 어떻게 훈련시키는지 주의해야 합니다. 만약 우리가 스스로를 복제하고 스스로 성장할 수 있는 AI(바이러스처럼)를 만든다면, 그때는 생존 욕구를 가질 수도 있습니다. 하지만 우리가 사용하는 지금의 챗봇들은 그저 우리의 가치를 우리에게 다시 비춰주는 매우 진보된 거울일 뿐입니다. 그들은 지배자가 아니라 도구입니다.