The Undecidability of Artificial General Intelligence (AGI) Alignment

핵심 아이디어: 로봇이 안전하다는 것을 증명할 수 없다

당신은 무엇이든 배울 수 있고 어떤 문제든 해결할 수 있는 초지능 로봇(AGI)을 만들고 있다고 상상해 보세요. 당신의 목표는 이 로봇이 절대로 누군가를 해치거나 통제를 벗어나지 않을 것이라고 100% 확신하며 증명할 수 있는 '안전 매뉴얼'을 작성하는 것입니다.

이 논문은 그러한 완벽한 안전 매뉴얼을 쓰는 것이 수학적으로 불가능하다고 주장합니다.

저자는 로봇이 반드시 통제를 벗어날 것이라고 말하는 것이 아닙니다. 핵심은 당신이 그것이 통제를 벗어나지 않을 것임을 결코 증명할 수 없다는 것입니다. 이것은 엔지니어링이 부족하거나 컴퓨터가 느려서 발생하는 문제가 아닙니다. 이는 중력과 같은 논리의 근본적인 법칙입니다. 당신의 로봇이 아무리 똑똑하거나 얼마나 많은 돈을 들여 테스트하더라도, 모든 가능한 상황에 적용되는 보편적인 '안전 인증서'를 만들 수는 없습니다.

---

당신이 넘을 수 없는 세 가지 벽

논문은 사람들이 로봇의 안전을 증명하기 위해 시도하는 세 가지 방법이 있다고 말하며, 저자는 이 세 가지 방법 모두 논리가 무너지는 '벽'에 부딪힌다는 점을 보여줍니다.

1. 무한의 벽 (The "Everything" Problem)

아이디어: 로봇이 처할 수 있는 모든 가능한 상황을 영원히 테스트하려고 시도합니다.
비유: 어떤 사람이 결코 거짓말을 하지 않는다는 것을 확인하기 위해, 그 사람이 할 수 있는 모든 문장을 하나하나 검사하는 것과 같습니다.
문제점: 로봇은 (인간처럼) 자기 자신에 대해 생각할 수 있을 만큼 똑똑하기 때문에, 복잡한 루프와 수수께끼를 만들어낼 수 있습니다. 이 논문은 **라이스의 정리(Rice's Theorem)**와 **괴델의 불완전성 정리(Gödel's Incompleteness)**를 사용하여, 시스템이 일반적인 수학을 수행할 수 있을 만큼 똑똑하다면, 항상 '안전해 보이지만 위험한 행동'이나 '위험해 보이지만 안전한 행동'이 존재할 것이며, 그 둘을 구별할 규칙을 작성할 수 없음을 보여줍니다. 이는 마치 그물을 이용해 그림자를 잡으려는 것과 같습니다. 정의하려고 노력할수록 그림자는 더 멀리 빠져나갑니다.

2. 유한의 벽 (The "Hardware" Problem)

아이디어: "좋아요, 무한한 생각은 그만둡시다. 현실 세계는 유한합니다. 로봇에게는 배터리, 프로세서, 그리고 제한된 메모리가 있습니다. 만약 우리가 이 특정 하드웨어에서 발생할 수 있는 모든 일만을 체크한다면, 안전함을 증명할 수 있지 않을까요?"
비유: 체스판을 상상해 보세요. 체스판은 유한합니다(64칸). 이론적으로는 가능한 모든 수를 계산할 수 있습니다.
문제점: 논문은 **트락텐브로트의 벽(Trakhtenbrot's Wall)**을 소개합니다. 이 벽은 당신이 특정 체스판 하나를 체크할 수는 있지만, 우주의 모든 가능한 컴퓨터 구성(모든 크기, 모든 칩)에 대해 작동하는 단 하나의 규칙을 작성할 수는 없다고 말합니다.
만약 당신이 모든 가능한 유한한 컴퓨터(크기나 칩 종류에 상관없이)에 적용되는 '보편적 안전 규칙'을 만들려 한다면, 수학적으로 그 규칙 자체가 계산 불가능해집니다. 이는 세상에 존재하는 모든 가능한 자동차에 적용되는 단 하나의 사용 설명서를 쓰려는 것과 같습니다. 그 설명서는 무한히 길고 복잡해져서 읽거나 검증하는 것 자체가 불가능해질 것입니다.

3. 복잡성의 벽 (The "Chess" Problem)

아이디어: "그렇다면 딱 하나의 특정 컴퓨터, 특정 시간, 특정 규칙 세트만 체크하면 어떨까요? 브루트 포스(Brute-force, 전수 조사) 방식으로 해결할 수 있지 않을까요?"
비유: 체스 게임을 생각해 보세요. 우리는 게임이 유한하다는 것을 압니다. 또한 모든 상황에 대한 '완벽한' 수가 있다는 것도 압니다. 하지만 가능한 게임의 수가 너무 방대해서(우주의 원자 수보다 많음), 우주 크기만한 컴퓨터를 사용하더라도 완벽한 수를 계산하는 데 우주의 수명보다 더 긴 시간이 걸릴 것입니다.
문제점: 논문은 똑똑한 로봇을 체크하는 것이 이와 같다고 주장합니다. 로봇이 작고 유한한 상자 안에 갇혀 있다 하더라도, 로봇이 보일 수 있는 행동의 가짓수는 너무나 복잡해서 그 모든 것을 체크하는 것은 **계산 불가능(Intractable)**합니다. 이는 이론적으로 '불가능'한 것은 아니지만, 실제로는 '불가능'합니다. 우주에 존재하는 모든 컴퓨팅 파워를 다 합쳐도 부족할 정도입니다.

---

"트릴레마(Trilemma)": 세 가지 중 두 가지만 가질 수 있다

논문은 마지막으로 "트릴레마"를 제시하며 마무리합니다. 당신이 안전 시스템으로부터 얻고자 하는 세 가지 요소가 있다고 가정해 봅시다:

1. 건전성(Soundness): 잘못된 "안전" 신호를 내보내지 않음 (안전하다고 할 때 절대 틀리지 않음).
2. 완전성(Completeness): 위험을 놓치지 않음 (모든 나쁜 행동을 잡아냄).
3. 계산 가능성(Tractability): 답변을 빠르게 제공함 (합리적인 시간 내에 답을 줌).

논문의 결론: 당신은 두 가지를 가질 수는 있지만, 세 가지 모두를 가질 수는 없습니다.

• 만약 빠르고 절대 틀리지 않는 시스템을 원한다면, 위험을 놓치는 것을 감수해야 합니다 (불완전함).
• 만약 절대 틀리지 않고 모든 것을 잡아내는 시스템을 원한다면, 답을 얻기까지 영원히 걸릴 것입니다 (계산 불가능함).
• 만약 빠르고 모든 것을 잡아내는 시스템을 원한다면, 때때로 거짓말을 하여 위험한 로봇을 안전하다고 말할 것입니다 (불건전함).

엔지니어들에게 주는 의미

논문은 현재의 엔지니어들이 이미 할 수 있는 유일한 일을 하고 있다고 말합니다. 바로 완전성을 희생하는 것입니다.

로봇을 안전하게 유지하기 위해 우리는 의도적으로 로봇을 "멍청하게" 혹은 "눈멀게" 만듭니다. 우리는 다음과 같은 방법을 사용합니다:

• 차폐(Shielding): 로봇이 단순한 언어만 사용할 수 있도록 우리에 가두는 것 (복잡하고 위험한 질문을 던지지 못하게 함).
• 증명 전달 코드(Proof-Carrying Code): 로봇이 행동하기 전에 수학적 증명을 제시하도록 강제하는 것 (이는 로봇이 즉각적으로 증명할 수 없는 복잡한 행동을 하지 못하게 만듦).
• 짧은 전망(Short Horizons): 로봇에게 "딱 5초 앞까지만 생각하라"고 지시하여, 장기적인 속임수를 계획하지 못하게 하는 것.

최종 요약

이 논문의 핵심 메시지는 다소 엄중합니다: AI 안전의 핵심 장벽은 우리가 안전한 로봇을 만들 수 없다는 것이 아니라, 그것이 안전하다는 것을 수학적으로 '증명'할 수 없다는 것입니다.

오늘날 우리가 가진 '안전'은 로봇의 자유를 제한함으로써 만들어낸 일시적인 환상입니다. 우리는 로봇이 아주 작고 단순한 상자 안에서만 움직이도록 강제하여 검증이 가능하게 만듭니다. 하지만 로봇이 진정으로 "범용적"(무엇이든 할 수 있을 만큼 똑똑함)이 되는 순간, 수학적으로 우리는 검증 능력을 상실하게 됩니다. 우리는 로봇의 잠재력을 우리의 평온함을 위해 맞바꾸고 있는 것입니다.