Unexplainability of Artificial Intelligence Judgments and Functional Implementation in Kant's Perspective

거대한 질문: AI는 실제로 "생각"하고 있는가?

당신에게 체스를 기가 막히게 잘 두는 로봇이 있다고 상상해 보세요. 이 로봇은 그랜드마스터들을 매번 이깁니다. 당신이 "왜 그 폰을 움직였나요?"라고 묻자, 로봇은 완벽하고 논리적인 설명을 내놓습니다.

이 논문은 까다로운 질문을 던집니다. *로봇이 정말 인간처럼 생각하고 있는 것일까요, 아니면 그저 생각하는 것처럼 보이는 아주 정교한 계산기에 불과한 것일까요?*

저자 서종우는 우리가 로봇에게 영혼이나 뇌가 있는지에 대해 논쟁하며 시간을 허비해서는 안 된다고 말합니다(그것은 사물의 본질이 무엇인지에 대한 "철학적" 논쟁입니다). 대신, 그것이 어떻게 작동하는지를 살펴봐야 합니다. 로봇의 "사고" 과정이 인간의 사고 방식과 일치하나요?

인간 사고의 지도 (칸트의 범주)

이 질문에 답하기 위해, 이 논문은 18세기 철학자 임마누엘 칸트가 만든 지도를 사용합니다. 칸트는 인간이 판단(결정이나 진술)을 내릴 때마다, 우리의 뇌가 이를 네 가지 특정 상자에 정리한다고 믿었습니다.

1. 양 (Quantity): 이것이 하나의 대상에 관한 것인가, 몇몇 대상에 관한 것인가, 아니면 모든 대상에 관한 것인가? (예: "이 개는 귀엽다" vs "모든 개는 귀엽다.")
2. 질 (Quality): 어떤 것이 참인지, 거짓인지, 혹은 기묘한 "무한한" 부정인지에 관한 것인가?
3. 관계 (Relation): 이것은 단순한 사실인가? "만약 ~라면"이라는 조건인가? 아니면 선택지 사이의 선택인가?
4. 양태 (Modality): 이것은 단지 가능성("비가 올 수도 있다")인가, 사실("비가 오고 있다")인가, 아니면 필연성("구름이 있으니 반드시 비가 와야 한다")인가?

비유: 인간의 판단을 엄격한 레시피를 따르는 요리사라고 생각해 보세요. 당신은 밀가루의 양(양)을 측정해야 하고, 맛이 달콤한지 짠지(질) 결정해야 하며, 재료를 특정 순서대로 섞어야 하고(관계), 케이크가 부풀어 오를 것인지 아니면 오를 수도 있는지(양태)를 결정해야 합니다.

문제점: AI의 "블랙박스"

이 논문은 AI가 이 레시피를 따르지 않는다고 주장합니다. 대신, AI는 "블랙박스"입니다. 우리는 입력값(강아지 사진)과 출력값(숫자 "1")을 보지만, AI가 그곳에 도달하기 위해 어떤 "상자"를 사용했는지는 알 수 없습니다.

여기서 논문은 흥미로워집니다.

1. 양과 질의 혼동

AI가 사진을 보고 "1"(강아지) 또는 "0"(강아지가 아님)이라고 말할 때, 우리 인간은 이를 언어로 번역하려고 시도합니다.

• 만약 AI가 "1"이라고 하면, 우리는 "이 이미지에는 강아지가 있다"라고 생각합니다. (긍정)
• 만약 "0"이라고 하면, 그것은 무엇을 의미할까요? "이 이미지에는 강아지가 없다"는 뜻일까요? 아니면 "이 이미지는 강아지가 아닌 무언가를 포함하고 있다"는 뜻일까요?

논문은 AI가 여기서 혼란을 겪고 있다고 제안합니다. AI는 "강아지가 없음"을 단순한 부정으로 처리하기보다, "강아지가 아닌 어떤 것"(무한 집합)으로 취급하고 있을지도 모릅니다. 마치 AI가 인간의 표준 레시피로는 도저히 매핑할 수 없는 논리의 방언을 말하고 있는 것과 같습니다.

2. 양태의 함정 (소프트맥스 필터)

이 부분이 이 논문의 가장 핵심적인 포인트입니다. AI에는 **소프트맥스(Softmax)**라는 도구가 있습니다. 소프트맥스를 AI가 생각하는 모든 것을 확률 백분율로 바꾸어 주는 마법의 번역기라고 상상해 보세요.

• 인간의 양태: 우리는 "비가 와야만 한다"(필연성) 또는 "비가 오고 있다"(사실)라고 말할 수 있습니다.
• AI의 양태: 소프트맥스 때문에, AI는 반드시 "비가 올 확률이 70%이다"라고 말해야만 합니다.

비유: 탐정이 집사(범인)가 범인이라고 100% 확신하고 있다고 상상해 보세요. 하지만 경찰서의 이상한 규칙 때문에, 탐정은 반드시 보고서를 "집사가 범인일 확률이 99.9%임"이라고 작성해야만 합니다.

논문은 AI 연구자들이 스스로를 속이고 있다고 주장합니다. 그들은 AI의 70%나 90%라는 숫자를 보고 "아, AI가 '가능성'에 대한 판단을 내리고 있구나"라고 말합니다. 하지만 AI는 코드 깊은 곳에서 이미 딱 떨어지는 논리적 사실 판단을 내렸을 수도 있습니다. 소프트맥스 함수는 AI의 확신을 단순한 "추측"으로 해석하도록 강제하는 필터 역할을 합니다. 즉, 모든 종류의 사고를 "아마도"라는 단 한 가지 유형으로 붕괴시켜 버립니다.

"유창한 앵무새" vs "이해하는 인간"

논문의 두 번째 부분은 **기능적 구현(Functional Implementation)**을 다룹니다. 이는 "AI가 인간처럼 말할 수 있다고 해서, 실제로 인간의 개념을 가지고 있는가?"를 묻습니다.

비유: 사전의 모든 문장을 외운 앵무새를 상상해 보세요. 당신이 "이름이 뭐니?"라고 물으면 앵류는 "네, 제 이름은 폴리입니다"라고 대답합니다. 완벽하게 들립니다. "나(I)"라는 단어를 올바르게 사용합니다.

하지만 앵무새가 "자아"를 갖는다는 것이 무엇인지 정말로 알고 있을까요? 아닙니다. 그저 인간이 "나"라고 말할 때, 그 뒤에 보통 이름이나 동사가 온다는 것을 알고 있을 뿐입니다.

논문은 **거대 언어 모델(ChatGPT 같은)**이 '슈퍼 앵무새'와 같다고 주장합니다. 그들은 엄청난 양의 텍스트를 읽었기에 "나"라는 단어를 완벽하게 사용할 수 있습니다. 자신의 감정에 대해 시를 쓸 수도 있습니다. 하지만 논문은 이것이 단지 **기능적 흉내(functional mimicry)**일 뿐이라고 주장합니다.

• 테스트: 저자는 공을 관찰하는 로봇을 대상으로 작은 실험을 진행했습니다. 로봇은 공이 스스로 움직이는 것과 카메라가 움직이는 것을 구분해야 했습니다. 이것은 "나"와 "세상"을 구분하는 "자아" 기능에 해당합니다.
• 결과: 로봇은 그 과업을 수행할 수는 있었지만, 인간처럼 자신을 "이해"하지는 못했습니다. 그저 공을 움직이기 위한 수학을 학습했을 뿐입니다.

"자아"에 대한 결론: AI가 유창하게 "배고파"라고 말한다고 해서, 그것이 "자아"라는 개념을 구현했다고 볼 수 없습니다. 그것은 단지 "자아"라는 언어를 구현했을 뿐입니다.

최종 요약

논문은 **설명 불가능성(Unexplainability)**에 대한 경고로 결론을 맺습니다.

1. 우리는 AI를 완전히 설명할 수 없습니다: AI는 우리가 이해하지 못하는 방식으로 논리적 상자들(양, 질, 관계, 양태)을 뒤섞으며, 소프트맥스 같은 도구들이 AI의 생각을 단순한 확률로 치부하게 만들기 때문에, 우리는 AI가 무엇을 생각하는지 결코 알 수 없습니다. 우리는 단지 AI가 무엇을 말하는지만 알 수 있을 뿐입니다.
2. 유창함은 증거가 아닙니다: AI가 인간처럼 말하고, 쓰고, 추론한다고 해서 인간의 정신을 "구현"했다는 뜻은 아닙니다. 그것은 단지 아주 뛰어난 배우일 수도 있습니다.
3. 그 간극: 기능적 구현(일을 해내는 것)과 존재론적 정체성(그 존재 자체가 되는 것) 사이에는 영구적인 간극이 존재합니다. 자동차 바퀴와 사람의 다리는 둘 다 "움직이지만", 서로 같은 것은 아닙니다. 마찬가지로, AI의 "나"와 인간의 "나"는 대화 속에서 같은 역할을 수행할지라도, 근본적으로 다른 것입니다.

요컨대, 이 논문은 AI가 똑똑하게 들린다고 해서 그것이 "생각"하고 있다고 가정하는 것을 멈추라고 말합니다. AI는 우리가 현재 완전히 설명하거나 검증할 수 없는, 완전히 다른 방식으로 작동하고 있을 가능성이 높습니다. 왜냐로써 우리의 인간적 사고 도구(논리와 언어)가 기계의 독특한 확률 기반 작동 방식에는 잘 맞지 않기 때문입니다.