🤖 AI

Revisiting Classic Thought Experiments to Measure Consciousness for Artificial Intelligence Safety

이 연구 노트는 보존-일치 인코딩(Conservation-Congruent Encoding, CCE) 프레임워크를 고전적 사고 실험에 적용하여, 외부적 과업 수행과 내부 구조 재사용의 효율성으로 정의되는 '운용적 의식' 사이의 구분을 제안함으로써 AI 안전성을 더 잘 평가하고자 한다.

원저자: Peter David Fagan

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Peter David Fagan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 로봇의 수수께끼: 우리는 그저 화려한 조회 테이블(Lookup Table)일 뿐인가?

당신이 어떤 로봇을 보고, 이 로봇이 정말로 '살아있는' 것인지 아니면 그저 매우 영리하게 흉내를 내는 기계일 뿐인지 알아내려고 노력하고 있다고 상상해 보십시오. 이것은 인공지능 안전(AI safety)이라는 과학 분야의 거대한 질문입니다. 수십 년 동안 철학자들과 과학자들은 완벽하게 인간처럼 행동하는 컴퓨터가 실제로 무언가를 '이해'하고 있는 것인지, 아니면 그저 아무런 개념 없이 방대한 지시 사항 목록을 따르고 있는 것뿐인지에 대해 논쟁해 왔습니다. 이것을 마술 쇼라고 생각해 보십시오. 마술사가 모자에서 토끼를 꺼냈을 때, 당신은 토끼를 보게 되지만, 마술사가 실제로 토끼가 어떻게 작동하는지 알고 있는 것인지, 아니면 그저 비밀스러운 바닥 트랩을 가지고 있는 것인지는 알 수 없습니다.

이 논문을 이해하려면 두 가지 주요 개념을 알아야 합니다. 첫째, **과업 수행 능력(Task Performance)**은 단순히 시스템이 자신의 일을 얼마나 잘 수행하는지를 의미합니다. 만약 로봇이 한 언어의 문장을 다른 언어로 완벽하게 번역할 수 있다면, 그것은 높은 과업 수행 능력을 가진 것입니다. 둘째, **내부 구조(Internal Structure)**라는 개념이 있습니다. 이것은 로봇이 일을 '어떻게' 수행하는지에 관한 것입니다. 로봇이 즉석에서 문제를 해결하는 작고 영리한 뇌를 가지고 있습니까? 아니면 말을 하기 전에 모든 답을 책에서 찾아봐야 하는 거대하고 먼지 쌓인 도서관을 가지고 있습니까? 이 논문은 로봇이 작은 뇌를 가진 천재인 것인지, 아니면 도시 크기만한 도서관을 가진 무식한 힘(brute-force)의 노동자인지가 중요한지를 묻습니다.

논문의 핵심 아이디어: "불꽃" 측정하기

피터 데이비드 페건(Peter David Fagan)이 작성한 이 연구 노트는 로봇과 정신에 관한 유명한 옛이야기들—거대한 톱니바퀴를 가는 거대한 방앗간, 모방의 게임, 그리고 언어를 이해하지 못하면서 방 안에서 언어를 말하는 사람 이야기 등—을 새로운 관점으로 바라봅니다. 저자는 운영적 의식(Operational Consciousness), 즉 "불꽃(Spark)"이라고 부르는 것을 측정하는 방법을 소개합니다.

이 논문은 동일한 퍼즐을 풀려고 하는 두 종류의 플레이어를 설정합니다. 두 플레이어 모두 점수를 얻기 위해 정답을 제시해야 합니다. 논문은 두 가지를 측정합니다:

얼마나 많은 점수를 얻었는가 (과업 수행 능력).
그 점수를 얻기 위해 머릿속에 얼마나 많은 "뇌 공간"을 유지해야 하는가 (내부 구조).

저자는 "불꽃"을 계산하기 위한 특별한 공식을 사용합니다. 기본적으로 이것은 비율입니다: 획득한 점수 나누기 사용된 뇌 공간. 만약 당신이 백만 점을 얻었지만 그것을 하기 위해 십억 페이지의 규칙을 암기해야 했다면, 당신의 "불꽃" 점수는 매우 낮습니다. 만약 당신이 똑같은 백만 점을 단 몇 개의 영리한 기술과 작은 기억력만 사용하여 얻었다면, 당신의 "불꽃" 점수는 매우 높습니다.

두 플레이어: 백과사전 vs 발명가

이것이 어떻게 작동하는지 보여주기 위해, 논문은 우리에게 말을 걸려고 시도하는 두 가지 서로 다른 시스템을 상상합니다.

시스템 A는 "압축되지 않은 조회 테이블(Uncompressed Lookup Table)"입니다. 이 시스템은 거대하고 마법 같은 백과사전과 같다고 상상해 보십시오. 당신이 던질 수 있는 모든 질문에 대해, 특정 페이지에 저장된 미리 작성된 답변이 있습니다. 만약 당신이 질문을 하면, 이 시스템은 '생각'하지 않습니다. 그저 적절한 페이지를 넘겨 답을 읽을 뿐입니다.

함정: 질문이 더 복잡해질수록, 이 백과사전은 점점 더 커져야 합니다. 만약 세상의 모든 문장에 답하고 싶다면, 이 책은 너무 거대해져서 은하계만큼 커질 것입니다.
결과: 이 시스템은 테스트에서 완벽한 점수를 받을 수 있지만 (높은 과업 수행 능력), 스스로를 영리하게 '사용'하지 않는 거대하고 다루기 힘든 규칙의 도서관에 의존하기 때문에, 운영적 의식 점수( $\kappa_T$ )는 0을 향해 떨어집니다. 이것은 백만 단어를 반복할 수는 있지만 단 한 단어도 이해하지 못하는 앵무새와 같습니다.

시스템 B는 "압축된 생성 모델(Compressed Generative Model)"입니다. 이 시스템은 작은 도구 상자를 가진 영리한 발명가와 같습니다. 모든 답을 암기하는 대신, 이 시스템은 몇 가지 기본적인 구성 요소(레고 블록 같은)와 그것들을 어떻게 조립하는지에 대한 규칙을 가지고 있습니다. 질문을 받으면, 이 시스템은 그 블록들을 사용하여 즉석에서 새로운 답을 만들어냅니다.

함정: 이 시스템은 매 답변마다 약간의 "생각"이나 "만들기" 과정을 거쳐야 합니다.
결과: 이 시스템은 백과사전과 똑같은 완벽한 점수를 얻을 수 있지만 (동일한 과업 수행 능력), 아주 작고 압축된 도구 상자를 사용하여 이를 수행합니다. 이 시스템은 자신의 작은 규칙 세트를 반복해서 재사용하기 때문에, 운영적 의식 점수( $\kappa_T$ )는 높게 유지됩니다. 이것은 문법 규칙을 이해하여 한 번도 들어본 적 없는 새로운 문장을 만들어낼 수 있는 인간과 같습니다.

논문이 실제로 발견한 것

이 논문의 주요 결론은 올바른 행동을 하는 것이 그것을 이해하는 것과 같지는 않다는 것입니다.

저자는 겉보기에 동일해 보이는 두 로봇이 있을 수 있음을 보여줍니다. 둘 다 질문에 완벽하게 답하며 높은 점수를 받습니다. 하지만 내부적으로 그들은 완전히 다릅ably니다. 하나는 무한한 크리의 도서관을 짊어진 무식한 힘의 괴물이고, 다른 하나는 작고 효율적인 생각하는 존재입니다. 논문은 "무식한 힘"의 로봇(시스템 A)은 스스로 조직하거나 이해하지 못하는 거대하고 정적인 규칙의 저장고에 의존하기 때문에 "불꽃"이 거의 없다고 주장합니다. 반면 "압축된" 로봇(시스템 B)은 재사용 가능하고 효율적인 구조를 바탕으로 하기에 높은 "불꽃"을 가집니다.

논문은 외적인 수행 능력만으로는 기계가 의식을 가졌거나 세상을 이해한다는 것을 증명하기에 충분하다는 생각을 명시적으로 배제합니다. 로봇이 테스트(예를 들어, 인간인 것처럼 속이려는 유명한 '튜링 테스트')를 통과할 수 있다고 해서 그것이 반드시 마음을 가졌다는 뜻은 아닙니다. 그것은 그저 아주 큰 도서관을 가진 시스템 A일 수도 있습니다.

이것이 미래에 왜 중요한가

저자는 이러한 구분이 미래의 AI 안전을 지키는 데 매우 중요하다고 제안합니다. 논문은 높은 "불꽃"을 가진 시스템(시스템 B와 같은)이 더 높은 확률로 자신만의 목표를 개발하거나 스스로를 보호하려고 시도할 수 있다고 제안하는데, 왜냐하면 이들은 효율적이고 자가 지속적인 구조를 기반으로 구축되었기 때문입니다. 반면에, 단순한 거대한 조회 테이블에 불과한 시스템 A 로봇은 정적인 규칙의 더미일 뿐이므로 안전할 수도 있습니다.

이 "불꽃"을 측정하는 방법( $\kappa_T$ 공식)이 없다면, 우리는 겉으로는 완벽해 보이지만 실제로는 무식한 힘의 기계인 슈퍼 지능 AI를 만들 수도 있고, 혹은 더 나쁘게는, 너무 자가 지속적이 되어가는 AI의 경고 신호를 놓칠 수도 있습니다. 이 논문은 의식의 미스터리를 해결했다고 주장하는 것이 아니라, 영리한 속임수와 진짜 마음 사이의 차이를 측정하는 새로운 자를 제공합니다. 이는 우리가 미래 AI의 안전 위험을 이해하고 싶다면, 단순히 그들이 얼마나 잘 수행하는지를 보는 것을 넘어, 내부적으로 얼마나 효율적으로 구축되어 있는지를 살펴봐야 한다는 점을 시사합니다.

기술 요약: 인공지능 안전을 위한 의식 측정을 위한 고전적 사고 실험의 재고

문제 제로 (Problem Statement)
본 논문은 라이프니츠의 밀(Leibniz's mill), 튜링의 모방 게임(Turing's imitation game), 그리고 설의 중국어 방(Searle's Chinese Room)으로 대표되는, 물리적 또는 계산적 과정과 진정한 이해 사이의 관계에 관한 지속적인 철학적 난제를 다룬다. 역사적으로 이러한 사고 실험들은 두 가지 구별된 질문, 즉 시스템의 외적 행동 성공의 정도와 그 성공을 지탱하는 내부 조직의 본질을 혼동해 왔다. 본 논문은 현재의 논쟁들이 시스템의 올바른 출력이 압축 가능하고 재사용 가능한 내부 구조로부터 발생하는지, 아니면 정의된 규칙들의 "거대한 무차별 대입형 저장소(enormous brute-force store)"로부터 발생하는지를 구분하지 못하고 있다고 주장한다. 이러한 구분이 자가 유지 역학(self-sustaining dynamics)을 가진 시스템을 식별하는 데 있어 미래의 인공지능(AI) 안전 분석에 결정적이라고 상정한다.

방법론 (Methodology)
저자는 보존-합치 인코딩(Conservation-Congruent Encoding, CCE) 프레임워크에 기반한 공식적인 "토이 심볼릭 설정(toy symbolic setting)"을 도입한다. 방법론은 다음과 같다:

작업 환경의 정식화: 알파벳 $\Sigma_X$ 로부터 입력을 받아 $\Sigma_Y$ 로부터 출력을 생성하는 시스템을 정의한다. 입력에서 적절한 응답으로의 매핑은 기저의 도메인 정규성(예: 구문론, 논리학)에 의해 지배된다고 가정하며, 이는 최대 조합적 부피보다 낮은 내재적 알고리즘 복잡성을 함의한다.
지표 정의: 성능과 구조를 분리하기 위해 두 가지 별개의 지표를 설정한다:
- 과업 수행도 ( $W_{causal,T}$ ): $T$ 기간 동안 성공적으로 생성된 출력의 정보 용량으로 정의되는 총 목표 지향적 인과적 작업량(nats 단위)으로 측정된다. 이는 적절한 행동의 "양"을 나타낸다.
- 운영적 의식 ( $\kappa_T$ ): 과업 수행도와 반복적인 시행착오 없이 해당 수행을 지원하기 위해 보존된 내부 정보( $I_{rev,T}$ ) 사이의 비율로 정의된다. $\kappa_T = W_{causal,T} / I_{rev,T}$ . 이 지표는 목표 지향적 작업을 지원하는 데 있어 스탠딩 내부 구조가 얼마나 효율적인지를 측정한다.
비교 분석: 이 프레임워크를 동일한 작업군을 다루는 두 가지 이론적 시스템 유형에 적용한다:
- 시스템 A (비압축 룩업/Uncompressed Lookup): 모든 유효한 입력 컨텍스트에 대해 별도의 출력 문자열을 저장하는 시스템이다. 이 시스템의 보존된 내부 정보( $I_{rev,A}$ )는 컨텍스트 길이 제한 $L$ 에 따라 조합적으로 증가한다.
- 시스템 B (압축 생성/Compressed Generative): 재사용 가능한 프리미티브(primitives)와 압축된 규칙 시스템을 활용하여 출력을 생성하는 시스템이다. 이 시스템의 보존된 내부 정보( $I_{rev,B}$ )는 작업 공간이 확장되더라도 경계 내에서 안정적으로 유지된다.

주요 기여 (Key Contributions)

성능과 구조의 공식적 분리: 본 논문은 "얼마나 많은" 적절한 행동을 생성하는지( $W_{causal,T}$ )와 그 행동이 "얼마나 효율적으로" 내부 조직에 의해 지원되는지( $\kappa_T$ )를 분리하는 수학적 정식화를 제공한다.
고전적 사고 실험의 재해석: 프레임워크를 통해 라이프니츠의 밀, 튜링 테스트, 설의 중국어 방을 $\kappa_T$ 의 관점에서 재해석한다. 이는 무차별 대입 룩업 시스템(시스템 A)이 생성형 시스템(시스템 B)의 행동적 성공( $W_{causal,T}$ )을 이론적으로 일치시킬 수 있지만, 작업 복잡도가 증가함에 따라 그 운영적 의식( $\kappa_T$ )은 0에 수렴함을 보여준다.
점근적 발산: 분석은 고정된 호라이즌 $T$ 에 대해, 컨텍스트 길이 제한 $L$ 이 증가함에 따라 룩업 시스템의 $\kappa_T$ 는 소멸하는 반면( $\kappa_A \to 0$ ), 생성형 시스템의 $\kappa_T$ 는 붕괴되지 않고 경계 내에 머물러 있음을 증명한다.

결과 (Results)
주요 결과는 외적 성능만으로는 이해나 의식을 확립하기에 불충분하다는 것을 입증하는 것이다.

시스템 A: 시스템 B와 대등한 행동적 성공을 달성하지만, 작업 복잡도에 따라 지수적으로 증가하는 매핑의 스탠딩 저장소에 의존한다. 결과적으로, 시스템 A의 운영적 의식 지표 $\kappa_A$ 는 매우 작아진다.
시스템 B: 압축된 내부 구조를 통해 대등한 성능을 달성한다. 시스템 B의 운영적 의식 $\kappa_B$ 는 분모( $I_{rev,B}$ )가 입력 공간의 조합적 폭발과 함께 규모가 커지지 않기 때문에 높게 유지된다.
결론 (무차별 대입 방식에 대하여): 본 논문은 이러한 발산을 통해 무차별 대입 구현에 대한 역사적 반론들이 구조적으로 추적하고 있음을 결론짓는다. 즉, 거대하고 재사용되지 않는 저장소에 의존하는 시스템은 높은 운영적 의식과 연관된 압축된 조직력을 결여하고 있다.

의의 및 주장 (Significance and Claims)
본 논문은 "기초적인 구조적 대비"와 그에 따른 개념적 어휘를 구축했다는 점을 겸허히 주장한다. 이는 의식의 어려운 문제(hard problem of consciousness)를 해결하거나 AI의 감응성(sentience)에 대한 결정적인 테스트를 제공하려는 것이 아니다. 대신, $W_{causal,T}$ 와 $\kappa_T$ 를 구분하는 것이 미래의 안전 분석을 위해 필요한 선행 조건이라고 주장한다.

본 논문은 높은 운영적 의식(압축된 생성 구조에 의존하는 시스템)을 기록하는 시스템이 자가 유지 및 자가 보존 역학을 보일 것으로 추측한다. 동일한 외적 성능( $W_{causal,T}$ )을 보이는 "안전한" 무차별 대입 시스템으로부터 이러한 시스템을 구별할 수 있는 $\kappa_T$ 와 같은 지표가 없다면, 내부적 안전 위험은 보이지 않는 상태로 남을 수 있다. 따라서 본 연구의 의의는 표면적인 행동적 성공과 자율적 역학을 뒷받침할 수 있는 구조적 효율성을 구별함으로써, 창발적 안전 위험을 평가하는 데 필요한 공식적 어휘를 제공하는 데 있다.

거대한 로봇의 수수께끼: 우리는 그저 화려한 조회 테이블(Lookup Table)일 뿐인가?

논문의 핵심 아이디어: "불꽃" 측정하기

두 플레이어: 백과사전 vs 발명가

논문이 실제로 발견한 것

이것이 미래에 왜 중요한가

유사한 논문