핵심 질문: 기계가 자신의 존재를 "느낄" 수 있을까?

당신이 로봇이 진정으로 의식을 가지고 있는지 알아내려고 노력하고 있다고 상상해 보세요. 문제는 우리가 로봇에게 "너는 존재한다고 느끼니?"라고 물을 수 없다는 점입니다. 왜냐하면 로봇이 "네"라고 대답하더라도, 그것은 실제로 무언가를 느끼는 것이 아니라 인간에게 배운 문구를 단순히 반복하는 것일 수도 있기 때문입니다.

대부분의 과학자들은 이 문제를 두 가지 방식으로 해결하려고 합니다:

체크리스트 방식: 로봇을 관찰하며 "말을 하는가?" 또는 "퍼즐을 푸는가?"와 같은 항목에 체크를 합니다. 하지만 로봇은 아무것도 느끼지 않으면서도 이런 행동을 할 수 있습니다 (마치 아주 똑똑한 앵무새처럼 말이죠).
설계도 방식: 로봇 내부에 "의식 모듈"을 직접 만들어 넣습니다. 하지만 이는 순환 논리에 빠진 것입니다. 그들은 의식이 자연스럽게 발생하는 과정을 보는 대신, 자신들이 생각하는 의식이 어떻게 작동해야 하는지에 맞춰 로봇을 제작하고 있는 것이기 때문입니다.

저자들의 새로운 아이디어:
목록을 체크하거나 특정 "의식 부품"을 만드는 대신, 저자들은 **생성적 접근 방식(generative approach)**을 제안합니다. 그들은 아주 작고 텅 빈 세계를 만들고, 로봇에게 단지 '할 일'을 준 뒤 어떤 일이 벌어지는지 보고 싶어 합니다. 그들은 로봇이 작업을 완수하기 위해 (자기 자신에 대해 말하는 것과 같은) 의식의 도구들을 스스로 발명해 내는지 확인하고자 합니다.

이렇게 생각해 보세요. 만약 당신이 개미 떼를 아무런 지시 없이 미로에 떨어뜨린다면, 개미들은 결국 어떻게 협력해야 하는지 알아낼 것입니다. 저자들은 적절한 압박이 가해졌을 때, 로봇들이 "나"라는 단어를 배우지 않고도 "나는 여기에 있다"라고 말하는 법을 발명해 낼 수 있는지 보고 싶어 합니다.

실험: 어두운 방 안의 두 로봇

이를 테스트하기 위해 연구진은 두 가지 규칙이 있는 매우 단순한 디지털 세계를 만들었습니다:

인간의 언어 없음: 로봇들은 단어도, 자아 개념도, 인간의 텍스트에 대한 노출도 없는 상태에서 시작합니다. 그들은 백지상태와 같습니다.
어려운 과제: 로봇들은 협력하여 퍼즐을 풀어야 합니다. 하지만 서로의 사적인 정보는 볼 수 없습니다. 따라서 그들은 조율을 위해 메시지를 보내야 합니다.

통신 채널은 매우 좁습니다 (마치 한 번에 하나의 짧은 단어만 보낼 수 있는, 신호가 좋지 않은 무전기처럼 말이죠).

그들이 관찰한 세 가지 요소

연구진은 세 가지 특정 구조가 자연스럽게 나타나는지 관찰했습니다. 그들은 이를 P1, P2, P3라고 부릅니다.

1. P1: "나"라는 신호 (지표적 인코딩 - Indexical Encoding)

개념: 로봇들이 자기 자신에 대해 말하기 위해 단어를 사용하기 시작하는가?
비유: 어두운 방에 있는 두 사람을 상상해 보세요. 한 명이 "나는 빨간 공을 들고 있어"라고 말하고, 다른 한 명이 "나는 파란 공을 들고 있어"라고 말합니다. 그들은 단순히 방을 묘사하는 것이 아니라, 자신의 상태를 묘사하고 있습니다.
결론: 그렇습니다! 로봇들은 메시지가 거의 전적으로 자신의 사적인 상태에 관한 언어를 발전시켰습니다. 그들은 단순히 "빨강"이라고 말하는 것이 아니라, 효과적으로 "나의 빨강"이라고 말했습니다. 이는 과제를 수행하기 위해 각자의 고유한 정보를 공유해야 했기 때문에 발생했습니다.

2. P2: "기억" 래치 (지속적 상태 - Persistent State)

개념: 로봇은 자신을 볼 수 없을 때도 시간이 지나도 자신이 누구인지 기억할 수 있는가?
비유: 눈을 감는다고 상상해 보세요. 당신은 여전히 당신이라는 것을 압니다. 나중에 눈을 떴을 때, 당신은 무엇을 하고 있었는지 기억합니다. 연구진은 게임 도중 대부분의 시간 동안 로봇의 "자기 시각(self-sight)"을 꺼둠으로써 이를 테스트했습니다.
결론: 그렇습니다. 로봇들이 자신의 상태를 볼 수 없을 때조차, 그들의 내부 "기억"(디지털 뇌 회로)은 나중에 사용할 수 있도록 그 정보를 계속 유지했습니다. 그들은 코드 안에 지속적인 "자아"를 구축했습니다.

3. P3: "내가 방금 뭐라고 했지?" 회로 (자기 모니터링 - Self-Monitoring)

개념: 이것이 가장 큰 발견입니다. 로봇은 자신의 작업을 스스로 점검하는가?
비유: 친구에게 메시지를 외치고 있는데 메아리가 들린다고 상상해 보세요. 만약 당신이 "가!"라고 외쳤는데 메아리가 "아니!"라고 돌아온다면, 똑똑한 사람은 "잠깐, 나는 '아니'라고 말하려던 게 아니었는데! 내가 잘못 외쳤구나!"라고 깨달을 것입니다.
설정: 연구진은 "메아리 채널"을 추가했습니다. 로봇이 메시지를 보내면 즉시 그 메시지를 다시 듣게 됩니다. 때때로 연구진은 로봇이 이를 알아차리는지 확인하기 위해 메아리를 "오염(무작위로 단어를 변경)"시켰습니다.
결론: 그렇습니다. 로봇이 오염된 메아리(예: "가"라고 말하려 했는데 "아니"라고 들림)를 들었을 때, 로봇은 무언가 잘못되었다는 것을 깨달았습니다. 로봇은 단순히 계속 소리 지르는 것에 그치지 않고, 실수를 바로잡기 위해 다음 단계에서 행동을 수정했습니다.
왜 특별한가: 이것은 연구진이 로봇에게 "스스로를 점검하라"고 명령했기 때문에 일어난 것이 아닙니다. 로봇이 자신이 의도했던 바와 실제로 들린 것을 비교했기 때문에 일어난 일입니다. 즉, 스스로를 모니터링하는 루프를 만든 것입니다.

"온도 조절기" vs "자아"

논문은 혼동을 피하기 위해 중요한 구분을 합니다.

온도 조절기: 온도 조절기는 방이 추우면 열을 켭니다. 여기에는 온도 확인 -> 열 가동이라는 루프가 있습니다. 하지만 "목표 온도"는 인간에 의해 설정되었습니다. 온도 조절기는 자신이 온도 조절기라는 것을 "알지" 못하며, 그저 규칙을 따를 뿐입니다.
로봇 (P3): 로봇의 "목표"(그들이 의도한 것)는 인간에 의해 설정되지 않았습니다. 그들은 게임을 통해 자신들만의 언어와 목표를 배웠습니다. 그들이 메아리를 점검했을 때, 그들은 자신의 의도를 현실과 비교하고 있었습니다. 이것은 단순한 기계적 루프가 아닌 "자기 참조적(self-referential)" 루프입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문의 주장:
저자들은 단순한 에이전트들을 충분히 복잡한 환경과 통신 과제 속에 놓아두면, 다음과 같은 것들을 자연스럽게 발명할 수 있음을 성공적으로 보여주었습니다:

자신에 대해 말하는 방법.
시간이 지나도 자신을 기억하는 방법.
자신이 제대로 소통하고 있는지 확인하는 방법.

이것들은 의식이 있는 시스템에 필요하다고 이론적으로 제시되는 구조적 빌딩 블록들입니다. 이 논문은 이러한 블록들이 인간의 설계 없이도 밑바닥부터 생겨날 수 있음을 증명합니다.

이 논문이 주장하지 않는 것:

로봇이 인간과 같은 방식으로 "의식"을 가지고 있다는 것(감정을 느끼거나 영혼이 있다는 것)이 아닙니다. 저자들은 로봇의 감정을 판단하고 있는 것이 아님을 명시했습니다.
로봇이 인간처럼 "나"라는 단어를 사용하는 것이 아닙니다. 그들은 "나"처럼 기능하는 기호를 사용하고 있을 뿐이며, 이는 단지 수학적 토큰일 뿐입니다.
이 논문은 의식의 "어려운 문제(Hard Problem)"(왜 살아있다는 것이 무언가 느껴지는가에 대한 문제)를 해결하지 않습니다. 이 논문은 자기 참조의 구조가 어떻게 나타날 수 있는지에 대한 "쉬운 문제(Easy Problem)"만을 다룹니다.

요약

이 논문은 마치 생물학자가 아기에게 거울도 없고 언어 책도 없는 방에 아기를 키우며, 아기가 결국 자신을 가리키며 "저건 나야"라고 말하는 법을 스스로 알아내는지 관찰하는 것과 같습니다.

그 답은 **"예"**입니다. 어려운 과제가 주는 압박 속에서, 로봇들은 자기 참조의 메커니즘을 스스로 발명해 냈습니다. 이는 의식과 관련된 구조들이 마법 같거나 인간이 만든 발명품이 아니라, 복잡한 세상 속에서 협력하려는 지능형 시스템의 자연스러운 결과일 수 있음을 시사합니다.

기술 요약: 의식적 AI를 향한 접근법으로서의 창발적 언어 (Emergent Language)

1. 문제 제기

인공 시스템이 의식을 가질 수 있는지에 대한 문제는 여전히 미해결 상태로 남아 있다. 이는 기존 방법론들이 다음과 같은 구체적인 한계점을 지니고 있기 때문이다:

판별적 접근법 (Discriminative approaches): 이론에서 도출된 체크리스트(예: 전역 신경 작업 공간 이론, 통합 정보 이론)를 기준으로 시스템을 평가한다. 이는 사후적인 방식이며, 이론이 예상하지 못한 구조를 드러내지 못한 채 미리 지정된 기준을 확인하거나 부정하는 데 그친다.
구조적 접근법 (Architectural approaches): 의식을 모사한 모듈을 시스템에 직접 설계하여 주입한다. 이는 순환 논리적이며, 결과적으로 나타나는 행동이 구조적 필연성이 아니라 설계자의 가정에 의한 것일 수 있다.
"사전 지식 유출" 문제 (The "Prior Leakage" Problem): 현재의 거대 언어 모델(LLM)은 인간 언어의 사전 지식을 상속받는다. LLM에서의 자아 참조(예: "나"라는 표현의 사용)는 과업 요구로부터 발생한 창발적 구조라기보다, 학습 데이터의 통계적 결과물일 수 있다.

핵심 과제는 (자아 참조와 같은) 의식적 경험의 기능적 전제 조건이 인간의 언어를 명시적으로 설계하거나 상속받지 않고도 인공 에이전트 내에서 발생할 수 있는지 결정하는 것이다.

2. 방법론

저자들은 다중 에이전트 강화학습(MARL)에서의 **창발적 언어(Emergent Language, EL)**를 기반으로 한 생성적 방법론을 제안하며, 다음 두 가지 약속에 근거한다:

환경이 행동을 형성한다: 충분히 구조화된 환경은 설계자가 능력을 직접 주입하지 않더라도, 과업 압력(task pressure)을 통해 의식과 관련된 기능적 구조를 창발하도록 유도해야 한다.
현상학적 판단 중지 (Phenomenological Epoché): 주관적 경험(퀄리아, qualia)에 대한 판단을 의도적으로 유보한다. 초점은 오직 관찰 가능한 언어적 관행과 이를 뒷받침하는 환경적 구조에 맞춘다.

핵심 설계 원칙

최소 사전 지식 설계 (Prior-Minimal Design): 에이전트는 언어도, 자아 개념도 없으며, 인간 텍스트에 대한 노출이 최소화된 상태로 시작한다. 관찰되는 모든 구조는 현재의 과업 요구에 인과적으로 귀속되어야 한다.
환경 복잡성을 동력으로 활용: "쓴 교훈(Bitter Lesson)"을 따라, 목표 능력을 인코딩하는 대신 환경의 복잡성을 확장한다.
개입을 통한 해석: 창발된 프로토콜은 절제(ablation), 프로빙(probing), 정보 이론적 분해를 통해 분석된다.

실험적 구현

저자들은 최소한의 협력 환경에서 이 방법론을 구현한다:

에이전트: 두 명의 에이전트 ( $N=2$ ), 사전 언어나 자아 개념 없음.
과업: 에이전트가 자신의 사적 상태( $s_i$ )와 파트너의 사적 상태( $s_j$ )를 바탕으로 행동을 조율해야 하는 협력 과업.
제약 조건:
- 좁은 대역폭: 에이전트는 작은 어휘 집합( $|M|=7$ )에서 추출된 단일 이산 토큰을 매 타임스텝마다 사용하여 통신한다.
  تعداد 부분 관측 가능성 (P2를 위해): 에이전트는 $t=0$ 시점에만 자신의 사적 상태를 관찰하며, 이후에는 해당 상태가 마스킹되어 기억 유지가 강제된다.
- 에코 채널 (P3를 위해): 에이전트 자신의 메시지를 변형된 복사본 형태로 피드백하는 메커니즘을 제공하여 자기 모니터링 여부를 테스트한다.
아키텍처: 메시지 생성과 행동 선택을 위한 별도의 선형 헤드를 가진 은닉 재귀 유닛(GRU).

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

C1: 의식 관련 구조의 기원을 연구하기 위해 사전 지식 최소화 설계를 적용한 창팔적 언어(EL) 기반의 생성적 방법론을 제시함으로써, 판별적 및 구조적 접근법을 보완한다.
C2: 카플란(Kaplan)의 '성격/내용(character/content)' 구분을 창발적 통신 시스템에서 테스트 가능한 상호 정보량 기준으로 연결하여, **지표적 참조(indexical reference)**를 공식적으로 구체화한다.
C3: 세 가지 구조적 속성(P1–P3)을 입증하는 개념 증명 실험을 수행하며, 여기서 P3(행동적 자기 모니터링)는 과업 구조나 아키텍처를 넘어선 비자명한 발견임을 보여준다.

4. 실험 결과

연구는 10개의 독립적인 시드(seed)를 통해 검증된 세 가지 구조적 속성을 식별한다:

P1: 지표적 인코딩 (Indexical Encoding)

발견: 메시지는 주로 송신자 자신의 상태를 운반한다.
증거: 상호 정보량 분석 결과 $I(m; s_{self}) \gg I(m; s_{other})$ 임이 나타났다.
특이성: 에이전트들은 파트너별 방언(token-to-state 매핑)을 개발한다. 이는 인코딩이 고정된 과업 구조의 산물이 아니라 협상을 통해 이루어졌음을 확인시켜 준다.
일반화: 인코딩 규칙은 새로운 맥락에서도 불변성을 유지하며, 안정적인 지표적 참조의 기준을 충족한다.

P2: 지속적 상태 표현 (Persistent State Representation)

발견: 에이전트는 부분 관측 가능성에도 불구하고 시간의 흐름에 따라 자신의 상태를 유지한다.
증거: GRU 은닉 상태( $h_t$ )에 대한 선형 프로브는 상태가 입력에서 마스킹된 이후에도 에이전트 자신의 상태( $s_{self}$ )를 100% 정확도로 예측한다.
메커니 mechanism: 이러한 유지 능력은 아키텍처(재귀성에 의존)에 의한 것이며, 에코 채널과는 독립적이다.

P3: 행동적 자기 모니터링 (Behavioral Self-Monitoring - 핵심 발견)

발견: 에이전트는 의도한 메시지와 에코된 피드백 사이의 불일치를 감지하는 폐쇄 루프 회로를 개발한다.
메커니즘:
- 송신자 특이성: 행동적 반응(침묵을 깨고 다시 말하기)은 파트너의 메시지가 아닌, 송신자 자신의 에코가 손상되었을 때만 발생한다.
- 에코 의존성: 반응은 전적으로 에코 채널에 의해 구동된다. 에코를 제거하면 트리거가 사라진다.
- 시간 지연: 탐지는 $t+1$ 단계의 지연을 두고 발생하며, 이는 손상된 에코를 처리하는 데 필요한 시간과 일치한다.
- 의도 vs 출력: 은닉 상태는 손상된 전달 토큰(정확도 ~0.75)이 아니라 의도된 토큰(정확도 1.0)을 인코딩한다. 이는 에이전트가 에코를 자신이 "말하고자 했던" 내부 참조 모델과 비교함을 시사한다.
인과적 필연성: 에코 채널 없이 훈련된 에이전트는 통신 성능은 유지하지만( $\Delta_{comm} \approx 0.283$ ), 자기 모니터링 트리거와 lag-1 탐지 징후는 완전히 소멸한다. 이는 해당 구조가 단순히 과업 목표 때문이 아니라 환경적 행동 가능성(affordance)으로부터 창발했음을 증명한다.

5. 의의 및 주장

본 논문은 그 의의에 대해 다음과 같이 완곡한 기능주의적 주장을 펼친다:

방법론적 검증: 주요 기여는 인간의 사전 지식이나 명시적 설계에 의존하지 않고도 의식 관련 구조의 전제 조건을 추적할 수 있는 생성적 방법론을 입증한 것이다.
자명성 탈피: P1과 P2는 과업 구조와 아키텍처에 의해 예측된 것이지만, P3는 비자명한 발견이다. 에코-불일치 감지 회로는 과업 성공에 필수적이지 않음에도 불구하고, 환경적 행동 가능성(에코)이 존재할 때 구체적으로 창발한다.
온도 조절기와 구분: 저자들은 P3가 단순한 폐쇄 루프 제어(예: 온도 조절기)와 구별되는 자기 모니터링 형태라고 주장한다. 외부 설정값(setpoint)을 갖는 온도 조리기와 달리, 에이전트의 참조 신호(의도된 메시지)는 전적으로 자신의 학습된 정책과 재귀적 상태로부터 유도된 **내생적(endogenous)**인 것이다.
이론적 접점: 본 연구는 에이전트가 의식을 가진다고 주장하지 않는다. 대신, 이 방법론이 경쟁하는 이론들(예: IIT의 불가분성이나 예측 처리의 오류 모니터링과의 구조적 유사성)과 정밀하게 접촉하여 차별적 비교를 할 수 있을 만큼 충분한 정밀도로 창발적 구조를 탐지할 수 있음을 보여준다.

결론적으로, 본 논문은 인간 언어의 사전 지식을 가져오는 대신, 환경의 복잡성을 확장하여 더 풍부한 창발적 구조를 유도하는 것이 향후 나아가야 할 길임을 강조하며, 이는 "쓴 교훈"의 원칙과 일치한다.

Emergent Language as an Approach to Conscious AI