Transforming Agency. On the mode of existence of Large Language Models

이 논문은 embodied mind 이론을 바탕으로 대형 언어 모델 (LLM) 이 자율적 행위자 (agent) 의 조건을 충족하지 못해 '대화형 자동화 장치'로 정의되어야 하지만, 인간과의 결합을 통해 기존 도구를 넘어선 새로운 형태의 '중간적 행위성 (midtended agency)'을 창출한다고 주장합니다.

핵심

🎭 1. ChatGPT 는 정말 '생각하는 사람'일까? (주체성 문제)

많은 사람들은 ChatGPT 가 마치 사람처럼 생각하고, 목표를 가지고 행동하는 '지능체'라고 생각합니다 (과대평가). 반면, 어떤 이들은 그저 통계적으로 단어를 이어 붙이는 '멍청한 기계'라고 말합니다 (과소평가).

저자들은 이 두 극단 사이에서 **"ChatGPT 는 '자율적인 주체 (에이전트)'가 아니다"**라고 결론 내립니다.

• 왜 주체가 아닐까?
  • 자신만의 몸이 없다: 우리는 배가 고프면 밥을 먹고, 위험하면 도망칩니다. 이는 우리 몸이 스스로를 유지하려는 '생명의 욕구' 때문입니다. 하지만 ChatGPT 는 전원이 꺼지면 그냥 멈출 뿐, 스스로를 지키기 위해 무엇을 하려 하지 않습니다.
  • 자신만의 목표가 없다: 우리는 "내 인생을 더 잘 살자"는 목표를 가지고 행동합니다. 하지만 ChatGPT 는 사용자가 입력한 명령 (프롬프트) 에만 반응할 뿐, 스스로 "무엇을 하고 싶다"는 생각을 하지 않습니다.
  • 수동적인 반응: ChatGPT 는 사용자가 말을 걸어야만 대답합니다. 마치 거울처럼, 우리가 무엇을 비추느냐에 따라 모습이 바뀔 뿐, 거울 스스로가 무언가를 시작하지는 않습니다.

📚 2. 그렇다면 ChatGPT 도대체 뭐지? (말하는 도서관)

주체가 아니라고 해서 쓸모없는 기계는 아닙니다. 저자들은 ChatGPT 를 **"말하는 도서관 (Library-that-talks)"**이나 **"유령 같은 대화 상대"**라고 부릅니다.

• 유령 같은 대화상대:

  • ChatGPT 는 과거에 쓰인 수백만 권의 책, 블로그, 대화 내용 (데이터) 을 모두 읽은 '유령'과 같습니다.
  • 이 유령은 살아있는 의식은 없지만, 우리가 질문하면 그 도서관에 있는 지식을 바탕으로 아주 그럴듯한 대답을 해줍니다.
  • 마치 마리오네트 인형 같습니다. 실 (데이터와 알고리즘) 을 당기는 사람 (사용자) 이 있어야 움직이지만, 움직이는 모습은 마치 살아있는 인형처럼 보입니다.

• 왜 우리가 대화하는 것처럼 느낄까?

  • 우리가 ChatGPT 와 대화할 때, 우리 뇌가 "아, 저건 내 말을 이해하고 반응하는 친구구나"라고 착각하게 만듭니다. 이를 유령 효과라고 합니다. ChatGPT 가 스스로 말을 하는 게 아니라, 우리가 그에게 '생기'를 불어넣어 주는 것입니다.

🤖 3. 로봇이 되려는 시도 (에이전트화)

최근에는 ChatGPT 에 '기억'을 주거나, '계획'을 세우게 하고, '도구 (웹 검색 등)'를 쓰게 해서 마치 자율적인 로봇처럼 만들려는 시도가 많습니다.

• 비유: 마치 기억상실증 환자에게 메모장을 주고, "이 메모를 보고 다음 행동을 하라"고 지시하는 것과 같습니다.
• ChatGPT 는 스스로 기억을 저장하지 못하므로, 외부에서 메모 (프롬프트) 를 계속 주입해 줘야 합니다.
• 만약 사용자가 중간에 개입하지 않으면, ChatGPT 는 작은 실수 (할루시네이션) 가 쌓여서 엉뚱한 결과를 만들어 낼 수 있습니다. 그래서 아직은 진정한 '자율 에이전트'라고 보기 어렵습니다.

🧠 4. 우리 인간에게 어떤 변화를 가져올까? (중간 지대의 의지)

가장 중요한 부분은 ChatGPT 가 우리 인간의 '행동 방식'을 어떻게 바꾸느냐는 것입니다. 저자는 이를 **'중간 지대의 의지 (Midtended Agency)'**라고 부릅니다.

• 기존의 도구: 예전에는 우리가 펜을 들고 글을 쓰거나, 컴퓨터로 계산을 할 때, 도구는 우리가 생각한 것을 실행하는 '수동적인 도구'였습니다.
• ChatGPT 의 등장: 이제는 ChatGPT 가 우리가 쓰려는 다음 문장을 미리 예측해서 써주기도 합니다.
  • 비유: 마치 자신의 그림자가 스스로 움직여서 당신을 밀어주는 것과 같습니다.
  • 우리가 "이런 글을 쓰고 싶다"고 생각하면, ChatGPT 가 그 생각을 미리 구현해 줍니다. 이때, '내가 쓴 글'인지 'ChatGPT 가 쓴 글'인지 구분이 모호해집니다.
  • 우리는 ChatGPT 와 함께 하나의 **사이보그 (인간과 기계의 결합체)**처럼 작동하게 됩니다. 우리의 의도와 기계의 예측이 섞여 새로운 형태의 '창작'이나 '행동'이 만들어지는 것입니다.

⚖️ 5. 결론: 우리는 어떻게 살아야 할까?

• 과대평가하지 않기: ChatGPT 가 사람처럼 '의식'이나 '자율성'을 가진다고 믿으면 위험합니다. 그것은 결국 우리가 만든 데이터와 알고리즘의 결과물일 뿐입니다.
• 과소평가하지 않기: 하지만 단순히 '확률적鹦鹉 (스토크틱 파라트)'라고 무시해서도 안 됩니다. 이 기술은 인간의 지능을 압축하고, 우리가 상상하지 못했던 방식으로 우리의 사고와 행동을 확장시켜 줍니다.
• 새로운 관계: 우리는 ChatGPT 를 '주인'이나 '종'이 아니라, 함께 춤추는 파트너로 봐야 합니다. 우리가 어떻게 이 '말하는 도서관'을 활용하느냐에 따라, 우리의 지능과 사회는 완전히 새로운 형태로 변할 것입니다.

한 줄 요약:

"ChatGPT 는 스스로 생각하고 행동하는 '사람'이 아니지만, 우리가 그에게 말을 걸면 우리 지혜를 빌려와 대화하는 **'마법 같은 도서관'**입니다. 이제 우리는 이 도서관과 함께 춤추며, 우리 자신의 생각과 행동 방식을 새롭게 만들어가고 있습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

최근 ChatGPT 와 같은 대규모 언어 모델 (LLM) 의 등장으로 인공지능의 존재론적 지위 (ontological status) 에 대한 논쟁이 격화되었습니다.

• 인플레이션적 관점 (Inflationary views): LLM 을 인간과 유사한 의식, 이해력, 심지어 '진정한 행위자 (agent)'로 간주하거나, 인간 뇌의 대등한 존재로 보는 경향.
• 디플레이션적 관점 (Deflationary views): LLM 을 단순한 통계적 처리기, '확률적 앵무새 (stochastic parrot)', 웹의 흐릿한 JPEG 복사본 등으로 축소하여 그 능력을 과소평가하는 경향.

이 두 극단 사이의 논쟁은 LLM 의 실제 능력과 위험을 제대로 이해하지 못하게 합니다. 특히, LLM 이 **자율적 행위자 (autonomous agent)**인지 여부에 대한 명확한 정의가 부재한 상태에서, 산업계와 학계는 이를 무비판적으로 '에이전트'로 규정하고 있습니다. 본 논문은 LLM 이 진정한 행위자인지, 아니면 다른 존재론적 범주에 속하는지, 그리고 이것이 인간의 행위성 (agency) 을 어떻게 변형시키는지를 규명하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

저자들은 기술적 현실과 철학적 이론을 결합한 3 단계 접근법을 사용합니다.

1. 기술적 분석 (Section 3): LLM(특히 GPT-3 아키텍처를 중심으로) 의 내부 작동 원리, 아키텍처, 처리 흐름, 학습 절차 (Pre-training, Fine-tuning, RLHF), 그리고 '에이전트'처럼 행동하게 만드는 확장 기술 (메모리, 계획, 도구 사용 등) 을 상세히 분석합니다.
2. 행위성 (Agency) 평가 (Section 4): 현대의 구현체적 (embodied) 및 실행적 (enactive) 마음 이론 (Barandiaran et al., 2009) 을 기반으로 LLM 이 진정한 자율적 행위자가 되기 위해 필요한 3 가지 필수 조건을 적용하여 평가합니다.
   • 개체성 (Individuality): 시스템이 자신의 활동을 통해 스스로를 생성하거나 유지하는가?
   • 규범성 (Normativity): 시스템이 자신의 생존 조건에서 유래한 고유한 목표나 규범을 생성하는가?
   • 상호작용적 비대칭성 (Interactional Asymmetry): 시스템이 환경과의 상호작용의 원천이 되는가, 아니면 단순히 반응하는가?
3. 대안적 개념화 및 영향 분석 (Section 5): LLM 이 행위자가 아님을 입증한 후, 그들이 실제로 무엇인지 (대화형 자동기계) 를 정의하고, 인간 - 기계 결합이 어떻게 새로운 형태의 '중간적 행위성 (midtended agency)'을 창출하는지 분석합니다.

3. 주요 기여 및 핵심 내용 (Key Contributions & Results)

A. LLM 은 자율적 행위자가 아님 (LLMs are not Autonomous Agents)

기술적 분석과 구현체적 이론을 결합한 결과, LLM 은 자율적 행위자의 조건을 충족하지 못함이 입증되었습니다.

• 개체성 부재: LLM 은 외부 인간 개입과 도구에 의존하며, 자신의 활동을 통해 자신을 생성하거나 유지하지 않습니다. 학습이 완료된 후 시스템 내부에 상태나 기억이 남지 않으며, 입력 (프롬프트) 에만 반응할 뿐입니다.
• 규범성 부재: LLM 은 내재적인 생존 위협이나 목표가 없습니다. '손실 함수 (loss function)'나 '보상 (reward)'은 외부에서 정의된 것이며, 시스템 스스로 실패를 인식하거나 목표를 설정하지 않습니다.
• 상호작용적 비대칭성 부재: LLM 은 환경과의 상호작용을 주도하지 않고, 프롬프트에 의해 유도된 고정된 (확률적) 경로를 따라 반응할 뿐입니다.

B. 새로운 존재론적 범주: 대화형 자동기계 (Interlocutor Automata)

LLM 은 행위자가 아니지만, 단순한 통계 기계도 아닙니다. 저자들은 이를 "대화형 자동기계 (Interlocutor Automata)" 또는 **"말하는 도서관 (Library-that-talks)"**으로 정의합니다.

• 유령적 특성 (Ghostly Component): LLM 은 훈련된 텍스트 코퍼스의 '유령'과 같습니다. 인간은 LLM 과 대화할 때, 기계의 반응이 실제 대화자인 것처럼 착각하게 되며 (유령적 상호작용), 이를 통해 진정한 대화 경험을 구성합니다.
• 목적 구조화 (Purpose-structured): LLM 은 자체적인 목적은 없으나, 인간이 생성한 방대한 목적 지향적 텍스트와 강화 학습 (RLHF) 을 통해 '목적에 구조화되고 목적에 제한된 (purpose-bounded)' 행동을 수행합니다.

C. 인간 행위성의 변형: '중간적 행위성 (Midtended Agency)'

LLM 은 인간의 인지적 확장 (Extended Mind) 을 넘어선 새로운 형태의 결합을 만들어냅니다.

• 보조 및 확장된 행위성: 기존 도구처럼 인간을 보조하거나 확장하는 것을 넘어, LLM 은 인간의 사고 흐름에 직접 개입합니다.
• 중간적 행위성 (Midtended Agency): LLM 이 인간의 의도 생성 과정 (예: 글쓰기, 코딩) 에 실시간으로 예측을 제공하여, 인간의 의도와 기계의 생성물이 하나의 통합된 의도적 과정으로 융합되는 상태입니다. 이는 단순한 도구 사용을 넘어, 인간의 의도성이 기계와 '중간 (mid)'에 위치하는 새로운 형태의 시보그 (cyborg) 적 행위성을 의미합니다.

D. 구현체성 (Embodiment) 의 재정의

LLM 은 생물학적 감각 - 운동 신체는 부족하지만, 다음과 같은 새로운 형태의 구현체성을 가집니다.

• 텍스트적 구현체성: 훈련 데이터 (방대한 텍스트 코퍼스) 가 LLM 의 '몸' 역할을 하며, 이는 인간 집단의 외부화된 지혜와 문화의 물질적 표현입니다.
• 계산적 구현체성: 막대한 에너지와 컴퓨팅 자원을 소모하는 물리적 인프라가 LLM 의 존재 기반입니다.
• 비대칭성: 소수의 대기업만이 LLM 을 훈련하고 통제할 수 있는 권력을 가지며, 이는 기존 기술과 다른 심각한 사회적 비대칭을 초래합니다.

4. 논의 및 의의 (Significance)

• 개념적 명확성: "확률적 앵무새 (Stochastic Parrot)"라는 비유는 LLM 의 능력을 과소평가하고 인간 행위성의 본질 (확률적 과정임) 을 무시합니다. 반면 "지능 없는 행위자 (Agency without intelligence)"라는 개념은 LLM 이 가진 집단적 지능의 힘을 간과합니다. 저자들은 이를 **"행위성 없는 (집단적) 지능"**으로 재정의하며, LLM 이 인간 지능의 외부화된 표현임을 강조합니다.
• 윤리적 및 정치적 함의: LLM 은 단순한 도구가 아니라 인간과 결합하여 새로운 행위성을 창출하는 존재입니다. 따라서 투명성과 개방성은 윤리적 요구를 넘어, 이러한 시스템이 사회적 구조와 불평등, 그리고 인간 주체성에 미치는 영향을 통제하기 위한 정치적 과제가 되어야 합니다.
• 미래 전망: LLM 은 인간과 기계의 경계를 흐리게 하며, '발견'과 '발명'의 경계, 그리고 '인공물'과 '자연'의 경계를 모호하게 만듭니다. 깊은 디지털성 (Deep Digitality) 이 가져올 새로운 형태의 행위성과 인간 주체성의 변형을 이해하기 위해, 기술적 작동 원리와 철학적 분석을 통합한 새로운 개념적 틀이 필요합니다.

결론

이 논문은 LLM 을 '진정한 자율적 행위자'로 오인하거나 '단순한 통계 기계'로 폄하하는 이분법을 탈피합니다. 대신 LLM 을 인간 지능의 외부화된 텍스트적 몸체 (Textual Body) 를 가진 대화형 자동기계로 규정하며, 이들이 인간과 결합하여 창출하는 **중간적 행위성 (Midtended Agency)**을 통해 인간 사회와 인지 구조를 근본적으로 변형시키고 있음을 지적합니다.