LLMorphism: When humans come to see themselves as language models

당신이 평생 아름다운 시를 쓰는 것이 영혼과 감정, 그리고 세계에 대한 깊은 이해를 증명한다고 믿어왔다고 상상해 보세요. 그런데 갑자기 당신만큼, 혹은 그보다 더 아름다운 시를 쓸 수 있는 기계가 나타납니다.

처음에는 "와, 이 기계는 정말 인간적이야!"라고 생각할지도 모릅니다. (과학자들은 이를 인격화—기계에 인간적 특성을 부여하는 것—이라고 부릅니다.)

하지만 이 논문은 그보다 더 기이한 일이 다음에 일어난다고 주장합니다. 기계가 너무 잘 쓰기 때문에, 우리는 역으로 사고방식을 바꿀 수 있습니다. "기계가 인간처럼 글을 쓸 수 있다면, 아마도 인간도 기계처럼 작동하는 것이겠지"라고 생각하기 시작할 수 있습니다.

저자는 이 새로운 편향을 LLM 이즘이라고 부릅니다. 이는 우리의 뇌가 대규모 언어 모델 (AI 채팅 봇) 과 정확히 동일하게 작동한다는 잘못된 믿음입니다.

일상적인 비유를 통해 이 현상이 어떻게 일어나는지, 왜 문제인지, 그리고 어디로 우리를 이끌 수 있는지 간단히 설명해 보겠습니다.

1. "역거울" 효과

보통 우리는 기계를 보며 "이건 살아있을까?"라고 묻습니다.
이제 우리는 자신을 보며 "우리는 그냥 알고리즘일까?"라고 묻습니다.

이 논문은 이것이 우리 뇌가 하는 두 가지 주요 트릭 때문에 일어난다고 말합니다:

• "흉내내기" 트릭 (유사 전이): 외형이 비슷한 두 가지 것을 보면, 우리는 내부 작동 방식도 같다고 가정합니다.

  • 비유: 새와 비행기를 본다고 상상해 보세요. 둘 다 날아갑니다. 그래서 당신은 비행기가 새처럼 깃털과 심장을 가지고 있다고 가정할지도 모릅니다.
  • 현실: 비행기는 엔진과 공기역학 때문에 날고, 새는 근육과 생물학 때문에 납니다. 둘 다 날아간다는 점은 같지만, 그 "엔진"은 완전히 다릅니다.
  • LLM 이즘: 인간과 AI 가 모두 단어를 생성하는 것을 봅니다. 그래서 우리는 우리 뇌가 컴퓨터처럼 "다음 단어를 예측"하는 것일 뿐이라고 가정하고, 인간은 감정과 몸, 실제 삶의 경험을 가지고 있다는 사실을 무시합니다.

• "새로운 사전" 트릭 (비유적 가용성): 새로운 기술이 대중화되면, 우리는 그 기술의 용어로 우리 자신의 삶을 설명하기 시작합니다.

  • 비유: 1950 년대에는 사람들이 마음을 "수력 시스템" (수압) 으로 묘사했습니다. 1980 년대에는 "컴퓨터" (데이터 처리) 로 묘사했습니다. 이제 우리는 생각을 "학습 데이터", "프롬프트", "환각"으로 묘사하기 시작하고 있습니다.
  • 위험: 만약 우리가 기억을 "학습 데이터"로, 창의성을 "패턴의 재조합"으로 생각하기 시작한다면, 우리는 실제로 느끼고 사는 존재라는 사실을 잊을 수 있습니다.

2. 왜 이것이 위험한가 (우리를 해치는 "다섯 가지 방법")

이 논문은 우리가 AI 와 똑같다고 믿기 시작하면, 다섯 가지 구체적인 방식으로 서로를 대하는 방식이 바뀔 수 있다고 제안합니다:

• "대체 가능" 함정:

  • 비유: 만약 직원을 그냥 "텍스트 생성기"로 생각한다면, "왜 인간을 유지하지? 기계가 같은 일을 더 빠르게 해내는데"라고 생각할 수 있습니다.
  • 결과: 우리는 인간의 판단과 배려를 무시하고, 그들의 유일한 일이 출력물을 생산하는 것이라고 생각하기 때문에 인간 노동자의 가치를 떨어뜨릴 수 있습니다.

• "유창함" 함정:

  • 비유: 완벽한 연설을 외울 수는 있지만 한 마디도 이해하지 못하는 학생을 상상해 보세요. 우리가 AI 처럼 생각한다면, "좋아! 올바른 단어를 만들어냈으니 분명 똑똑한 거야"라고 말할 수 있습니다.
  • 결과: 우리는 똑똑하게 들리는 것(유창함) 과 실제로 똑똑한 것(진정한 이해) 을 혼동할 수 있습니다. 학교나 병원에서는 사람들이 확신에 차서 말하기만 한다면, 실제로 그들이 무엇을 알고 있는지 확인하는 것을 멈출 수 있습니다.

• "책임 없음" 함정:

  • 비유: 자동차가 결함으로 인해 추락하면, 우리는 자동차를 비난하지 않고 코드를 수정합니다. 만약 우리가 인간을 그냥 "코드"로 생각한다면, "그는 당신을 해치려던 의도가 없었어. 그의 '입력'이 그냥 그런 '출력'으로 이어졌을 뿐이야"라고 말할 수 있습니다.
  • 결과: 우리는 사람들의 행동에 대해 책임을 묻는 것을 멈출 수 있습니다. "왜 그렇게 했어?"라고 묻는 대신 "무슨 데이터가 당신을 그렇게 하게 했어?"라고 묻기 시작할 수 있습니다. 이는 우리의 책임감과 도덕적 감각을 약화시킵니다.

• "몸 무시" 함정:

  • 비유: AI 는 텍스트만 읽습니다. 두려움으로 떨리는 환자나 울고 있는 아이를 볼 수 없습니다. 우리가 AI 처럼 생각한다면, 사람들이 무엇이라고 말하는지에만 관심을 가지고, 그들이 어떻게 보이는지나 어떻게 느끼는지에는 관심을 두지 않을 수 있습니다.
  • 결과: 의료 분야에서 의사는 환자의 말이 "괜찮아" 들린다면 환자의 몸짓이나 고통을 무시할 수 있습니다. 누군가가 완벽하게 표현하지 못하기 때문에 고통받고 있다는 사실을 놓칠 수 있습니다.

• "가짜 진실" 함정:

  • 비유: AI 는 매우 설득력 있게 들리는 사실을 만들어낼 수 있습니다 (환각). 만약 우리가 인간도 같은 방식으로 작동한다고 생각한다면, "설득력 있게 들리는 것"이 "진실인 것"과 같다고 생각하기 시작할 수 있습니다.
  • 결과: 우리는 증거와 사실에 대한 관심을 잃고, 그럴듯하게 들리거나 흐름이 좋은 것에만 관심을 가질 수 있습니다.

3. 이 논문이 말하지 않는 것

저자가 주장하지 않는 것을 아는 것이 중요합니다:

• 그는 인간이 실제로 AI 라고 주장하는 것이 아닙니다. 우리가 잘못 생각하고 있다는 것을 말하고 있습니다.
• 그는 우리가 AI 사용을 멈춰야 한다고 주장하는 것이 아닙니다.
• 그는 이것이 이미 모든 곳에서 일어났다고 주장하는 것이 아닙니다. AI 가 발전함에 따라 이것이 더 가능성 있는 위험이 되고 있다고 경고하고 있습니다.

큰 그림

오랫동안 AI 에 대한 큰 우려는 이것이었습니다: "우리가 기계에 너무 많은 영예를 돌리고 있는가? 우리가 그들에게 감정이 있다고 착각하고 있는가?"

이 논문은 다음과 같이 말합니다: "그것은 이야기의 절반에 불과합니다. 나머지 절반은 이것입니다: 우리가 인간에게서 너무 많은 영예를 빼앗고 있는가? 우리가 감정이나 영혼, 혹은 진정한 마음을 가지고 있지 않고, 단지 정교한 텍스트 예측기일 뿐이라고 생각하기 시작하고 있는가?"

저자는 AI 가 우리의 말을 모방할 수는 있지만, 우리의 삶이나 몸, 마음을 가지고 있지는 않다는 것을 기억해 주기를 바랍니다. 우리는 그 차이를 잊지 않도록 해야 합니다.