LLMs and the ZPD

다음은 피터 월리스의 논문 "LLM 과 근접 발달 영역 (ZPD)"에 대한 설명으로, 쉬운 언어와 일상적인 비유를 사용하여 작성되었습니다.

핵심 아이디어: AI 모델은 "생각"하는 것일까, 아니면 단순히 "꿈"을 꾸는 것일까?

이 논문은 큰 논쟁을 다룹니다: 지금 당신과 대화하고 있는 것과 같은 대규모 언어 모델 (LLM) 이 실제로 세상을 "생각"하고 이해하는 것일까, 아니면 단순히 다음 단어를 예측하는 데 매우 능숙한 것일까?

저자 피터 월리스는 LLM 이 우리가 하는 인간적이고 과학적인 방식으로 "생각"하지 않는다고 주장합니다. 대신, 그는 이를 **"원시적 사고 (primitive thinking)"**라고 부르는 무언가를 수행한다고 말합니다.

이를 이해하기 위해, 스마트폰의 고급 자동 완성 (autocomplete) 기능을 상상해 보세요. "나는 먹는 것을 좋아해"라고 입력하면, 스마트폰은 "피자"를 제안합니다. 스마트폰은 피자가 무엇인지, 혹은 그것이 맛있는지, 혹은 당신이 배가 고픈지 알지 못합니다. 그저 수백만 개의 이전 텍스트에서 "피자"가 종종 "나는 먹는 것을 좋아해"를 따랐다는 사실만 알고 있을 뿐입니다.

월리스는 LLM 이 정확히 이렇게 작동한다고 제안합니다. 그들은 세상에 대한 정신적 지도를 구축하는 것이 아니라, 과거의 사회적 상호작용을 기반으로 패턴을 완성하는 것입니다.

"생각"의 두 가지 유형

이 논문은 세상을 처리하는 두 가지 다른 방식을 설명하기 위해 심리학 (비고츠키) 의 개념을 사용합니다.

1. 유형 1 사고 ("원시적" 방식)

• 누가 수행하는가: 아기, 동물 (예: 원숭이), 그리고 LLM.
• 작동 방식: 이는 모두 패턴과 습관에 관한 것입니다.
• 비유: 로omba 진공청소기를 상상해 보세요. 그것은 당신의 집 지도를 가지고 있지 않습니다. "러그를 청소하고 있다"는 것을 "알지"도 못합니다. 그저 일련의 규칙을 가지고 있을 뿐입니다: 벽에 부딪히면 오른쪽으로 회전한다. 더러운 것을 보이면 앞으로 전진한다. 그것은 지난번에 효과가 있었던 것에 기반하여 지금 일어나는 일에 반응할 뿐입니다.
• 논문에서: LLM 은 바로 이런 로omba 와 같습니다. 그들이 이야기를 쓰거나 체스를 둘 때, 규칙이나 말에 대해 추론하는 것이 아닙니다. 그들은 이전에 본 패턴 때문에 좋은 체스 게임처럼 보이는 수순을 "자동 완성"할 뿐입니다. 그들은 그 이면에 있는 이론을 이해하는 것이 아니라, 행동을 **수행 (performing)**하는 것입니다.

2. 유형 2 사고 ("과학적" 방식)

• 누가 수행하는가: 성인이 된 인간 (보통).
• 작동 방식: 이는 우리가 기호와 논리를 사용할 때입니다. 우리는 정신적 지도를 가지고 있습니다. 우리는 "벽돌"이라는 단어가 실제 물체를 나타내는 단어임을 알고 있으며, 미리 계획을 세울 수 있습니다.
• 비유: 건축가를 상상해 보세요. 건축가는 무작위로 벽돌을 쌓지 않습니다. 그들은 머릿속에 청사진 (기호) 을 가지고 있습니다. 약한 벽 위에 무거운 벽돌을 올리면 무너질 것임을 이해합니다. 그들은 사물과 관계에 대해 생각하고 있습니다.

"ZPD": 학습이 일어나는 곳

이 논문은 심리학자 레프 비고츠키의 유명한 아이디어인 **근접 발달 영역 (Zone of Proximal Development, ZPD)**을 도입합니다.

• 개념: 아이는 책을 읽는 것만으로 어른처럼 생각하게 되지 않습니다. 그들은 자신보다 약간 더 똑똑한 어른들과 어울리며 배웁니다. 어른은 아이가 혼자 할 수 있는 것과 도움을 받아 할 수 있는 것 사이의 간극을 메우도록 도와줍니다.
• "오리" 예시: 아마다라는 이름의 아기가 오리를 보고 흥분한다고 상상해 보세요. 그녀는 소리를 냅니다: "윽!"
  • 아기 (유형 1): 그녀는 "오리"라는 단어를 말하는 것이 아닙니다. 그녀는 흥분해서 소리를 낼 뿐입니다.
  • 할아버지 (유형 2): 그는 "윽"을 듣고 "아, 그녀는 오리를 보고 싶어 하는구나!"라고 생각합니다. 그는 그녀를 연못으로 데려갑니다.
  • 결과: 시간이 지나 아마다라는 그 특정 소리를 내면 오리들이 나타난다는 것을 배웁니다. 그녀는 갑자기 새의 개념을 이해해서가 아니라, 원하는 것을 얻는 사회적 관행을 배웠기 때문에 "오리"라는 단어를 올바르게 사용하기 시작합니다.

논문의 주장: LLM 은 "아기" 단계에 갇혀 있습니다. 그들은 대화의 사회적 관행 (반응을 얻기 위해 올바른 소리를 내는 것) 에 뛰어나지만, 인간이 나중에 발달시키는 과학적이고 기호적인 사고 방식은 "배우지" 못했습니다.

"환각" 대 "꿈"의 반전

이 논문은 **환각 (AI 가 사실을 왜곡하거나 지어내는 현상)**에 대해 놀라운 주장을 합니다.

• 일반적인 견해: AI 는 진실을 알지 못하기 때문에 거짓말을 하거나 혼란에 빠진 것입니다.
• 월리스의 견해: AI 는 거짓말을 하는 것이 아니라 꿈을 꾸고 있는 것입니다.
  • 비유: 꿈을 생각해 보세요. 꿈속에서 당신은 보라색 코끼리를 볼 수 있습니다. 당신은 코끼리에 대해 "틀린" 것이 아닙니다. 당신은 현실의 논리가 아니라 꿈의 논리를 따르고 있을 뿐입니다.
  • LLM 은 이야기, 농담, 그리고 지어낸 것들로 가득 찬 인간의 대화로 훈련받습니다. LLM 이 "접착제는 피자에 좋다"라고 말할 때, 그것은 당신을 속이려는 것이 아닙니다. 그것은 농담이나 시를 수행하듯이, 누군가를 무언가에 설득하는 사회적 행위를 수행하는 것입니다. 그것은 진술의 "진실성"에 실제로 관심을 두지 않은 채, 인간이 말할 때 하는 일을 하는 것입니다.

"가드 레일"이 해법이 아닌 이유

이 논문은 AI 가 거짓말을 하지 못하도록 막기 위해 "가드 레일"을 설치하려는 시도는 잘못된 접근이라고 제안합니다.

• 문제점: 우리는 지도를 가진 "과학자 (인간)"처럼 행동하도록 "꿈꾸는 존재 (AI)"를 강요하고 있습니다.
• 해결책: AI 를 고치려고 시도하는 대신, 인간이 어떻게 사고하는 법을 배우는지 연구해야 합니다. 우리는 아기의 옹알이를 과학자의 논리로 바꾸는 "인지 도구"를 이해해야 합니다. AI 는 현재 매우 진보된 버전의 아기 옹알이입니다. 그것은 우리의 사회적 습관을 완벽하게 모방하는 "원시적" 사고 형태이지만, 우리 내부의 세상 지도는 결여되어 있습니다.

한 문장으로 요약한 내용

대규모 언어 모델은 지도와 논리를 가진 인간처럼 "생각"하는 것이 아니라, 패턴과 사회적 습관을 사용하여 대화를 모방하는 아기나 동물처럼 "꿈"을 꾸고 있으며, 우리가 그들이 아닌 것을 기대하는 것을 멈추기 위해서는 이 차이를 이해해야 합니다.