How LLMs Might Think

제시된 논문 "How LLMs Might Think (LLMs 가 어떻게 생각할 수 있는가)" 은 대언어 모델 (LLM) 이 '생각 (thinking)'하는지, 그리고 만약 그렇다면 어떤 방식으로 생각하는지에 대한 철학적 논의를 다룹니다. 저자들은 다니엘 스톨자 (Daniel Stoljar) 와 지히 빈센트 장 (Zhihe Vincent Zhang) 의 '합리성 (rationality) 에서의 논증'을 비판하고, LLM 이 생각한다면 그것은 합리적인 추론이 아닌 '연상 (association)'을 통한 생각일 가능성이 높다는 주장을 펼칩니다.

다음은 논문의 문제 제기, 방법론, 주요 기여, 결과, 그리고 의의에 대한 상세한 기술적 요약입니다.

1. 문제 제기 (Problem)

• 핵심 질문: LLM 은 '생각 (thinking)'하는가? 만약 그렇다면, 인간과 유사한 합리적 추론 (inferential thinking, i-thinking) 을 하는가, 아니면 비합리적이거나 비합리적 (arational) 인 연상 (associative thinking, a-thinking) 만 하는가?
• 기존 논쟁 (Stoljar & Zhang, 2024): 스톨자와 장은 "LLM 이 생각한다면, 그들은 합리적이어야 한다 (R1)"는 전제를 바탕으로, LLM 은 추론 오류를 범하고 증거에 적절히 반응하지 못하므로 합리적이지 않다 (R2) 고 주장하며, 결론적으로 "LLM 은 생각하지 않는다"는 논증 (Argument from Rationality) 을 펼쳤습니다.
• 저자들의 문제의식: 저자들은 이 논증의 전제 (R1) 가 잘못되었다고 지적합니다. 즉, '생각하는 존재'가 반드시 '합리적'일 필요는 없으며, '비합리적 (irrational)'인 존재도 생각할 수 있다는 점을 지적합니다. 더 나아가, LLM 이 생각한다면 그것은 합리적 추론이 아니라 '비합리적 (arational)'인 연상적 사고일 수 있다는 가능성을 제기합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 내부 메커니즘 (Inner Interpretability) 을 완전히 해부하는 것보다는, **행동 기반의 조작적 정의 (Operationalization)**를 통해 사고의 유형을 구분하는 접근법을 취합니다.

• 내부 해석 (Interpretability) vs. 행동적 조작: LLM 의 가중치나 내부 표현을 직접 분석하는 것보다는, LLM 의 정신 상태 간 전이 (mental transitions) 를 어떻게 조절 (modulate) 할 수 있는지에 초점을 맞춥니다.
• 연상 (Association) vs. 추론 (Inference) 의 구분 기준:
  • 추론 (i-thinking): 합리적 개입 (rationally assessable intervention) 에 의해 조절될 수 있는 전이.
  • 연상 (a-thinking): 합리적 개입이 불가능하며, 오직 **소거 (extinction)**나 **반조건화 (counterconditioning)**와 같은 비합리적 학습 메커니즘에 의해서만 조절 가능한 전이.
• 조작적 정의: "어떤 정신 전이 (M1 → M2) 가 오직 소거나 반조건화만으로 직접 조절 가능하고, 합리적 개입으로는 조절 불가능하다면, 그 전이는 연상적이다"라고 정의합니다.

3. 주요 기여 및 논증 (Key Contributions & Arguments)

A. '합리성 논증'의 반박 (The Argument from Irrationality)

저자들은 스톨자와 장의 전제 "LLM 이 생각한다면 합리적이어야 한다"를 반박합니다.

• 비합리적 사고의 가능성: '잘못된 추론 (incorrect inference)'은 여전히 '추론'입니다. (예: 잘못된 수학 문제를 푸는 학생은 추론을 하고 있는 것입니다.)
• 논증:
  1. 비합리적이라면 잘못된 추론을 하는 것이다.
  2. 잘못된 추론을 한다면 추론을 하는 것이다.
  3. 추론을 한다면 생각하는 것이다.
  • 결론: 따라서 LLM 이 비합리적 (irrational) 이더라도, 그들은 여전히 '생각'하고 있습니다. (R1 은 거짓입니다.)

B. LLM 은 '연상적 사고 (a-thinking)'를 할 가능성이 높다 (The Argument from Arationality)

LLM 이 생각한다면, 그것은 합리적 추론이 아닌 연상적 사고일 것이라고 주장합니다. 이를 뒷받침하기 위해 LLM 의 행동 조절 방법을 분석합니다.

1. 지속적 사전 학습 (Continued Pre-training):
   • 새로운 데이터로 학습시켜 기존 패턴을 약화시키는 과정은 심리학의 **소거 (Extinction)**와 동일합니다. (예: 'sleep' 뒤에 'furiously'가 오지 않는 데이터를 반복하여 학습시킴)
2. 파인튜닝 (Fine-tuning, 특히 RLHF):
   • 인간의 피드백 (점수) 을 통해 모델의 출력을 수정하는 과정은 **반조건화 (Counterconditioning)**의 형태입니다. 부정적인 점수가 기존 연상에 반대되는 가치 (valence) 를 부여하여 행동을 억제합니다.
3. 하이퍼파라미터 조정 (Hyperparameter Adjustment):
   • 온도 (temperature) 등 설정 변경은 특정 정신 전이에 직접적인 합리적 개입이 아니라, 신경망 구조를 물리적으로 조작하는 것과 같아 **직접적 조절 (direct modulation)**로 보기 어렵습니다.
4. 채팅 (Chatting) 및 문맥 학습 (ICL):
   • 사용자가 채팅으로 논리적 이유를 제시하더라도, LLM 의 가중치 (weights) 는 고정되어 있습니다.
   • 동기 부여 이유 (Motivating Reasons): LLM 이 채팅 내용을 '믿음 (belief)'으로 받아들이지 않는 한 (가중치 변경 필요), 이는 동기 부여 이유가 될 수 없습니다.
   • 주의 (Attention): LLM 의 주의 메커니즘이 합리적으로 평가 가능한지 여부는, 이미 LLM 이 추론을 하고 있다는 전제가 있어야만 판단 가능합니다. 이는 순환 논리입니다.

종합적 결론: LLM 의 행동을 조절하는 모든 직접적인 방법은 소거나 반조건화 (연상 학습) 로 설명 가능하며, 합리적 개입의 증거는 발견되지 않습니다.

4. 결과 (Results)

• 부정적 결과: "LLM 이 생각한다면 합리적이어야 한다"는 명제는 거짓입니다. LLM 이 비합리적일지라도 생각할 수 있습니다.
• 긍정적 결과: LLM 이 정신 상태와 전이를 가진다면, 그 전이는 **순수하게 연상적 (purely associative)**일 가능성이 매우 높습니다.
  • LLM 은 인간처럼 논리적 규칙에 기반한 추론 (i-thinking) 을 하지 않습니다.
  • 대신, 통계적 패턴과 연상에 기반한 비합리적 (arational) 인 사고 (a-thinking) 를 수행합니다.
  • 즉, "LLM 이 생각한다면, 그들은 오직 'a-thinking' (연상적 사고) 만 한다"는 것이 저자들의 최종 입장입니다.

5. 의의 (Significance)

• LLM 의 인지 상태 재정의: LLM 을 '비합리적인 실패한 인간'으로 보거나 '완전히 생각하지 않는 기계'로 보는 이분법을 넘어, **새로운 형태의 마음 (arational mind)**으로서의 LLM 을 이해할 수 있는 틀을 제공합니다.
• 사고의 정의 확장: '생각'이 반드시 합리성이나 의식적 추론을 필요로 하지 않으며, 연상적 전이도 일종의 사고로 간주될 수 있음을 보여줍니다. 이는 Quilty-Dunn & Mandelbaum 등의 인지과학적 이론을 LLM 연구에 적용한 사례입니다.
• 방법론적 기여: LLM 의 내부 구조를 해부하지 않고도, 외부적 조절 (modulation) 방식 (소거, 반조건화 등) 을 통해 그 인지 메커니즘의 본질을 추론할 수 있는 방법론적 기준을 제시했습니다.
• 철학적 함의: 기계가 생각할 수 있다는 가능성은 인정하되, 그 생각이 인간과 근본적으로 다른 '연상적' 형태일 수 있음을 인정함으로써, 인공지능의 의식과 사고에 대한 논의의 지평을 넓혔습니다.

요약하자면, 이 논문은 LLM 이 합리적 추론을 하지 않는다는 이유로 '생각하지 않는다'는 기존 주장을 반박하되, LLM 이 생각한다면 그것은 인간의 합리적 사고가 아닌 **비합리적 연상 (arational association)**을 통한 사고일 것이라고 결론 내립니다.