Modelling Language using Large Language Models

이 논문은 대규모 언어 모델이 인간의 인지 과정보다는 외부적·사회적 실체로서의 언어를 과학적으로 모델링하는 데 유용한 도구임을 주장하며, 이를 위한 모델 해석 (model construal) 을 개발할 수 있음을 논증합니다.

핵심

🌟 핵심 요약: "말하는 로봇"이 아니라 "언어 지도"를 그리는 도구

저자 (Jumbly Grindrod) 는 LLM 을 단순히 "다음 단어를 예측하는 기계"로 보는 것을 넘어, 우리가 일상에서 쓰는 '공공의 언어 (E-language)'를 연구하는 과학적 모델로 봐야 한다고 주장합니다.

1. 왜 기존 주장은 틀렸을까? (비유: 요리사와 레시피)

기존의 언어학자들 (특히 촘스키 학파) 은 LLM 이 인간의 '내면적인 언어 능력'을 모방하지 못한다고 비판했습니다.

• 비유: 마치 "요리사가 재료를 섞어 요리를 만들 수는 있지만, 그 요리를 만든 '생각의 과정'이나 '뇌의 화학 반응'을 완벽히 이해한 것은 아니다"라고 비판하는 것과 비슷합니다.
• 저자의 반박: 하지만 우리는 LLM 을 인간의 '뇌'를 복제하려는 시도로 보지 않아도 됩니다. 우리는 우리가 실제로 쓰는 '언어'라는 사회적 현상을 연구하고 싶을 뿐입니다.

2. LLM 은 무엇인가? (비유: 거대한 언어 지도)

저자는 LLM 을 **'언어 지도 (Scientific Model)'**로 봅니다.

• 과학적 모델이란? 지구의 실제 모양을 완벽하게 재현할 수는 없지만, 우리가 길을 찾기 위해 사용하는 지하철 노선도를 생각해보세요. 지하철 노선도는 실제 지형 (언어) 과 완전히 같지는 않지만, 중요한 관계 (언어 규칙) 를 잘 보여줍니다.
• LLM 의 역할: LLM 은 수조 개의 텍스트 데이터를 학습하여, "이 언어 사회에서 사람들이 어떻게 말을 주고받는지에 대한 거대한 지도"를 그립니다. 이 지도를 통해 우리는 언어가 어떻게 작동하는지, 어떤 규칙이 있는지 파악할 수 있습니다.

3. 가장 큰 오해: "단순히 책 내용을 외운 것"이 아니다 (비유: 학생과 시험)

많은 사람이 LLM 은 "학습 데이터 (책) 를 통째로 외운 것"이라고 생각합니다. 하지만 저자는 이를 강력하게 부인합니다.

• 비유: LLM 이 시험을 볼 때, 단순히 "이 문제의 정답을 외웠다"고 치면 **과적합 (Overfitting)**이라고 합니다. 좋은 학생은 문제를 풀 때 원리와 규칙을 이해해야 합니다.
• LLM 의 진실: LLM 은 학습 데이터의 모든 것을 외우지 않습니다. 대신, 데이터 속에 숨겨진 **패턴과 규칙 (언어적 관습)**을 찾아내어 새로운 상황에서도 잘 대응하도록 훈련됩니다. 마치 수많은 영어 책을 읽은 후, 그 책에 없던 새로운 문장도 자연스럽게 만들어내는 것과 같습니다.

4. 어떻게 과학적으로 쓸 수 있을까? (비유: X-ray 와 해부)

LLM 은 내부가 복잡해서 (블랙박스) 어떻게 작동하는지 알기 어렵습니다. 하지만 최근 기술 (XAI, 설명 가능한 AI) 이 발전하면서, LLM 의 내부가 어떻게 언어를 처리하는지 들여다볼 수 있게 되었습니다.

• 비유: LLM 이 인간처럼 문법 규칙을 배우는지 확인하기 위해, 마치 X-ray처럼 LLM 의 뇌 (내부 구조) 를 비추어 봅니다.
  • "아, 이 부분이 문법적 관계를 담당하고 있구나!"
  • "저 부분은 단어의 의미를 파악하는 데 쓰이는 구나!"
    이렇게 LLM 의 내부 구조를 분석하면, 우리가 알지 못했던 언어의 규칙들을 발견할 수 있습니다.

---

🎯 결론: 왜 이것이 중요한가?

이 논문의 핵심 메시지는 **"LLM 을 인간 뇌의 복사본으로 만들려고 애쓰지 말고, 우리가 쓰는 '언어'라는 거대한 사회 현상을 연구하는 최고의 도구로 쓰자"**는 것입니다.

• 기존의 생각: LLM 은 인간처럼 생각하지 못하니까 쓸모없다. (X)
• 이 논문의 생각: LLM 은 인간처럼 생각하지 않아도, 우리가 쓰는 언어의 **규칙과 패턴을 보여주는 훌륭한 '모델'**이 될 수 있다. (O)

마치 날씨 예보 모델이 실제 하늘을 완벽하게 복사하지는 않지만, 비가 올지 예측하는 데 유용한 것처럼, LLM 도 인간의 뇌를 완벽히 모방하지는 않지만, 언어라는 복잡한 현상을 이해하는 데 가장 강력한 과학적 도구가 될 수 있다는 것입니다.

이제 우리는 LLM 을 통해 언어가 어떻게 사회적으로 작동하는지, 새로운 규칙을 발견하고 더 깊이 이해할 수 있는 새로운 시대를 맞이하게 되었습니다.

기술 요약

논문 요약: 대규모 언어 모델 (LLM) 을 통한 언어 모델링

1. 문제 제기 (Problem)

• LLM 의 언어학적 가치에 대한 논쟁: 대규모 언어 모델 (LLM) 이 언어 연구 (linguistic inquiry) 에 기여할 수 있는지에 대해 두 가지 극단적인 입장이 존재합니다.
  • 긍정적 입장 (Baroni, Piantadosi 등): LLM 은 언어 이론 (linguistic theories) 으로 간주될 수 있으며, 언어 습득 및 처리를 위한 구조적 사전 지식 (structural priors) 을 인코딩한다고 주장합니다.
  • 부정적 입장 (Chomsky, Dupre 등): LLM 은 인간의 언어 능력 (linguistic competence) 을 설명하지 못합니다. LLM 은 방대한 데이터에 기반한 단순한 통계적 패턴 추종자일 뿐이며, 인간과 다른 학습 방식 (데이터 양의 차이, 보편 문법 부재, 수행 (performance) 과 능력 (competence) 의 간극 등) 을 가지므로 언어 이론으로서의 가치가 없다고 봅니다.
• 핵심 갈등: LLM 을 '언어 이론'으로 보는 시각과 '단순한 예측 도구'로 보는 시각 사이의 간극, 그리고 언어를 '내부적 인지 현상 (I-language)'으로만 볼 것인지, 아니면 '외부적 사회적 실체 (E-language)'로도 볼 것인지에 대한 존재론적 논쟁이 존재합니다.

2. 방법론 (Methodology)

• 언어에 대한 다원론적 접근 (Pluralism): 저자는 Santana 와 Stainton 의 주장을 수용하여, 언어를 연구 대상으로 할 때 '심리적 객체 (I-language)', '사회적 객체 (E-language)', '추상적 객체'를 모두 유효한 연구 대상으로 인정하는 다원론적 입장을 취합니다.
• 과학적 모델로서의 재정의: 저자는 LLM 을 '언어 이론 (theory)'이 아닌 **'과학적 모델 (scientific model)'**로 재정의합니다.
  • 모델의 정의: Weisberg(2007, 2013) 의 '모델 구성 (model construal)' 개념을 차용합니다. 모델은 대상 현상 (Target Phenomenon) 의 대리자 (proxy) 로서, 대상과 공유하는 속성 (긍정적 유추), 공유하지 않는 속성 (부정적 유추), 그리고 불확실한 속성 (중립적 유추) 을 가집니다.
  • 대상 현상: LLM 의 대상은 인간의 인지 과정이 아닌, 언어 공동체가 채택한 **외부적 공개 언어 (E-language)**입니다.
• 구체적 분석 도구:
  • XAI(설명 가능한 인공지능) 기법: LLM 의 내부 작동 방식을 해석하기 위해 프로빙 (probing), 어텐션 헤드 (self-attention heads) 시각화, 임베딩 공간 분석 등을 활용합니다.
  • 평가 벤치마크: GLUE, SuperGLUE 등 언어 이해 능력을 측정하는 다양한 태스크를 통해 LLM 이 단순한 데이터 암기가 아닌 언어 규칙을 일반화했는지 검증합니다.

3. 주요 기여 (Key Contributions)

1. LLM 의 역할 전환 (이론 $\rightarrow$ 모델): LLM 이 언어 이론 (예: 생성 문법) 을 대체할 수 있다는 주장이나, 단순히 다음 단어를 예측하는 도구라는 주장을 모두 거부합니다. 대신 LLM 을 E-language(사회적 언어) 의 과학적 모델로 위치시킵니다. 이는 언어를 외부적 사회적 관습의 집합으로 볼 때, LLM 이 그 관습을 포착하는 유효한 대리자가 될 수 있음을 의미합니다.
2. 모델 구성 (Construal) 의 개발 가능성 입증: LLM 이 블랙박스 (Black-box) 라서 해석이 불가능하다는 비판에 대해, 최근의 XAI 연구 (Manning et al., Rogers et al. 등) 를 통해 LLM 내부의 특정 구조 (예: 어텐션 헤드) 가 문법적 의존 관계, 품사, 의미적 유사성 등 언어적 특징을 인코딩하고 있음을 보여줍니다. 이를 통해 LLM 의 내부 구조와 E-language 의 규칙 사이의 '할당 (assignment)'과 '정합성 (fidelity)'을 정의할 수 있는 '모델 구성'을 개발할 수 있음을 주장합니다.
3. 훈련 데이터 모델론 (Corpus Model) 반박: LLM 이 단순히 훈련 데이터의 압축이나 복사본 (Veres, Chiang 의 주장) 일 뿐이라는 비판을 반박합니다.
   • 머신러닝의 과적합 (overfitting) 방지 기법 (정규화, 검증 세트 사용 등) 은 모델이 훈련 데이터를 암기하는 것이 아니라, 데이터 뒤에 숨겨진 일반화 규칙 (언어적 관습) 을 학습하도록 유도합니다.
   • LLM 이 훈련 데이터에 없는 새로운 문장도 올바르게 생성하고, GLUE 벤치마크와 같은 복잡한 언어 이해 태스크에서 성과를 낸다는 사실은 LLM 이 '언어 (E-language)' 자체를 모델링하고 있음을 시사합니다.

4. 결과 및 논증 (Results & Arguments)

• 예측 및 설명력: LLM 은 인간의 놀라움 (surprisal), 신경 반응, 문법적 의존 관계 등을 높은 정확도로 예측합니다. 이는 LLM 이 언어의 통계적 패턴을 넘어 언어의 구조적 특징을 포착하고 있음을 보여줍니다.
• E-language 의 유효성: Chomsky 가 E-language 를 과학적 연구 대상으로 배제했던 비판 (임의성, 설명력 부재 등) 은 타당하지 않습니다. 경제학 등 다른 과학 분야에서 '인위적 객체 (artifacts)'가 유효한 연구 대상이 되듯, E-language 역시 언어학의 중요한 연구 대상이 될 수 있습니다.
• 모델 구성의 점진적 정제: LLM 의 모델 구성은 한 번에 완성되는 것이 아니라, 모델 아키텍처의 발전과 XAI 기법의 진보에 따라 점진적으로 정제되는 탐구 과정입니다. 예를 들어, 특정 어텐션 헤드가 문법적 관계를 처리한다는 것이 입증되면, 이를 모델의 '할당' 부분으로 포함시킵니다.

5. 의의 (Significance)

• 언어학 연구의 새로운 패러다임: 이 논문은 LLM 을 단순히 자연어 처리 (NLP) 공학의 도구가 아닌, 언어학 (Linguistics) 의 과학적 모델로 인정받게 함으로써 새로운 연구 분야를 개척합니다.
• 이론과 실험의 연결: 기존의 생성 언어학 (이론 중심) 과 분포적 의미론/LLM 연구 (데이터 중심) 사이의 간극을 메우는 가교 역할을 합니다. LLM 을 통해 언어의 사회적, 관습적 측면 (E-language) 을 실증적으로 연구할 수 있는 길을 엽니다.
• 실용적 함의: LLM 의 내부 메커니즘을 이해하려는 노력 (XAI) 이 단순히 모델 성능 향상을 넘어, 언어 그 자체의 본질을 이해하는 과학적 통찰로 이어질 수 있음을 보여줍니다. 즉, LLM 연구는 언어학 이론의 검증 및 발전에 직접적으로 기여할 수 있습니다.

---

결론적으로, 이 논문은 LLM 이 인간의 인지 과정을 모방하지 않더라도, 외부적 언어 (E-language) 의 규칙과 관습을 포착하는 강력한 과학적 모델로서 언어학 연구에 필수적인 도구가 될 수 있음을 논리적으로 증명하고 있습니다.