A conclusive remark on linguistic theorizing and language modeling

제시된 논문 "A Conclusive Remark on Linguistic Theorizing and Language Modeling" (Cristiano Chesi 저) 은 이탈리아 언어학 저널 (Italian Journal of Linguistics) 2025 년 37 권 1 호에 게재될 예정인 논문으로, Piantadosi 의 원고에 대한 반응과 언어 모델링과 언어 이론 간의 논쟁에 대한 저자의 최종 입장을 정리한 글입니다.

이 논문의 핵심 내용은 생성 언어학 (Generative Linguistics, 특히 최소주의) 과 대규모 언어 모델 (LLM) 간의 관계, 그리고 이론적 설명력과 계산적 모델링의 통합 방안에 관한 것입니다.

요청하신 대로 문제 제기, 방법론, 주요 기여, 결과, 그리고 의의를 중심으로 상세한 기술적 요약을 한국어로 작성했습니다.

---

논문 요약: 언어 이론화 및 언어 모델링에 대한 결론적 성찰

1. 문제 제기 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 의 급격한 발전과 Piantadosi 의 논문을 계기로, 언어학계 내에서 "LLM 이 언어 이론을 대체하는가?" 혹은 "생성 언어학의 미래는 무엇인가?"에 대한 격렬한 논쟁이 벌어지고 있음.
• 핵심 갈등:
  • 계산적/실험적 접근: 데이터와 모델을 통한 경험적 검증 강조.
  • 이론적/형식적 접근 (생성 언어학): 인간 언어 습득 능력 (LAD) 과 추상적 문법 규칙에 대한 이론적 통찰 강조.
  • 오해: 많은 비평가들이 LLM 이 '성인 화자의 실제 문법 (Competence)'과 '언어 습득 장치 (LAD)'를 혼동하고 있으며, LLM 의 성공이 생성 패러다임을 반증한다고 오해하고 있음.
• 저자의 문제의식: LLM 의 성공이 생성 언어학을 부정하는 것이 아니라, 오히려 생성 언어학의 핵심 직관 (구조적 의존성 등) 을 지지할 수 있음. 그러나 두 분야 간의 '비공약성 (incommensurability)' (용어, 방법론, 목표의 차이) 으로 인해 대화가 순환적이며 비생산적으로 진행되고 있음.

2. 방법론 및 접근 (Methodology)

저자는 논쟁의 핵심을 세 가지 주요 논증 (Argument) 으로 구조화하여 분석하고, 이를 해결하기 위한 구체적인 방법론적 제안을 제시함.

• 세 가지 핵심 논증 분석:

  1. 설명력 부재 (Lack of Explanation, LoE): LLM 은 예측은 하지만 인간 언어 faculty 를 설명하는 '이해 가능한 (intelligible)' 이론을 제공하지 못한다는 비판에 대한 반박.
  2. 형식화 부재 (Lack of Formalization, LoF): 언어 이론이 완전히 형식화되기 전의 직관적 아이디어도 가치가 있다는 주장과 데이터주의 (Dataism) 의 위험성 분석.
  3. 목표의 불일치 (Divergent Goals): 생성 언어학의 '인지적 목표'와 LLM 의 '상업적/다운스트림 작업 목표' 간의 차이 인식.

• 구체적 실험 및 제안:

  • 계층적 분석: Chomsky 의 3 단계 (Computational, Algorithmic, Representational) 적절성 개념을 적용하여 LLM 의 '블랙박스'를 해석 가능한 수준으로 연결하려는 시도.
  • 구조적 제약 구현: 신경망 아키텍처에 언어학적 직관 (예: Merge 연산, C-command) 을 인위적으로 주입 (Inductive Bias) 하는 실험적 접근.
  • 비교 분석: 최소 설명 길이 (Minimum Description Length, MDL) 원리를 적용하여 이론의 간결성과 설명력을 정량화.

3. 주요 기여 및 핵심 내용 (Key Contributions)

가. LLM 과 이론의 관계 재정의 (The LAD Analogy)

• LLM 이 성인 화자의 문법 자체를 의미하는 것은 아니지만, LLM 을 훈련시키는 네트워크 아키텍처는 언어 습득 장치 (LAD) 의 구현체로 볼 수 있음.
• 따라서 LLM 은 '이론'을 표현하는 것이 아니라, 특정 구조적 직관 (Inductive Biases) 을 가진 아키텍처가 어떻게 언어 데이터를 학습하는지를 보여주는 '구현 (Implementation)'임.
• 생성 언어학자들은 LLM 을 단순히 비판하기보다, 아키텍처와 훈련 방식이 어떤 언어적 제약 (structural constraints) 을 반영하는지 분석해야 함.

나. 설명의 수준과 '이해 가능성' (Intelligibility)

• LoE 논증에 대한 반박: 설명력은 반드시 인간이 직관적으로 이해할 수 있는 '규칙' 형태로만 존재하는 것이 아님.
  • 계산적 수준 (Computational Level): 추상적 구조 구축 연산 (Merge 등) 에서의 단순성.
  • 알고리즘적 수준 (Algorithmic Level): 신경망 가중치와 연결에서의 구현.
• MDL 과 이론의 크기: Chomsky 의 '간결성' 개념을 MDL (Minimum Description Length) 로 정량화 가능함. 이론이 데이터를 얼마나 효율적으로 압축하는지 (Descriptive Adequacy) 가 설명력의 척도가 될 수 있음.
• 데이터 먼지 (Data Dust): 모든 데이터를 동등하게 취급하는 '데이터주의'는 비생산적임. 이론적 가설과 모순되는 '데이터 먼지'는 일시적으로 배제하고, 핵심적인 대조 (Contrasts) 에 집중해야 함.

다. 형식화와 벤치마킹의 필요성

• 형식화 (Formalization): 모든 직관이 즉시 형식화될 필요는 없으나, 궁극적으로는 형식적 틀이 필요함.
• 벤치마킹 (Benchmarkification): BLiMP, BabyLM Challenge 와 같은 공유 벤치마크는 생성 언어학의 직관을 검증하고, 서로 다른 연구 집단 간의 '공통 언어'를 만드는 데 필수적임.
  • 현재 BabyLM 챌린지 등에는 생성 언어학적 접근이 부족함. 이를 개선하여 소규모 모델 (Small Language Models) 이 인간 아동의 언어 습득 데이터를 기반으로 문법적 일관성을 보일 수 있어야 함.

라. 인지적 입장의 유지 (Cognitive Stance)

• 생성 언어학의 궁극적 목표는 **인지적 설명 (Human Language Faculty)**이며, LLM 의 상업적 성능 최적화와는 구별됨.
• 그러나 LLM 을 통해 특정 언어적 직관을 포함했을 때의 효율성 (데이터 효율성, 파라미터 수 등) 을 검증함으로써 상호 보완적 발전이 가능함.

4. 실험 결과 및 관찰 (Results & Observations)

• BabyLM 2024 챌린지 실험: 저자와 동료들은 RNN(순환 신경망) 에 특정 '게이트 (Gate)' 메커니즘을 도입하여 Merge 연산을 모사하는 실험을 수행함.
  • 방법: 벡터 합산, 연결 후 시그모이드 변환 등 다양한 수학적 가설을 테스트.
  • 결과: '연결 (Concatenation) + 시그모이드 변환' 방식이 HPSG 프레임워크의 통일 (Unification) 절차를 가장 잘 구현하여, 최소 쌍 (Minimal Pairs) 테스트에서 문법적/비문법적 항목을 80% 이상 일관되게 선택하는 성과를 보임.
  • 의미: 전체 정확도가 50% 수준이라도, 특정 언어 현상에 대해 일관된 패턴 (예: 90% vs 10%) 을 보인다면 이는 무작위성이 아닌 **언어적 일관성 (Linguistic Coherence)**을 의미함. 이는 계산적 모델과 언어 이론을 연결하는 '연결 가설 (Linking Hypotheses)'의 가능성을 입증함.

5. 의의 및 결론 (Significance & Conclusion)

• 생성 언어학의 종말이 아님: LLM 의 등장은 생성 언어학의 종말이 아니라, **이론적 재조정 (Theoretical Reorientation)**의 기회임.
• 통합적 접근의 필요성: 계산적, 실험적, 형식적 언어학자가 협력하여 상호 보완적인 연구를 수행해야 함.
  • 생성 언어학자는 LLM 아키텍처에 언어적 직관 (Inductive Biases) 을 주입하는 방법을 연구해야 함.
  • 계산 언어학자는 생성 언어학의 이론적 통찰을 모델 평가의 기준으로 삼아야 함.
• 미래 방향:
  • 오픈 소스 및 공유: FAIR 원칙 (Findability, Accessibility, Interoperability, Reuse) 에 기반한 오픈 소스 접근과 공유 벤치마크를 통해 연구의 파편화를 막아야 함.
  • 이해 가능성의 확장: '이해 가능성'을 인간 직관에만 국한하지 않고, 계산적 효율성과 설명적 적절성 (Explanatory Adequacy) 을 측정 가능한 지표로 확장해야 함.

결론적으로, Chesi 는 LLM 과 생성 언어학이 대립하는 것이 아니라, 서로 다른 수준 (인지적 vs 계산적) 에서 언어를 이해하려는 시도로 보아야 하며, 이를 위해 아키텍처에 언어적 제약을 명시적으로 주입하고, 공유된 벤치마크를 통해 이론과 모델을 검증하는 새로운 협력 체제가 필요하다고 주장합니다.