Is it the end of (generative) linguistics as we know it?

이 논문은 스티븐 피안타도시 (Steven Piantadosi) 의 최근 연구 (Piantadosi 2023) 를 계기로 제기된, 생성 언어학 (Generative Linguistics), 특히 미니멀리즘 프로그램 (Minimalist Program) 의 위기와 미래에 대한 비판적 고찰입니다. 저자 크리스티아노 체시 (Cristiano Chesi) 는 생성 언어학이 계산적 (computational) 과 실험적 (experimental) 접근법의 발전에 뒤처지고 있으며, 이를 극복하기 위해 이론의 형식화 (formalization) 와 평가 기준의 표준화가 시급하다고 주장합니다.

다음은 논문의 기술적 요약입니다.

1. 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (vLLMs) 의 급속한 발전과 통계적/실험적 방법론의 진보로 인해, 생성 언어학이 언어 연구의 주도권을 잃고 있다는 비판 (피안타도시 등) 이 대두되었습니다.
• 핵심 쟁점:
  1. 형식화 부재 (Formalization Issue): 미니멀리즘의 핵심 개념 (예: Merge 연산) 이 충분히 명시적이지 않아, 컴퓨터로 테스트 가능한 정확한 예측을 도출하기 어렵습니다.
  2. 평가 기준의 부재 (Evaluation Issue): 생성 언어학은 공유된 기준 데이터셋 (Benchmark) 이 없으며, 주로 직관적인 문법성 판단 (intuitions) 에 의존합니다. 반면, 계산 언어학은 SyntaxGym, CoLA, BLiMP 와 같은 표준화된 데이터셋을 통해 모델을 평가합니다.
  3. PoS 가설의 도전: 빈약한 자극 (Poverty of Stimulus, PoS) 가설이 vLLMs 에 의해 무너졌다는 주장에 대해, 기존 생성 언어학의 방어 논리가 데이터 양, 모델 크기, 의미 이해 부재 등 부적절한 이유로 이루어지고 있음을 지적합니다.

2. 방법론 (Methodology)

저자는 세 가지 이상화된 관점을 통합하여 언어 이론을 재검토합니다:

1. 계산적 관점: 공유된 테스트 세트에서 최적의 성능을 보이는 이론이 최선이라는 접근.
2. 이론적 관점: 관찰적 적절성 (Observational Adequacy) 을 넘어 기술적 적절성 (Descriptive Adequacy) 과 설명적 적절성 (Explanatory Adequacy) 을 추구하는 접근.
3. 실험적 관점: 명시적/암시적, 범주적/점진적, 오프라인/온라인 데이터를 포괄하는 엄격한 데이터 수집 및 분석.

주요 분석 도구:

• T-모델 재검토: 문법 (I-language) 이 PF(음성형) 와 LF(논리형) 로 분기되는 기존 모델을 비판하며, 점진성 (incrementality) 과 선형적 순서의 관계를 재고찰합니다.
• 데이터 분류: 메타언어적, 범주적, 시간적, 자연주의적 차원을 가진 4 가지 데이터 유형을 정의하고, 이를 통해 이론의 적절성을 평가합니다.
• 비교 분석: Stabler 의 형식화된 미니멀리스트 문법 (MG) 과 최신 vLLMs (Transformer 기반) 를 동일한 테스트 세트 (SyntaxGym 등) 에서 비교합니다.

3. 주요 기여 및 논증 (Key Contributions)

A. PoS 가설에 대한 재해석

• 데이터 양 논증 반박: vLLMs 이 PoS 를 위반했다는 주장은 훈련 데이터의 양이 많기 때문이라는 비판은 타당하지 않습니다. 오히려 vLLMs 이 '불규칙한 데이터 (Data Dust)'까지 학습하려다 모델 크기가 비효율적으로 커진다는 점을 지적합니다.
• 데이터 먼지 (Data Dust) 개념 도입: 언어 이론의 핵심 일반화를 방해하는 불필요한 데이터 (예: 세계 지식에 의존하는 문장, 비문법적 입력에 대한 복구 전략 등) 를 이론에서 배제해야 한다고 주장합니다. vLLMs 은 이러한 '먼지'까지 학습하여 모델이 거대해지지만, MG 는 핵심 문법 규칙에 집중하여 더 간결한 설명을 제공합니다.
• 결론: 현재 vLLMs 은 관찰적 적절성 (Observational Adequacy) 은 높지만, 설명적 적절성 (Explanatory Adequacy, 즉 인간 언어 습득의 인지적 타당성) 은 부족합니다.

B. 미니멀리즘의 구조적 문제 지적

• Merge 연산의 단순성 비판: 기존 Merge 연산은 점진적 처리 (incremental processing) 와 호환되지 않습니다. 인간은 문장을 한 단씩 처리하지만, 기존 MG 는 문장 전체가 완성된 후 해석됩니다.
• 점진성 (Incrementality) 의 통합 필요성: Merge 연산에 '선택/기대 (selection/expectation)' 메커니즘을 도입하여, 점진적 파싱이 가능한 형식화를 제안합니다. 이는 SRN(단순 순환 신경망) 과 LSTM 의 작동 원리와 유사하며, vLLMs 보다 인간 언어 처리를 더 잘 설명할 수 있는 잠재력을 가집니다.
• 형식화의 중요성: Stabler 와 같은 학자들의 형식적 시도를 비판적으로 수용하며, MG 를 완전히 형식화하여 계산적 효율성과 설명력을 동시에 검증해야 한다고 강조합니다.

C. 평가 체계의 표준화 제안

• 생성 언어학은 공유된 데이터셋 (CoLA, BLiMP 등) 을 활용하여 이론을 검증해야 합니다.
• "진흙을 카펫 아래로 치우기 (The dust under the carpet principle)"라는 관행 (비문법적이거나 모호한 데이터를 이론에서 배제하는 것) 을 경계하며, 오히려 이러한 데이터가 이론의 한계를 드러내는 중요한 증거가 되어야 한다고 주장합니다.

4. 결과 및 발견 (Results)

• vLLMs 의 현황: vLLMs 은 SyntaxGym 과 같은 벤치마크에서 인간 수준의 문법성 판단을 보여주며, 관찰적 적절성 측면에서 현재 가장 우수한 언어 이론으로 평가됩니다. 특히, 훈련 데이터가 충분하다면 복잡한 문법적 의존 관계도 학습 가능합니다.
• MG 의 한계: 현재 형식화된 MG 는 이진법 (문법/비문법) 판단에는 강점이 있지만, 점진적 처리, 자연어 corpus 기반의 통계적 예측, 그리고 비문법적 입력에 대한 인간의 복구 능력 등을 설명하는 데는 한계가 있습니다.
• PoS 의 생존: vLLMs 이 PoS 가설을 완전히 무너뜨린 것은 아닙니다. vLLMs 이 인간과 유사한 문법 지식을 획득하려면 과도한 데이터와 모델 크기가 필요하며, 이는 인간의 '소수 샷 학습 (few-shot learning)' 능력과 대조됩니다.

5. 의의 및 시사점 (Significance)

• 생성 언어학의 위기 및 기회: 생성 언어학이 고립된 채로 남으면 사라질 수 있다는 경고와 함께, 계산적/실험적 방법론과 통합할 경우 새로운 도약이 가능함을 시사합니다.
• 이론의 진화 방향:
  1. 정밀한 형식화: 추상적인 직관을 컴퓨터가 검증할 수 있는 엄밀한 수학적/계산적 형식으로 변환해야 합니다.
  2. 표준화된 평가: 공유 데이터셋을 통해 이론의 설명력을 객관적으로 비교해야 합니다.
  3. 점진성 고려: 언어 생성과 인식이 동시에 일어나는 점진적 특성을 문법 이론에 반영해야 합니다.
• 최종 결론: 생성 언어학은 vLLMs 을 단순히 배척하는 것이 아니라, vLLMs 이 가진 '관찰적 우위'를 인정하면서도 '설명적 우위'를 확보하기 위해 이론을 현대화 (업데이트) 해야 합니다. 이를 통해 언어의 본질을 더 깊이 이해할 수 있는 새로운 패러다임을 정립해야 합니다.

요약하자면, 이 논문은 생성 언어학이 **"형식화의 부재"**와 **"실험적 데이터의 경시"**로 인해 위기에 처해 있음을 지적하며, 계산 언어학 및 실험 언어학의 방법론을 수용하여 이론을 재구성하지 않으면 언어 연구의 중심에서 배제될 것이라고 경고합니다.