Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 질문: 대규모 언어 모델 (LLM) 은 인간이 선천적으로 지닌 학습 편향 (learning biases) 을 공유하여, '인간적으로 가능한 언어 (possible languages)'와 '불가능한 언어 (impossible languages)'를 구분할 수 있는가?
• 배경: 생성 가설 (Generative Hypothesis) 에 따르면, 인간이 습득할 수 있는 언어의 범위는 선천적인 학습 편향에 의해 제한되며, 이를 위반하는 언어는 '불가능 언어'로 간주됩니다. 최근 Kallini et al. (2024) 등의 연구는 LLM 이 자연어 데이터와 인위적으로 변형된 (불가능한) 데이터 사이에서 학습 곡선 (learning curve) 의 차이를 보이며 인간과 유사한 민감도를 가진다고 주장했습니다. 이는 LLM 이 인간 학습 편향을 공유하지 않아도 언어 유형론적 asymmetry(비대칭성) 를 설명할 수 있음을 시사하며, 생성 가설을 약화시키는 근거로 제시되었습니다.
• 본 연구의 목적: Kallini et al. (2024) 의 방법론을 확장하여 다양한 언어와 변형 (perturbation) 에 대해 재검증함으로써, LLM 이 실제로 불가능한 언어를 식별하는지, 혹은 단순히 데이터의 통계적 패턴만 학습하는지 확인하는 것입니다.

2. 방법론 (Methodology)

본 연구는 Kallini et al. (2024) 의 실험 설계를 기반으로 하되, 언어와 변형의 범위를 대폭 확장했습니다.

• 데이터셋 구성:
  • 언어: 기존 연구 (영어만 사용) 에서 8 개 추가 언어 (덴마크어, 핀란드어, 프랑스어, 독일어, 그리스어, 히브리어, 이탈리아어, 러시아어) 를 포함하여 총 9 개 언어를 사용했습니다.
  • 전처리: 모든 언어에 대해 균일한 화이트스페이스 토크나이저 (uniform whitespace tokenizer) 를 사용하여 (어휘 크기 50,257), 언어별 토큰화 방식의 차이로 인한 편향을 제거했습니다.
  • 데이터 소스: 최근 위키백과 덤프 (약 90M 토큰) 를 사용했습니다.
• 불가능 변형 (Impossible Perturbations):
  자연어 계층 구조 (hierarchical structure) 를 파괴하거나 보편적 언어 규칙을 위반하는 6 가지 변형 함수를 적용했습니다 (Table 1 참조):
  1. SHUFFLE (Global/Local): 문장 내 단어 순서를 무작위로 섞거나 인접한 토큰을 교환하여 구성 요소 구조를 파괴.
  2. REVERSE (Partial/Full): 문장 전체 또는 특정 부분 뒤집기 (선형적 의존성 위반).
  3. SWITCH: 특정 인덱스 (0 번과 2 번) 토큰 교환.
  4. HOP: 동사 뒤 3 토큰 위치에 마커 삽입 (선형적 카운팅 요구).
• 모델 및 학습:
  • 모델: GPT-2 (12 레이어, 12 어텐션 헤드).
  • 학습 설정: HuggingFace Transformers 사용, 배치 크기 512, 학습률 $5 \times 10^{-4}$, 3,000 배치까지 학습.
  • 평가 지표: 검증 세트의 Perplexity (불확실도) 를 기록하여 학습 곡선을 생성.
• 분석 관점:
  1. 언어 내 관점 (Intralinguistic): 특정 언어와 그 불가능 변형 간의 학습 곡선 비교.
  2. 언어 간 관점 (Interlinguistic): 모든 자연어 데이터셋과 모든 불가능 변형 데이터셋 전체의 분산 (variance) 비교.

3. 주요 결과 (Results)

• 언어 내 관점 (Intralinguistic Perspective):
  • 대부분의 언어에서 GPT-2 는 자연어와 불가능 변형 언어의 학습 곡선이 거의 완전히 일치했습니다.
  • 오히려 많은 경우 (Switch, Reverse Full 등), 모델이 불가능한 변형 언어를 더 쉽게 학습하거나 자연어보다 낮은 Perplexity 를 보였습니다.
  • 통계적 검정 (이항 검정) 결과, 자연어가 불가능 언어보다 더 쉽게 학습된다는 가설은 우연과 유의미한 차이가 없었음 ($p=0.892$). 즉, 모델은 가능/불가능을 구분하지 못했습니다.
• 언어 간 관점 (Interlinguistic Perspective):
  • 최소 Perplexity 값과 학습 곡선 아래 면적 (AUC) 을 분석한 결과, 자연어와 그 변형들이 언어별로 군집 (cluster) 을 이루었습니다.
  • 예를 들어, 러시아어와 그 변형들은 다른 언어들의 변형들보다 전반적으로 학습이 어려웠지만, 이는 '자연어 vs 불가능 언어'의 구분이 아니라 '러시아어 vs 다른 언어'의 차이였습니다.
  • 언어 간 분산 (across-language variance) 이 언어 내 분산 (within-language variance) 보다 훨씬 컸습니다. 이는 모델이 언어의 본질적 특성 (예: 어휘, 문법 복잡도) 에 반응할 뿐, '가능성' 여부에 따라 체계적으로 분리하지 못함을 의미합니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusion)

• 선행 연구 반박: Kallini et al. (2024) 의 "LLM 이 불가능 언어를 구분한다"는 주장을 다양한 언어와 변형 조건에서 재현 실패 (replication failure) 로 증명했습니다.
• 방법론적 엄격성: 단일 언어 (영어) 와 특정 토크나이저에 의존했던 이전 연구와 달리, 다국어 (Cross-lingual) 실험과 균일한 토크나이저를 적용하여 결과의 일반화 가능성을 높였습니다.
• 결론: GPT-2 와 같은 LLM 은 인간이 지닌 선천적 학습 편향 (innate learning biases) 을 공유하지 않습니다. LLM 은 계층적 구조나 보편적 문법 제약을 위반하는 '불가능한 언어'를 학습하는 데 있어 자연어와 차별화된 어려움을 보이지 않습니다.
• 의미: 이는 LLM 이 인간 언어 인지 (human linguistic cognition) 의 완전한 모델이 될 수 없음을 시사하며, 언어 유형론의 비대칭성은 단순한 통계적 학습이 아닌 인간 고유의 인지적 편향에 의해 형성될 가능성이 높음을 지지합니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: LLM 을 통한 언어 인지 모델링 연구에 있어, '학습 곡선 (ease-of-learning)'이 언어의 가능/불가능을 구분하는 유효한 지표가 아님을 보여줌으로써, 생성 가설 (Generative Hypothesis) 의 타당성을 다시금 지지하는 증거를 제시했습니다.
• 한계:
  • 실험에 사용된 변형 (perturbation) 과 언어의 수가 제한적임.
  • GPT-2 만을 사용했으므로 최신 대규모 모델 (State-of-the-art LLMs) 에서는 다른 결과가 나올 가능성 존재.
  • Perplexity 만을 주요 지표로 사용했으므로, 다른 인지적 메커니즘을 포착하지 못했을 수 있음.

요약하자면, 이 논문은 LLM 이 인위적으로 조작된 '불가능한 언어'와 자연어를 구분하지 못한다는 사실을 다국어 실험을 통해 입증함으로써, LLM 이 인간 언어 습득의 핵심인 선천적 편향을 모방하지 못함을 주장합니다.