Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

이 논문은 언어 모델을 학습 데이터 조작을 통해 실험 도구로 활용하여 영어 수동화 예외 학습의 원천이 빈도 (고착화) 와 의미 (영향성) 에 의해 독립적으로 결정됨을 규명했습니다.

핵심

🎬 핵심 줄거리: "왜 '회의가 1 시간 지속되었다'는 말은 되는데, '1 시간이 회의에 의해 지속되었다'는 말은 안 될까?"

우리는 영어를 배울 때, 대부분의 동사는 '수동태 (Passive)'로 바꿔 쓸 수 있다는 규칙을 배웁니다.

• 활용 가능: "사람이 사과를 먹었다" → "사과가 사람에 의해 먹혔다." (OK)
• 예외 (불가능): "회의가 1 시간을 지속했다" → "1 시간이 회의에 의해 지속되었다." (X, 어색함)

그런데 왜 '지속하다 (last)' 같은 동사는 수동태로 못 쓰는지, 아이들은 어떻게 그걸 알까요? 어른들이 "그건 틀린 말이야"라고 직접 가르쳐 주지 않기 때문입니다. 아이들은 오직 **들리는 말 (입력 데이터)**만으로 그 규칙을 추론해야 합니다.

이 논문은 이 수수께끼를 풀기 위해 **AI(언어 모델)**를 실험실의 '가상의 아이'로 삼았습니다.

---

🔍 실험 1: AI 도 인간처럼 '느낌'을 가질까?

연구진은 AI 에게 인간이 읽는 것과 비슷한 양의 영어 책 (약 1 억 단어) 을 읽게 했습니다. 그랬더니 놀랍게도 AI 도 인간과 똑같은 '문법 감각'을 키웠습니다.

• 인간이 "이건 어색해"라고 느끼는 문장에 대해 AI 도 낮은 점수를 주었습니다.
• 인간이 "이건 자연스러워"라고 느끼는 문장에 대해 AI 도 높은 점수를 주었습니다.

비유: 마치 어린아이가 TV 를 보며 "아빠는 밥을 먹었다"는 말은 들어봤지만, "밥이 아빠에 의해 먹혔다"는 말은 들어본 적이 없어서 어색함을 느끼는 것처럼, AI 도 방대한 데이터를 통해 그 '느낌'을 학습한 것입니다.

---

🧪 실험 2 & 3: AI 의 '뇌'를 조작해 보기 (왜 예외가 생길까?)

이제 연구진은 **"AI 가 그 예외를 배운 진짜 이유는 뭘까?"**를 찾기 위해 AI 가 읽는 책을 고의로 조작했습니다. 두 가지 가설을 테스트했습니다.

1. '습관' 가설 (Entrenchment): "자주 들어봤으니까 익숙해서 안 쓰는 거야?"

• 가설: 어떤 동사가 '능동태 (주어가 행동함)'로 아주 자주 나오고, '수동태'로는 거의 안 나오면, 학습자는 "아, 이 동사는 수동태로 안 쓰는구나"라고 추측한다.
• 실험: AI 가 읽는 책에서 '지속하다 (last)'라는 동사가 수동태로 나오는 문장을 모두 지워버리고, 능동태만 아주 많이 남겼습니다.
• 결과: 그랬더니 AI 는 '지속하다'를 수동태로 쓸 때 더 이상을 느끼게 되었습니다. 즉, **빈도수 (습관)**가 문법 판단에 영향을 미친다는 게 증명되었습니다.

2. '영향' 가설 (Affectedness): "무언가가 변해야 수동태가 가능해?"

• 가설: 수동태는 보통 '무언가가 영향을 받아 상태가 변할 때' 쓰입니다. (예: 사과가 먹혀서 없어짐). 하지만 '지속하다'는 시간이 흐르는 것일 뿐, 무언가가 변하지 않습니다.
• 실험: AI 가 읽는 책에서 '지속하다'라는 동사가 상태가 변하는 상황 (예: 폭탄이 터지다, 사람이 죽다) 과 함께 쓰이도록 문장을 조작해서 넣었습니다.
• 결과: 그랬더니 AI 는 '지속하다'를 수동태로 쓸 때 조금 더 용인하게 되었습니다. 즉, **의미 (영향)**도 문법 판단에 영향을 미친다는 게 증명되었습니다.

---

💡 결론: 두 가지가 모두 중요해요!

이 연구의 가장 큰 발견은 "빈도수 (습관)"와 "의미 (영향)"는 서로 독립적으로 작용한다는 점입니다.

• 비유: 문법 규칙을 배우는 것은 마치 요리를 배우는 것과 같습니다.
  • 빈도수 (습관): "이 재료를 넣는 요리가 100 번이나 나왔는데, 한 번도 안 나왔으니 이 재료는 쓰지 않는구나." (통계적 학습)
  • 의미 (영향): "이 재료는 물에 녹으면 맛이 없어지니까, 물에 넣는 요리에는 쓰지 않는구나." (논리적/개념적 학습)

AI 는 이 두 가지 단서를 모두 활용해서 "아, 이 동사는 수동태로 못 쓰네"라고 결론 내렸습니다. 그리고 인간도 아마 비슷한 방식으로 이 복잡한 문법 규칙을 배우고 있는 것입니다.

🌟 이 연구가 왜 중요할까요?

1. AI 와 인간의 유사성: AI 가 단순히 단어 빈도만 외우는 게 아니라, 인간처럼 문맥과 의미를 이해하며 문법의 예외까지 배울 수 있음을 보여줍니다.
2. 실험 방법의 혁신: 인간 아이들에게는 "너는 이 단어를 절대 수동태로 쓰지 마"라고 말해줄 수 없지만, AI 에게는 데이터를 조작해서 그 영향을 정확히 측정할 수 있습니다. 이는 언어 습득 연구에 새로운 길을 열었습니다.

한 줄 요약:

"인공지능이 인간처럼 문법의 예외를 배우는 과정을 실험실 안에서 재현해 보니, '자주 안 들어본 것 (빈도수)'과 '의미상 어색한 것 (영향)' 두 가지가 합쳐져서 그 규칙을 만들어낸다는 걸 발견했습니다."

기술 요약

1. 연구 문제 (Problem)

자연어 문법 규칙에는 예외가 존재합니다. 예를 들어, 영어의 수동태는 일반적으로 생산적이지만 (productive), 일부 동사 (예: last, cost) 에는 적용되지 않습니다 (One hour was lasted by the meeting는 문법적으로 틀림).

• 학습의 역설 (Baker's Paradox): 학습자는 부정적인 증거 (해당 문법이 틀렸다는 직접적인 피드백) 를 받지 못합니다. 그럼에도 불구하고 왜 어떤 동사는 수동태가 불가능한지 학습할 수 있는가?
• 주요 가설:
  1. 강화 가설 (Entrenchment Hypothesis): 학습자가 특정 동사를 능동태에서는 자주 보지만 수동태에서는 전혀 (또는 매우 드물게) 보지 못하면, 그 동사는 수동태가 불가능하다고 추론한다. (통계적 빈도 기반)
  2. 영향성 가설 (Affectedness Hypothesis): 수동태의 주체가 사건의 영향을 받아 상태, 위치, 존재가 변화해야 한다. 동사의 의미적 속성 (의미론) 이 이 '영향성'과 맞지 않으면 수동태가 불가능하다.

기존의 인간 학습자 연구는 입력 데이터를 통제하기 어렵기 때문에 인과관계를 규명하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 GPT-2 (Small) 아키텍처를 기반으로 한 신경망 언어 모델을 언어 습득의 이론적 모델로 사용했습니다. 인간이 청소년기에 노출되는 언어 양 (약 1 억 단어) 에 해당하는 데이터로 모델을 학습시키고, 훈련 데이터를 인위적으로 조작 (Manipulation) 하여 가설을 검증했습니다.

• 실험 1 (기준 설정):

  • 인간 참가자 (84 명) 를 대상으로 다양한 동사 (수동태가 가능한 동사와 불가능한 동사) 를 포함한 문장의 수용성 (acceptability) 을 평가하게 함.
  • 학습된 언어 모델의 수동태 수용성 판단 (Passive Drop: 능동태와 수동태 점수 차이) 과 인간 판단을 비교.
  • 단순 3-gram 모델과 비교하여 트랜스포머 모델의 성능을 평가.

• 실험 2A (강화 가설 검증):

  • 개입 (Intervention): 특정 동사 (변형 동사, mutating verb) 의 훈련 데이터 내 **능동태/수동태 비율 (A/P ratio)**을 조작.
  • 원래 수동태가 가능한 동사 (예: drop) 를, 수동태가 불가능한 동사 (예: last) 와 유사한 높은 A/P 비율을 갖도록 데이터에서 수동태 문장을 제거하거나 능동태 문장을 선택적으로 유지하여 재학습시킴.
  • 모델이 수동태 불가능한 동사처럼 판단하게 되는지 확인.

• 실험 2B (영향성 가설 검증):

  • 개입: 수동태가 불가능한 동사 (예: last) 를, 수동태가 가능한 동사 (예: drop) 와 유사한 **의미론적 맥락 (고영향성 맥락)**에서 등장하도록 훈련 데이터를 변경.
  • 동사의 의미적 속성을 능동태 문장의 주어/목적어 구성을 통해 변경 (예: last를 drop이 쓰이던 "무언가를 떨어뜨리다" 같은 맥락에 배치).
  • 의미적 변화가 수동태 판단에 미치는 인과적 영향을 확인.

• 실험 3 (상호작용 검증 및 새로운 동사 도입):

  • 기존 코퍼스를 수정하는 대신, 훈련 데이터에 **완전히 새로운 동사 (Novel Verb)**를 도입.
  • 이 새로운 동사가 고영향성/저영향성 맥락에서 등장하는지, 그리고 출현 빈도를 어떻게 조절하는지에 따라 수동태 판단이 어떻게 변하는지 통제된 실험 수행.
  • 강화와 영향성 요인이 독립적으로 작용하는지, 상호작용하는지 확인.

3. 주요 결과 (Key Results)

• 실험 1 결과:

  • 트랜스포머 언어 모델의 수동태 판단은 인간 참가자의 판단과 매우 높은 상관관계 (r = 0.91) 를 보임.
  • 단순 빈도 기반 모델 (3-gram) 보다 트랜스포머가 인간과 유사한 **연속적 (gradient)**인 판단을 보임. 이는 언어 모델이 간접 증거를 통해 예외를 학습할 수 있음을 시사.

• 실험 2A 결과 (강화):

  • 특정 동사의 A/P 비율 (능동태 대비 수동태 빈도) 을 높여주면, 모델은 해당 동사의 수동태 수용성을 낮게 평가함 (수동태 drop 증가).
  • 이는 **빈도 (강화)**가 수동태 제한 학습의 중요한 단서가 됨을 입증. 하지만 빈도만으로는 인간 수준의 판단을 완전히 설명하지는 못함 (완전한 불수동태로 전환되지 않음).

• 실험 2B 결과 (영향성):

  • 동사를 고영향성 (High-affectedness) 맥락에 배치하면, 모델은 해당 동사의 수동태 수용성을 높게 평가함.
  • 의미론적 맥락의 변화가 수동태 판단에 인과적 영향을 미침을 확인. 다만, 이 효과는 동사의 종류에 따라 다르게 나타남 (예: last는 변화가 미미했으나 cost는 뚜렷함).

• 실험 3 결과 (상호작용):

  • 새로운 동사에 대해 **빈도 (강화)**와 **의미 (영향성)**를 독립적으로 조작한 결과, 두 요인 모두 수동태 판단에 유의미한 영향을 미침.
  • 상호작용 (Interaction) 은 발견되지 않음: 빈도와 영향성은 독립적으로 (additively) 작용하며, 서로의 효과를 조절하지는 않음.
  • 빈도 효과가 의미 효과보다 더 강력하게 나타남.

4. 주요 기여 (Key Contributions)

1. 학습 데이터 조작을 통한 인과관계 규명: 인간 학습 실험에서는 불가능한 '입력 데이터의 완전한 통제'를 언어 모델을 통해 구현하여, 빈도와 의미론이 수동태 예외 학습에 미치는 인과적 영향을 분리하여 증명했습니다.
2. 인간 - 모델 판단의 정량적 일치: 트랜스포머 모델이 인간과 유사한 연속적 (gradient) 인 문법 판단을 보이며, 인간이 사용하는 간접 증거 (통계적 빈도 및 의미적 맥락) 를 학습할 수 있음을 입증했습니다.
3. 두 가설의 독립적 기여 증명: 기존 연구에서 혼재되어 있던 '강화'와 '영향성' 요인이 실제로는 독립적으로 기여하며 상호작용하지 않음을 밝혔습니다.
4. 방법론적 제안: 대규모 언어 모델의 훈련 데이터를 인위적으로 변형 (Ablation, Insertion, Modification) 하여 언어 습득 이론을 검증하는 새로운 방법론을 제시했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 언어 모델은 단순한 통계적 패턴 매칭을 넘어, 인간과 유사한 문법적 일반화와 예외 학습 메커니즘을 가질 수 있음을 보여줍니다.
  • 언어 습득 연구에서 'Baker's Paradox'와 같은 난제를 해결하기 위해 간접 증거 (통계 및 의미) 가 어떻게 작용하는지에 대한 실증적 증거를 제공합니다.
  • 향후 다양한 언어 현상에 대한 학습 메커니즘을 연구할 때, 인간 실험의 대안으로 언어 모델 조작 실험을 활용할 수 있음을 보여줍니다.

• 한계 및 시사점:

  • 모델의 한계: 트랜스포머 모델은 인간과 완전히 동일한 인지 메커니즘을 가지지는 않습니다 (예: 작업 기억의 차이, 상호작용 부재). 모델이 의미 (영향성) 를 학습한 방식이 인간의 직접적인 경험 기반 학습과 동일하지 않을 수 있습니다.
  • 데이터 필터링의 정밀도: 훈련 데이터를 필터링하거나 수정하는 과정에서 발생하는 오분류 (예: 수동태 문장을 능동태로 잘못 분류) 가 결과에 영향을 줄 수 있습니다.
  • 추가 요인 필요: 강화와 영향성만으로는 인간이 보이는 수동태 제한의 전체적인 정도를 완전히 설명하지 못했습니다. 다른 간접 증거 (예: 대안적 문법 구조의 존재 등) 의 역할에 대한 추가 연구가 필요합니다.

결론적으로, 이 연구는 신경망 언어 모델을 실험 도구로 사용하여, 언어 학습자가 빈도와 의미론적 단서를 통해 문법적 예외를 어떻게 학습하는지에 대한 강력한 실증적 증거를 제시했습니다.