Causal Drawbridges: Characterizing Gradient Blocking of Syntactic Islands in Transformer LMs

1. 연구 배경 및 문제 제기 (Problem)

• 문법적 섬 (Syntactic Islands): 언어학에서 '섬'은 특정 구문 구조 내에서 요소의 추출 (Extraction, 예: 의문사 이동) 이 제한되거나 불가능한 현상을 말합니다. 특히 **동사구 (VP) 의 병렬 구조 (Coordination)**에서 한 conjunct(연결된 문장 요소) 만에서 요소를 추출하는 것은 일반적으로 문법적으로 허용되지 않습니다 (예: *"I know what she hates art and loves __"*는 부자연스럽지만, *"I know what she looked down and saw __"*는 허용됨).
• 점진적 허용성 (Gradient Acceptability): 기존 문법 이론은 이를 이분법적 (허용/불허용) 으로 보았으나, 최근 연구는 어휘적 내용 (lexical content) 에 따라 허용성이 **점진적 (gradient)**으로 변한다는 것을 보여줍니다.
• 연구 목표: 현대 언어 모델이 이러한 인간과 유사한 점진적 판단을 보이는지, 그리고 그 내부 메커니즘이 어떻게 작동하여 추출을 차단 (blocking) 하거나 허용하는지 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 인과적 개입 (Causal Interventions) 기법인 **분산 정렬 탐색 (Distributed Alignment Search, DAS)**을 활용하여 모델의 내부 상태를 조작하고 분석했습니다.

• 데이터: Fergus et al. (2025) 의 인간 평가 데이터를 기반으로, 46 개의 동사구 병렬 구조 (conjuncts) 를 포함하는 임베드드 의문문 (embedded wh-questions) 을 생성했습니다.
• 행동 분석 (Behavioral Analysis):
  • Surprisal Difference 계산: wh-licensing 상호작용을 측정하여 모델이 빈칸 (gap) 을 얼마나 잘 인식하는지 정량화했습니다.
  • 인간 판단과의 상관관계: 다양한 크기의 25 개 모델 (Gemma, Pythia, Qwen 등) 에 대해 인간 수용성 평가와 모델의 점수 간 상관관계를 분석했습니다.
• 메커니즘 분석 (Interpretability Analysis):
  • DAS 적용: 모델의 Transformer 블록 출력, 어텐션 모듈 (Attention Heads), MLP(Feed-forward) 활성화 영역에서 특정 행동 (추출 허용/차단) 을 유발하는 **하위 공간 (Subspaces)**을 학습했습니다.
  • 인과적 개입: 학습된 하위 공간에 개입하여 모델의 예측을 변경함으로써 해당 메커니즘의 인과적 효능 (Causal Efficacy) 을 검증했습니다.
  • Drawbridge(다리의 개폐) 메커니즘: 추출이 가능한 경우와 불가능한 경우를 구분하는 '차단 (blocking)' 메커니즘을 찾아냈습니다.

3. 주요 결과 (Key Results)

1) 인간과 모델의 행동적 일치

• 다양한 크기의 언어 모델들이 인간과 유사하게 **점진적 (gradient)**인 수용성 판단을 보였습니다.
• 인간이 추출을 더 허용하는 문장일수록 모델도 장기 의존성 (long-distance dependency) 을 더 강력하게 표현했습니다 (상관계수 0.54~0.80).

2) 고전적 'Filler-Gap' 메커니즘의 공유

• 추출이 가능한 경우, 모델은 **전통적인 의문문 추출 (canonical wh-dependencies) 과 동일한 내부 경로 (filler-gap 메커니즘)**를 사용하는 것으로 확인되었습니다.
• 즉, 모델은 '섬' 구조에서도 추출 메커니즘을 활성화하지만, 특정 조건에서 이를 선택적으로 차단합니다.

3) 'Drawbridge' 차단 메커니즘의 규명

• DAS 를 통해 추출을 차단하는 **인과적 하위 공간 (Causal Subspaces)**을 식별했습니다.
• 이 차단 메커니즘은 문장의 두 번째 동사 (second verb) 부근에서 가장 강력하게 나타나지만, 첫 번째 동사의 어휘적 특성 (transitivity 등) 에 따라 초기 단계에서도 신호가 포착됨을 발견했습니다.
• 모델은 추출 가능/불가능 구문 간의 미묘한 차이를 점진적으로 처리하며, 이는 인간 언어 처리의 점진적 특성과 일치합니다.

4) 새로운 언어학적 가설: 'and'의 의미적 차이

• 추출 가능한 (Extractable) 문장과 불가능한 (Unextractable) 문장에서 'and' 연결사가 모델 내부에서 서로 다른 의미적 표현을 가진다는 것을 발견했습니다.
  • 추출 가능 (Extractable): 'and'는 **관계적 의존성 (relational dependencies)**을 인코딩하는 기능어로 작용합니다 (예: 시간적 순서, 인과 관계, 목적). 예: "looked down and saw" (순차적/목적적).
  • 추출 불가 (Unextractable): 'and'는 **순수한 논리적 연결 (logical conjunction)**로 작용하여 명사나 개념을 나열합니다. 예: "hates art and loves" (단순 병렬).
• 이는 Ross(1967) 의 초기 가설 (추출 가능한 구조는 본질적으로 연결사가 아닌 목적어 구조에서 유래함) 을 지지하는 동시에, 이를 이분법적 문법 규칙이 아닌 어휘적 의미의 점진적 특성으로 재해석합니다.

4. 기여 및 의의 (Significance)

1. 기계적 해석 가능성과 언어학의 융합:
   • 언어 모델의 내부 메커니즘을 분석하여 추상적인 문법 이론 (Syntactic Islands) 을 검증하고, 새로운 언어학적 가설을 생성하는 성공 사례를 제시했습니다.
2. 점진적 문법 처리의 규명:
   • 문법 규칙이 이분법적이지 않고, 어휘적 정보와 처리 과정에 따라 점진적으로 적용됨을 모델의 내부 작동 원리 수준에서 증명했습니다.
3. 새로운 연구 방향 제시:
   • 'and'와 같은 연결사의 다의적 (polysemous) 사용이 문법적 제약에 미치는 영향을 심리언어학 실험 (예: 시선 추적 실험) 을 통해 인간에서도 검증할 수 있음을 제안했습니다.
4. Poverty of Stimulus 논쟁에 대한 시사점:
   • 제한된 데이터로 학습된 모델이 복잡한 문법적 제약 (섬 현상) 을 학습할 수 있음을 보여주며, 언어 습득의 본질에 대한 논의를 확장했습니다.

결론

이 논문은 Transformer 기반 언어 모델이 단순히 통계적 패턴을 학습하는 것을 넘어, 인과적 메커니즘을 통해 인간과 유사한 복잡한 문법적 제약 (Syntactic Islands) 을 점진적으로 처리함을 입증했습니다. 특히, DAS 를 활용한 'Drawbridge' 메커니즘 발견은 모델이 어떻게 문법적 추출을 차단하는지 구체적으로 보여주었으며, 이를 통해 연결사의 의미적 뉘앙스가 문법적 허용성에 결정적 역할을 한다는 새로운 통찰을 제공했습니다. 이는 기계적 해석 가능성이 언어 이론 발전에 어떻게 기여할 수 있는지를 보여주는 중요한 사례입니다.