Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

기술적 요약: 언어 모델의 차등적 논항 표지 처리에 나타나는 유형론적 정렬의 차이

문제 제기
최근 연구에 따르면, 합성 말뭉치로 훈련된 언어 모델 (LM) 은 단어 순서와 같은 구조적 영역에서 특히 교차언어적 규칙성을 닮은 유형론적 선호를 보일 수 있음이 밝혀졌다. 그러나 이러한 경향이 순수한 구조적 배치가 아닌 의미적 요인에 따라 문법적 타당성이 결정되는 시스템으로까지 확장되는지는 여전히 불분명하다. 본 논문은 **차등적 논항 표지 (DAM)**를 사용하여 이 격차를 조사한다. DAM 은 논항이 생동성, 정의성, 대명사성 등의 의미적 속성에 기반하여 형태소적 표지를 받는 언어 현상이다. 구체적으로 저자들은 표준적인 다음 토큰 예측 목적 함수로 훈련된 언어 모델이 인간 언어와 부합하는 DAM 에서의 유형론적 편향을 발달시키는지, 그리고 그렇다면 이러한 편향이 인간 유형론적 경향과 동일한 근원으로부터 비롯되는지 질문한다.

방법론
저자들은 처음부터 훈련된 GPT-2-small 모델을 사용하여 통제된 합성 말뭉치 패러다임을 적용한다.

• 말뭉치 구성: OpenSubtitles 말뭉치 (영어) 의 하위 집합을 시작점으로 하여 약 2,100 만 개의 SVO 절을 추출한다. BERT 기반 분류기를 사용하여 논항의 의미적 속성 (생동성, 정의성, 대명사성) 을 주석한다.
• 규칙 주입: 영어 텍스트에 DAM 규칙을 주입하여 18 개의 서로 다른 합성 말뭉치를 구성한다. 이러한 규칙은 네 가지 차원을 따라 매개변수화된다:
  1. 의미적 유발자: 생동성, 정의성, 또는 대명사성.
  2. 의존성 복잡도: 국소적 (표지가 단일 논항의 속성에 의존) 대 전역적 (표지가 주어와 목적어의 상대적 중요도에 의존).
  3. 표지성 방향: 자연적 (비전형적/덜 빈번한 논항을 대상으로 표지) 대 역전 (전형적인 논항을 대상으로 표지).
  4. 논항 대상: 목적어 대상 (환자 표지) 대 주어 대상 (행위자 표지).
• 평가: 모델은 규칙 숙달도를 최소쌍을 사용하여 평가한다. 각 조건에 대해, 한 문장은 주입된 DAM 규칙을 따르고 다른 문장은 이를 위반하는 1,000 개의 홀드아웃 문장 쌍을 생성한다. 성능은 모델이 문법적인 문장에 더 낮은 음의 로그 가능도 (NLL) 를 할당하는 비율로 측정된다.
• 보조 분석: 연구에는 표지 배치 정확도 테스트, 의미적 프로빙 (의미 정보가 손실되지 않았는지 확인), 그리고 DAM 주입이 일반 문법 학습을 저해하지 않았는지 확인하기 위한 BLiMP 진단 작업이 포함된다.

주요 결과
실험은 DAM 의 두 가지 주요 유형론적 차원 사이의 분리를 드러낸다:

1. 표지성 방향 (강한 정렬): 모델은 자연적 표지에 대한 인간의 유형론적 선호를 신뢰성 있게 재현한다. 모든 의미적 유발자와 의존성 유형에 걸쳐, 모델은 비전형적인 논항을 대상으로 하는 자연적 규칙을 역전 규칙보다 훨씬 더 잘 학습한다.

   • 자연적 규칙의 평균 최고 정확도: 약 85%.
   • 역전 규칙의 평균 최고 정확도: 약 68%.
   • 이 우위는 입력 빈도를 통제할 때도 지속되므로, 단순한 노출이 아닌 학습 가능성 역학에 의해 주도됨을 시사한다.

2. 논항 선호 (약한/부재 정렬): 모델은 목적어 대상 시스템에 대한 강한 인간의 유형론적 선호를 재현하지 않는다. 목적어 대상 규칙이 주어 대상 규칙보다 약간 더 높은 평균 우위를 보였으나 (~79% 대 ~74%), 이 차이는 표지성 효과보다 훨씬 작고 통계적으로 덜 유의미하다.

   • 국소적 규칙이 전역적 규칙보다 더 성공적으로 학습되었다 (~77% 대 ~59%). 이는 정보 국소성에 대한 편향을 반영한다.
   • 자연적 변이와 역전 변이 간의 성능 격차는 목적어 대상 규칙에서 주어 대상 규칙보다 작았다. 이는 모델이 주제의 의미적 속성을 더 강력하게 인코딩함을 시사한다.

3. 보조 발견:

   • 표지 배치: 모델은 표지를 올바르게 배치하는 데 거의 천장에 가까운 정확도를 달성하여, 규칙 숙달 실패가 문자열 내 표지 위치를 찾지 못하기 때문이 아님을 나타낸다.
   • 의미적 프로빙: 선형 프로브는 모델이 주어와 목적어 모두에 대해 의미 정보 (생동성, 정의성, 대명사성) 를 유지함을 확인시켜 주며, 성능 차이의 원인을 의미적 저하로 배제한다.
   • BLiMP: DAM 주입은 모델이 다른 문법 현상을 학습하는 능력을 유의미하게 저해하지 않았다.

의의 및 주장
본 논문은 관찰된 분리가 유형론적 비대칭의 서로 다른 근원에 대한 증거를 제공한다고 주장한다:

• 학습 가능성으로서의 표지성: 자연적 표지성과의 강한 정렬은 이 유형론적 경향이 분포적 규칙성과 형식적 학습 가능성에서 발생할 수 있음을 시사한다. 자연적 표지성 시스템은 덜 빈번한 배치를 위한 명시적인 국소적 신호를 제공함으로써 예측 불확실성 (놀라움) 을 줄이며, 다음 토큰 예측을 최적화하는 자기회귀 모델의 귀납적 편향과 부합한다.
• 담화 주도로서의 논항 선호: 모델에서 강한 목적어 선호가 부재하다는 사실은 이 유형론적 비대칭이 표준 다음 토큰 훈련에서 포착되지 않는 요인에 의존함을 시사한다. 예를 들어 담화 구조, 주제적 중요성, 그리고 의사소통적 압력 (예: 목적어가 주제성과 같은 비전형적인 담화 역할을 취하는 경향) 등이 있다.
• 결론: 서로 다른 유형론적 경향은 서로 다른 근본적 압력을 반영한다. 표지성 방향과 같은 일부는 LLM 이 국소적 통계적 학습을 통해 접근할 수 있지만, 논항 선호와 같은 다른 것들은 표준 훈련 목적 함수가 시뮬레이션하지 않는 상호작용적 또는 역사적 압력을 필요로 할 가능성이 높다.

한계점
저자들은 몇 가지 제약을 지적한다: 단일 소형 아키텍처 (GPT-2-small) 의 사용, 유연한 어순 언어에 비해 격 표지가 덜 중요한 영어 (SVO 언어) 에 대한 의존, 그리고 DAM 유발자의 단순화된 운영화 (상호작용하는 담화 민감적 속성이 아닌 독립적인 이진 특성으로 취급). 또한, 표지된 사례와 표지되지 않은 사례의 빈도는 완전히 실험적으로 통제되지 않았으나, 저자들은 빈도만으로는 관찰된 비대칭을 설명할 수 없다고 주장한다.