Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

제목: 언어 모델은 구문 의미론뿐만 아니라 통사론도 학습하는가: PAIRED-FOCUS 구문에 대한 언어 모델의 이해 조사

문제 제기
대규모 언어 모델(LLM)이 많은 언어적 과업에서 성공을 거두었음에도 불구하고, 희귀한 언어적 구문—특히 구성 문법(Construction Grammar)의 핵심인 형태-의미 쌍(form-meaning pairings)—의 의미를 파악하는 능력은 여전히 미해결 과제로 남아 있다. 기존 연구에 따르면, 모델들이 흔치 않은 구문의 형식적 속성(통사론)은 자주 학습하는 반면, 그 미묘한 의미적 뉘전스(의미론)를 습득하는 데는 자주 실패한다는 점이 지적되어 왔다. 특히 "인간 규모"의 데이터(예: BabyLMs)로 학습할 때 그러한 경향이 두드러진다. 또한, 구성 의미론에 대한 기존 평가 데이터셋들은 임의적인 대조나 부자연스러운 테스트 항목에 의존하고 있어, 스칼라 의미론(scalar semantics)이나 세상 지식(world knowledge)과의 상호작용을 효과적으로 격리하여 측정하지 못할 수 있다. 적당한 크기의 오픈 소스 모델이 이러한 구문을 견고하게 이해할 수 있는지, 만약 그렇다면 그 학습이 통사적 습득 및 기타 지식 영역과 비교하여 어떻게 전개되는지는 불분명하다.

연구 방법론
저자들은 영어의 네 가지 특정 PAIRED-FOCUS 구문(let alone, much less, not to mention, never mind)의 이해를 테스트하기 위한 새로운 데이터셋과 평가 프레임워크를 도입한다. 이 구문들은 두 개의 초점 요소(focused elements)를 결합하며, 두 번째 요소가 첫 번째 요소보다 척도상 더 높은 값을 나타내는 스칼라 관계를 함축한다.

1. 데이터셋 구축: 임의의 예시를 사용하는 이전 연구와 달리, 저자들은 확립된 척도(Wilkinson and Tim, 2016)에서 유래한 스칼라 형용사와 일반 명사를 사용하여 각 구문당 3,500개의 문장 쌍을 생성하였다. 이는 일반적인 세상 지식에 근거한 일관된 스칼라 관계를 보장한다.
2. 의미론적 평가: 평가 방식은 구문의 스칼라 논리에 의해 *함축(entailed)*되는 후속 문장의 확률과 이를 *모순(contradicts)*하는 문장의 확률을 비교함으로써 모델의 구문 의미 민감도를 측정한다. 결정적으로, 저자들은 단순 접속사 "or"를 사용하는 대조 조건과 비교함으로써 세상 지식의 개연성을 통제한다. 측정 지표인 $\Delta P$는 구문의 의미론에 특이적으로 기인하는 확률 변화를 격리한다.
3. 통사론적 평가: 저자들은 기존의 통사 테스트(예: 이동 제약, 부정 극성 항목 행동)를 변형하여, PAIRED-FOCUS 구문에 특이적인 특정 조작의 비문법성을 모델이 인식하는지 결정한다.
4. 모델 범위: 본 연구는 파라미터 수(68M에서 13B까지), 아키텍처(자기회귀형 vs. 마스크드 언어 모델), 그리고 사전 학습 데이터 크기가 다양한 36개의 모델을 평가한다.
5. 학습 역동성: 세 가지 고성능 모델(Pythia-12b, Ettin-encoder-400m, Ettin-decoder-1b)의 중간 체크포인트를 사용하여, 학습 단계에 따른 형태와 의미의 습득 과정을 추적하고, 이를 통사(BLiMP), 개념적 지식(COMPS), 세상 지식(EWoK) 벤치마크와 비교한다.

주요 결과

• 모델 크기와 데이터: 약 400M 미만의 파라미터를 가진 모델들은 학습 데이터의 크기와 상관없이 의미론적 평가에서 찬스 수준(chance) 이하의 성능을 보인다. 반면, 몇몇 적당한 크기의 오픈 소스 모델(예: Ettin-400m, Pythia-12b)은 의미론적 과업에서 높은 정확도(>90%)를 달enc한다. 그러나 "인간 규모"의 데이터(BabyLMs)로 학습된 모델들은 찬스 이상의 의미론적 이해를 보여주는 데 실패한다.
• 통사와 의미의 해리(Dissociation): 통사적 학습과 의미론적 학습 사이에는 명확한 해리가 존재한다. 테스트된 가장 작은 모델들조차 PAIRED-FOCUS 구문의 형태(통사)에 대한 견고한 지식을 보여주며, 종종 완벽에 가까운 점수를 기록한다. 그러나 의미론적 이해는 학습 과정 중 훨씬 나중에 나타난다.
• 학습 궤적:
  • 통사적 지식은 BLiMP 벤치마크의 학습 곡선을 반영하며 사전 학습 초기에 정체(plateau)된다.
  • 의미론적 이해는 더 늦고 완만한 궤적을 따르며, EWoK(세상 지식) 벤치마크의 학습 곡선과 밀접하게 일치한다.
  • PAIRED-FOCUS 의미론에 대한 성능은 EWoK의 물리적 관계 도메인 성능과 중간 정도의 상관관계를 보이는데, 이는 구성적 의미와 일반적인 세상 지식 사이의 연결 고리를 시사한다.
• 개연성 민감도: 더 큰 모델(예: Pythia-12b)은 부적절한 맥락에서도 스칼라 관계를 올바르게 추론하는 강건함을 보여, 세상 지식과 충돌하더라도 구문의 논리를 유지한다. 작은 모델들은 세상 지식 단서에 더 의존하며, 구문의 스칼라 함축이 일반적인 개연성과 모순될 때 어려움을 겪는다.
• 구문 간 상관관계: 테스트된 네 가지 PAIRED-FOCUS 구문은 성능 면에서 높은 상관관관계를 보이지만, 가장 빈번하게 사용되는 let alone이 다른 구문보다 약간 더 빨리 학습된다.

의의 및 주장
본 논문은 400M 미만의 상대적으로 작은 크기의 오픈 소스 모델도 비사소한(nontrivial) 의미 지식을 습득할 수 있음을 주장하며, 이는 오직 프런티어급 모델만이 그러한 능력을 갖추고 있다는 통념에 도전한다. 그러나 본 연구는 중요한 한계를 지적한다: 인간 규모의 데이터로 학습된 모델은 이러한 의미적 지식을 습득하는 데 실패하며, 이는 형태와 의미의 공동 습득을 상정하는 구성주의 이론의 모델 시스템으로서 해당 모델들의 유용성에 의문을 제기한다.

저자들은 통사적 지식은 조기에 견고하게 학습되는 반면, 의미론적 지식은 나중에 나타나며 세상 지식과 상관관계를 갖는다는 관찰된 해리는, 텍스트 전용 언어 모델이 구성 문법에서 상정하는 형태와 의미의 공동 습득을 자연스럽게 모델링하지 않는다는 것을 시사한다고 주장한다. 즉, 의미론적 이해는 세상 지식과 스칼라 추론 능력의 축적에 따른 하위 결과물(downstream effect)로 보인다. 결론적으로, 언어 모델이 이러한 구문을 학습할 수는 있지만, 그 학습 역동성은 인간의 습득 방식과는 크게 다르며, 향후 연구는 형태와 의미의 통합을 더 잘 모델링하기 위해 멀티모달 또는 상황적 학습 환경을 탐구해야 한다고 제언한다.