Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

기술 요약: 경가사 동사인가 완전 동사인가? 언어 모델의 관용적 역량을 조사하기 위한 최소 쌍(Minimal-Pair) 데이터셋

문제 제기
빈도가 높은 영어 동사(예: make, have, take)는 이중적인 어휘-기능적 상태를 나타낸다. 즉, 이들은 완전한 어휘적 술어로서 기능하거나(예: make a cake), 명사 기반이 의미적 무게를 담당하는 경가사 구문(LVC) 내에서 경가사(support verbs)로 기능한다(예: make a decision). 기존의 계산 언어학 연구는 LVC를 주어진 동사-명사 쌍이 LVC를 구성하는지 여부를 결정하는 식별 또는 추출 문제로 광범위하게 다루어 왔으나, 언어 모델(LM)이 이 두 가지 용법 사이의 구분을 내부적으로 표현하고 있는지에 대한 이해에는 공백이 존재한다. 현재의 모델들은 특정 분포적 연관성이나 명사 범주 단서를 통해 LVC를 인식할 수는 있지만, 지원 동사 용법과 완전 어휘 용법 사이의 구체적인 어휘-기적 대조를 인코딩하고 있는지는 불분명하다. 기존의 최소 쌍 벤치마크(예: BLiM, SyntaxGym)는 일반적으로 문법적인 문장과 비문법적인 문장을 대조한다. 그러나 LVC 역량을 조사하기 위해서는 동일한 표면 동사를 사용하면서도 어휘-기능적 상태만 다른, 두 개의 문법적이고 자연스러운 문장을 대조해야 한다.

방법론
저자들은 최소 문장 시리즈를 사용하여 이 구분을 조사하기 위해 설계된 대규모의 통제된 데이터셋을 소개한다.

• 데이터셋 구축: 데이터셋은 LVC에 자주 등장하는 것으로 알려진 5개의 고빈도 영어 동사(make, take, give, have, receive)를 다룬다. 각 동사에 대해 저자들은 20~40개의 LVC 후보를 선별하였으며(술어적 명사 기반 및 표준 결합 관계 등의 기준에 따라 검증됨), 이를 구체적인 목적어 명사를 가진 완전 동사 대응어와 쌍을 이루게 하였다.
• 실험 설계: 데이터셋은 동일한 맥락이 서로 다른 목적어와 쌍을 이루어, 절반은 LVC 읽기를, 나머지 절반은 완전 동사 읽기를 생성하는 문장 시리즈를 생성한다. 이는 능동태와 수동태 구성 모두에서 구축된다 (예: they made a decision vs. they made a cake; a decision was made vs. a cake was made).
• 조사 실험: 저자들은 Gemma 3 270m 모델을 사용하여 두 가지 상호 보완적인 접근 방식을 평가하였다:
  1. 의외성 기반 조사(Surprisal-Based Probing): 핵심 영역에 대한 토큰 수준의 의외성(음의 로그 확률)을 계산한다. 능동태 문장에서 핵심 영역은 목적어 명사이며, 수동태 문장에서는 명사 기반 뒤에 오는 동사이다. 이는 모델이 주어진 맥락에 따라 기대되는 구성 유형에 더 높은 확률을 부여하는지 테스트한다.
  2. 대조적 임베딩 분석(Contrastive Embedding Analysis): 목적어 구절의 은닉 상태를 추출하고, 토큰 임베딩을 평균화한 뒤, 주성분 분석(PCA)과 K-평균 군집화(KMeans)를 적용하여 모델의 내부 표현이 동일한 구문 및 동사 맥락 하에서 LVC 목적어와 완전 동사 목적어를 분리하는지 결정한다.

핵심 기여

• 최소 쌍 데이터셋: 구문 프레임과 맥락을 일정하게 유지하면서 경가사 동사와 완전 동사의 어휘-기능적 대조를 격리하는, 재사용 가능하고 확장 가능한 영어 문장 시리즈의 최소 쌍 데이터셋을 공개한다.
• 방법론적 프레임워크: 허용/불허 문장 대조에서 벗어나, 동사의 어휘-기능적 상태를 구체적으로 겨냥한 문법/문법 문장 대조로의 전환을 제시한다.
• 오픈 리소스: 추가적인 맥락, 다양한 동사 및 타 언어로의 확장을 지원하기 위해 데이터셋, 생성 코드 및 자료를 공개한다.

결과

• 의외성 결과: 모델은 LVC 구분에 대한 민감성을 보여준다. 능동태 구성에서 LVC의 명사 기반(예: make a decision의 decision)은 일반적으로 완전 동사 대응어보다 낮은 의외성을 보이며, 이는 모델이 관습적인 경가사 결합에 더 높은 확률을 부여함을 나타낸다. 수동태 구성에서 술어적 명사 기반은 관련 경가사 동사의 예측 가능성을 높이지만, 특정 동사(예: make가 가장 강한 효과를 보임)에 따라 차이가 존재한다.
• 임베딩 결과: 목적어 수준의 은닉 상태에 대한 군집 분석 결과, 모델의 내부 표현이 LVC 목적어와 완전 동사 목적어를 분리함을 보여준다. 이러한 분리는 후기 레이어와 레이어 간의 표현 변화($\Delta_l$)를 분석할 때 특히 뚜렷하게 나타나며, 이는 모델이 구성 유형에 따라 목적어 표현을 다르게 업데이트함을 시사한다.

의의 및 주장
본 논문은 언어 모델이 최소한의 맥락에서도 경가사 용법과 완전 동사 용법을 구분하며, 목적어 유형에 따라 분리 가능한 패턴을 보인다고 주장한다. 연구 결과는 모델이 LVC에서 동사-명사 및 명사-동사 간의 기대를 모두 포착하며, 이를 토큰 수준의 확률과 맥락적 목적어 표현의 기하학적 구조 모두에 반영한다는 것을 시사한다. 저자들은 이 작업을 단순한 식별 작업을 넘어 모델이 기저의 어휘-기능적 대조를 표현하는지 평가하는 통제된 조사 도구로 위치시킨다. 이 프레임워크는 추가적인 동사, 더 넓은 맥락, 교차 언어적 적용을 포함한 미래의 확장을 지원하도록 설계되었으나, 현재 연구는 영어와 특정 동기 세트로 제한되어 있다.