Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

기술 요약: 다어구(Multiword Expression) 분류를 위한 지도 학습 대 데모 기반 인컨텍스트 학습(In-Context Learning) 비교

문제 정의
본 논문은 터키어 경동사 구문(Light Verb Constructions, LVCs) 탐지 문제를 다룬다. LVC는 다어구(MWE)의 한 종류이다. 터키어 LVC는 형태적으로는 완전한 의미의 동사-목적어 결합과 동일한 표면 형태를 공유하면서도 기능적으로는 하나의 부분적 관용적 술어를 형성하기 때문에 자연어 처리(NLP) 시스템에 있어 까다로운 과제이다. 예를 들어, 동사 ver- (주다)는 의미론적 전이(예: "펜을 주었다")와 관용적 LVC(예: "영감을 주었다") 모두에서 나타난다. 핵심적인 어려움은 특정 동사-명사 시퀀스가 단일한 관용적 술어로 기능하는지, 아니면 문자 그대로의 논항 구조로 기능하는지를 구별하는 데 있다. 저자들은 표준 NLP 평가 방식이 이러한 인간-언어학적 구분을 포착하는 데 실패하는 경우가 많다고 주장하며, 따라서 직설적(literal) 표현과 관용적(idiomatic) 표현의 대비를 격리하여 검증할 수 있는 통제된 평가 프레임워크가 필요하다고 강조한다.

방법론
본 연구는 터키어 LVC 탐지를 이진 분류 작업으로 설정한다. 즉, 문장에 관용적/LVC 술어가 포함되어 있는지([1]) 또는 문자 그대로의 동사-논항 구성인지([0])를 식별하는 것이다.

• 데이터셋 구축: 저자들은 147개의 문장으로 구성된 수동 큐레이션 기반의 통제된 진단 데이터셋을 제작하였다. 이 데이터셋은 세 가지 균형 잡힌 조건(각 49개 항목)을 포함한다:
  1. LVC: 관용적/경동사 술어.
  2. NLVC: LVC 항목들과 동일한 대상 동사를 사용하는 직설적 대조군(동사만을 이용한 단순 휴리스틱 방지를 위함).
  3. RANDOM: 도메인 외 부정 대조군.
     데이터셋은 자연스러움과 레이블 정확도에 대해 두 명의 주석가에 의해 검증되었다.
• 평가 모델:
  • 지도 학습 베이스라인(Supervised Baseline): 특정 태스크를 위한 이진 분류 헤드를 미세 조정(fine-tuning)한 두 가지 변형의 BERTurk(어휘 사전 크기 32K 및 128K)를 사용하였다. 학습 데이터는 터키어 유니버설 의존 구문 트리뱅크(Turkish UD treebanks)에서 추출하였으며, compound:lvc 및 compound 의존 관계를 활용하여 후보 LVC를 추출하였다.
  • 지시어 튜닝된 LLM(Instruction-Tuned LLMs): 서로 다른 계열의 세 가지 모델(Llama 3.1 (8B), GPT-OSS (20B), Qwen 2.5 (14B))을 다양한 프롬프팅 체제 하에서 평가하였다.
• 실험 체제: LLM은 다음 세 가지 조건에서 테스트되었다:
  1. Zero-shot: 지시어만 제공.
  2. One-shot: 지시어와 더불어 각 동사 템플릿당 하나의 긍정(LVC) 예시와 하나의 부정(NLVC) 예시를 제공.
  3. Few-shot: 지시어와 함께 더 풍부한 레이블링 예시(다수의 긍정/부정 쌍)를 제공.
     지도 학습 기반의 BERTurk 모델은 고정된 베이스라인으로서 평가되었다.

주요 결과
실험 결과, 프롬프팅 체제와 모델 아키텍처에 따른 상당한 민감도가 드러났다:

• Zero-Shot 성능: LLM은 강한 보수적 편향을 보였다. 부정 대조군(Random 및 NLVC)에 대해서는 우수한 성능을 보였으나, LVC를 탐지하는 데는 실패하였다(Llama 3.1의 경우 재현율(recall)이 0%에 근접, 타 모델들도 매우 낮음). 반면, 지도 학습 기반의 BERTurk 베이스라인은 부정 클래스와 LVC 모두에서 높은 성능(F1 ~0.75–0.86)을 유지하며, 긍정 클래스에 대해 제로샷 LLM보다 유의미하게 우수한 성능을 보였다.
• One-Shot 성능: 단 하나의 데모를 도입하는 것만으로도 오류 프로파일이 급격히 변화했으나, 모델별 강력한 편향이 유입되었다. Llama 3.1은 LVC를 과잉 예측하는 방향으로 변화한 반면(높은 재현율, 부정 사례에 대한 낮은 정밀도), Qwen 2.5는 보수적인 성향을 유지하였다(부정 사례에 대한 높은 정밀도, LVC에 대한 낮은 재현율). GPT-OSS-20B는 가장 균형 잡힌 성능을 보여주었다.
• Few-Shot 성능: 더 풍부한 퓨샷 프롬프트는 GPT-OSS-20B와 Qwen 2.5의 캘리브레이션(calibration)을 개선하여, 견고한 전체 정확도(84–86%)를 달고 극단적인 실패 모드를 줄였다. 그러나 Llama 3.1은 계속해서 긍정 사례를 과잉 예측하였다.
• 통계 분석: 카이제곱 검정 결과, 제로샷 단계에서의 LLM 간 차이는 유의미하지 않은 경우가 많았으나, 원샷 및 퓨샷 체제에서는 오류 프로파일에서 유의미한 모델 간 차이가 발생하였다. 지도 학습 베이스라인은 프롬프트 기반 LLM과 경쟁할 만한 수준이었으며, 일부 제로샷 비교에서는 오히려 더 우수하였다.

주요 기여

1. 통제된 진단 데이터셋: 표준 i.i.d. 테스트 세트의 노이즈를 피하고, 터키어 LVC의 직설적-관용적 구분을 테스트하기 위해 특별히 설계된 수동 주석 매칭 대조 데이터셋(N=147)을 공개하였다.
2. 프롬프트 민감도에 대한 경험적 분석: 인컨텍스트 학습이 성능을 균일하게 향상시키는 것이 아니라, 결정 경계와 캘리브레이션을 변화시킨다는 점을 입증하였다. 원샷 프롬프팅은 모델 특유의 심각한 편향(과잉 또는 과소 예측)을 유발할 수 있는 반면, 퓨샷 프롬프팅은 더 나은 캘리브레이션을 제공한다.
3. 지도 학습 대 인컨텍스트 학습: 특정 메타언어적 태스크(LVC 탐지 등)와 형태론적으로 풍부한 언어의 경우, 작은 규모의 태스크 특화 지도 학습 인코더(BERTurk)가 프롬프팅을 통한 더 큰 규모의 LLM과 경쟁하거나 이를 능가할 수 있다는 증거를 제시하였다.

의의 및 주장
저자들은 본 연구의 결과가 터키어 메타언어적 분류에 내재된 상당한 **프롬프트 민감도(prompt sensitivity)**를 강조한다고 주장한다. 이들은 정교하게 구성된 데모가 제공될 때 프롬프트 기반 LLM이 지도 학습 베이스라인과 대등하거나 이를 능가할 수 있지만, 그러한 캘리브레이션 없이는 본질적으로 우월하지 않다고 주장한다.

본 논문은 지도 학습 베이스라인의 성공이 특정 레이블 공간에 대한 직접적인 최적화와 트리뱅크 유래 감독을 통한 형태통사론적 단서의 활용에서 비롯된다고 상정하는 반면, LLM은 지시어로부터 태스크 정의를 추론해야 한다는 점을 지적한다. 저자들은 LVC 탐지가 프롬프트에 민감한 능력으로 취급되어야 하며, 집계된 정확도 지표가 가릴 수 있는 체계적인 결정 경계 실패를 밝혀내기 위해서는 조건별 통제된 평가가 필수적이라고 결론짓는다. 또한, 이들의 결과는 형태론적으로 풍부한 언어에서 태스크 특화 지도 학습의 가치를 시사하는 것이지, BERT가 일반적으로 LLM보다 더 유능하다는 주장이 아니라, 이는 도메인 내 지도 학습 기반 시퀀스 레이블링과 범용 프롬프팅 사이의 차이를 반영한 것임을 명시한다.