Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

기술적 요약: 서프라이절(Surprisal)과 은유 참신성 판단

문제 정의
본 논문은 대규모 언어 모델(LM)을 사용하여 언어적 창의성, 구체적으로는 관습적 은유와 참신한 은유의 구분을 정량화하는 과제를 다룬다. 은유 이해는 복잡한 의미론적 과정과 영역 간 매핑(cross-domain mapping)을 포함하지만, 참신한 은유를 관습적인 것과 분리하는 것은 인간 주석가에게도 어려우며 계산적 은유 분석에서도 거의 고려되지 않는다. 저자들은 서프라이절(surprisal)—문맥 내 단어의 예측 불가능성을 나타내는 확률적 척도인 $-\log p(w_i | w_{<i})$—이 은유 참신성(novelty)의 신뢰할 수 있는 지표가 될 수 있는지 조사한다. 이들은 LM의 서프라이절이 인간의 참신성 주석과 상관관계가 있는지, 그리고 모델 크기, 데이터셋 유형(코퍼스 기반 vs. 합성 데이터), 문맥 모델링이 이 상관관계에 어떠한 영향을 미치는지 파악하는 것을 목표로 한다.

방법론
본 연구는 네 가지 데이터셋과 16개의 인과적(causal) LM 변형을 포함하는 체계적인 실험 설계를 채택하였다:

1. 데이터셋:

   • 코퍼스 기반: VU Amsterdam Metaphor Corpus(VUAMC)의 두 가지 하위 집합.
     • VUA-ratings: 크라우드 소싱된 최선-최악 스케일링(best-worst scaling)에서 도출된 연속적인 참신성 점수(-1 ~ +1)를 포함한다.
     • VUA-dictionary: 은유의 문맥적 의미가 사전 항목에 존재하지 않을 경우 이를 참신한 것으로 간주하는 사전 기반 방법을 통한 이진 참신성 레이블을 포함한다.
   • 합성 데이터: 통제된 두 가지 데이터셋.
     • Lai2009: 특정 단어의 직유적, 관습적, 참신한, 그리고 이례적인 용법을 포함하는 고정된 구조의 심리언어학적 자극.
     • GPT-4o-metaphors: 특정 동사와 명사의 관습적 및 참신한 의미를 생성하도록 GPT-4o에 프롬프팅하여 만든 토이(toy) 데이터셋.

2. 모델:

   • 세 가지 계열의 디코더 전용 인과적 LM: GPT-2 (4개 크기), Llama 3 (3개 크기), Qwen2.5 (3개 크기).
   • 정렬(alignment)이 서프라이절에 미치는 영향을 평가하기 위해 베이스(base) 모델과 인스트럭션 튜닝(instruction-tuned) 변형을 모두 평가하였다.

3. 서프라이절 계산:

   • 직접 서프라이절(Direct-surprisal): 이전 문맥이 주어진 상태에서 타겟 단어에 대해 계산되는 표준적인 좌측-우측(left-to-right) 서프라이절.
   • 클로즈 서프라이절(Cloze-surprisal): 우측 문맥(right-context)을 포함하기 위해 저자들이 제안한 새로운 방법. 타겟 단어를 빈칸으로 대체하고, 전체 문장(타겟 포함)을 완성문으로 붙인 뒤, 두 번째 등장하는 타겟 단어에서의 서프라이절을 측정한다. 이는 전체 문장 문맥에 조건화된 확률을 산출한다.

4. 평가:

   • 서프라이절 점수와 참신성 주석 사이의 상관관계 지표(Pearson's $r$, Spearman's $\rho$, Rank-biserial $r_b$, AUC)를 계산하였다.
   • 모델 크기, 데이터셋 유형, 장르 분할(소설, 뉴스, 학술, 대화)에 따른 분석을 수행하였다.

주요 결과

• 중간 정도의 상관관계: 모든 데이터셋에서 LM 서프라이절은 은유 참신성 주석과 유의미하고 양(+)의 상관관계를 보이지만, 그 정도는 **중간 수준(moderate)**이다. 가장 강력한 결과는 VUA-ratings에 대한 GPT2-base에서 관찰되었다 ($r = .419$, $r_b = .638$).
• 상이한 스케일링 효과: 모델 크기와 상관관계 강도 사이의 관계는 데이터셋 유형에 따라 달라진다:
  • 코퍼스 기반 데이터: **역 스케일링 효과(inverse scaling effect)**를 보인다. 모델 크기가 커질수록 상관관계 강도가 감소한다. 저자들은 이를 큰 모델이 자연 코퍼스에서 참신함과 자주 연관되는 희귀 단어에 대해 인간과 같지 않은 기대를 부여하기 때문이라고 설명한다.
  • 합성 데이터: **품질-동력 가설(quality-power hypothesis, positive scaling)**을 보인다. 상관관계 강도가 모델 크기에 따라 증가하는데, 이는 합성 데이터셋이 어휘 빈도와 정체성을 통제함으로써 참신성 차원을 더 효과적으로 격리하기 때문인 것으로 보인다.
• 클로즈 서프라이절(Cloze-surprisal): 저자들이 제안한 클로즈 서프라이절 방식은 일반적으로 상관관계를 개선하며, 특히 코퍼스 기반 데이터에 대한 GPT-2 모델에서 효과적이었다 (예: VUA-ratings에서 $r_b$를 .687로 향상). 이는 서프라이절 값의 분포를 0에서 멀어지게 하여, 은유 처리에 필요한 전체 문맥을 더 잘 포착하게 한다. 그러나 합성 데이터셋에서는 때때로 성능이 저하되기도 한다.
• 인스트럭션 튜닝(Instruction-tuning): 인스트럭션 튜닝은 서프라이절과 참신성 사이의 상관관계를 일관되게 개선하지 못한다. 많은 경우, 특히 Qwen 모델과 합성 데이터셋의 경우, 인스트럭션 튜닝이 베이스 모델에 비해 상관관계를 감소시켰다.
• 장르 효과: 상관관계 강도는 장르에 따라 다르며, 은유 밀도 및 모델의 퍼플렉시티(perplexity)와 관계를 보인다. 예를 들어, 대화 장르는 높은 퍼플렉시티를 보였으나 사전 기반 참신성 레이블과는 강한 상관관계를 보였다.

의의 및 주장
본 논문은 서프라이절이 은유 참신성 주석을 부분적으로 설명할 수는 있지만, 그 자체로는 언어적 창의성에 대한 제한적인 지표로 남는다고 결론짓는다. 저자들은 은유를 해석하는 과정은 단순한 예측 가능성을 넘어 의미론적 통합과 영역 간 매핑을 포함한다고 주장한다.

본 연구의 주요 기여는 데이터의 성격에 따른 상이한 스케일링 패턴을 밝혀낸 데 있다. 코퍼스 데이터에서 관찰되는 "역 스케일링"은 어휘 빈도의 혼란 변수(confound)에 의해 유발될 수 있는 반면, 이러한 요인을 통제한 합성 데이터는 양(+)의 스케일링 효과를 보여준다는 점을 시사한다. 저자들은 현재 고품질의 주석이 부족함을 지적하며, 다양한 장르와 환경에 걸쳐 은유 참신성에 대한 체계적인 주석을 제공하는 새로운 측정법과 데이터셋을 요구한다. 이들은 서프라이절을 유망하지만 불완전한 도구로 규정하며, 참신한 해석과 영역 매핑을 직접 겨냥하는 다른 지표들과 함께 사용될 때 가장 효과적이라고 위치시킨다.