기술 요약: 언어 모델 임베딩을 이용한 자기 속도 읽기(Self-Paced Reading)에서의 의미적 연관성 모델링

문제 제기

단어 예측 가능성(surprisal)은 읽기 난이도를 설명하는 잘 확립된 요인이지만, 독해력을 완전히 설명하지는 못한다. 의미적 연관성(semantic association)—대상 단어와 문맥 사이의 의미적 관련성 정도—은 처리를 조절하는 별개의 요인을 나타낸다. 그러나 기존 연구들은 수작업으로 제작된 자극물이나 일관되지 않은 의미적 연관성 조작화에 크게 의존해 왔다. 최근 연구들은 언어 모델(LM) 임베딩을 사용하여 의미적 연관성을 정량화하려고 시도했으나, 이러한 구현 방식은 임베딩 모델(예: 단어 vs 문장 임베딩), 문맥 정의(예: 문장 단위 vs 윈도우 단위), 그리고 유사도 측정 방식에서 크게 차이를 보인다. 이러한 가변성은 LM 유래 의미적 연관성이 예측 가능성 이상의 처리 측면을 포착하는지, 그리고 방법론적 선택이 신경학적(N400) 및 행동적(읽기 시간) 지표에 관찰되는 효과에 어떻게 영향을 미치는지에 대한 의문을 제기한다.

방법론

본 연구는 자연스러운 네덜란드어 텍스트를 읽는 71명의 참가자로부터 얻은 합동 뇌전도(EEG) 및 자기 속도 읽기(SPR) 코퍼스를 활용하였다. 분석은 56명의 참가자와 내용어(content words)만을 대상으로 하였다.

의미적 연관성 조작화:
저자들은 의미적 연관성을 대상 단어의 임베딩과 그 앞선 문맥의 임베딩 사이의 유사성으로 정의하였다. 이 척도의 강건성을 테스트하기 위해, 저자들은 두 가지 주요 요인을 변화시켜 10가지의 뚜렷한 변형을 구현하였다:

1. 임베딩 모델:
   • 비문맥화된 단어 임베딩(Uncontextualized Word Embeddings): word2vec(네덜란드어 위키피디아로 학습됨)을 사용하였다. 문맥 표현은 다음과 같이 생성되었다:
     • 모든 단어의 평균(WE).
     • 내용어만의 평균(CWE).
     • 지수적 망각 곡선에 기반한 가중 평균(WE, Weighted; CWE, Weighted).
   • 문맥화된 문장 임베딩(Contextualized Sentence Embeddings): e5-large-trm-nl(의미적 유사성을 위해 학습된 트랜스포머 기반 모델)을 사용하였다. 이 모델은 문맥에 대한 하나의 집계된 임베딩을 생성하며, 이를 SE로 표기한다.
2. 문맥 길이:
   • 전체(All): 모든 이전 단어들.
   • 문장(N=1): 이전 문장과 대상 단어가 포함된 문장.
   • 윈도우(N=1, N=2): 고정된 수의 이전 내용어(단어 임베딩 구현에만 적용됨).
   • 가중치(Weighted): 거리 기반 감쇠가 적용된 모든 이전 단어들.

통계 분석:
R의 brms를 사용하여 두 가지 종속 변수를 예측하는 베이지안 계층 모델을 적합시켰다:

• 자기 속도 읽기 시간(RT): 로그-정규 분포(log-normal likelihood)로 모델링하였다.
• N400 진폭: 중심 두정엽 전극(발생 후 300–500ms)에서의 평균 진폭으로 정의하였으며, 가우시안 분포(Gaussian likelihood)로 모델링하였다.

모델에는 두 가지 예측 변수가 포함되었다: 로그 확률(단어 예측 가능성을 통제하기 위해 네 개의 GPT 모델을 통해 추정됨)과 의미적 연관성(sem). 모델 비교는 베이즈 인자(Bayes Factors, BF)를 통해 수행되었으며, 영 가설(효과 없음)에 대한 증거를 평가하기 위해 Savage-Dickey 밀도 비율을 사용하였고, 민감도 분석을 통해 사전 분포(priors)를 통제하였다.

주요 결과

연구 결과, 임베딩 모델과 문맥 정의의 선택이 의미적 연관성의 추정된 효과를 결정적으로 변화시킨다는 것이 밝혀졌다:

1. 임베딩 모델 간의 차이:

   • 문장 임베딩(SE): 문장 임베딩을 사용한 구현 방식이 의미적 연관성 효과에 대해 가장 신뢰할 수 있는 증거를 보여주었다. 구체적으로, SE, Sentence(N=1) 모델은 N400 효과에 대해 일화적 증거(BF > 1/3)를 보였고, SE, All 모델은 읽기 시간에 대한 효과에 대한 증거를 보였다. N400에 대한 효과의 방향은 양수(연관성이 낮은 단어가 더 음의 진폭을 유발함)였으며, 이는 기존 문헌과 일치한다.
   • 단어 임베딩(WE/CWE): 단어 임베딩을 사용한 구현 방식은 일반적으로 N400에 대해 0에 가깝거나 음수인 계수를 보였으며, 읽기 시간이나 N400 모두에 대한 강력한 효과 증거를 보이지 않았다. 주목할 점은 단어 임베딩의 효과 방향이 문장 임베딩과 자주 역전되었다는 것이다.

2. 문맥 길이:

   • 단어 임베딩의 경우, 문맥의 길이(All, Sentence, Windowed, Weighted)는 무효 결과(null results)를 유의미하게 변화시키지 않았다.
   • 문장 임베딩의 경우, 문맥 길이가 중요했다. N400에 대한 효과는 Sentence(N=1) 문맥에서 가장 강했으며, 읽기 시간에 대한 효과는 All 문맥에서 가장 강했다.

3. 예측 가능성 통제:

   • 의미적 연관성의 효과는 단어 예측 가능성(log-probability)을 통제한 상태에서 조사되었다. 결과는 문장 임베딩이 단어 예측 가능성만으로는 완전히 설명되지 않는, 처리 난이도의 분산을 포착한다는 것을 시사한다.

의의 및 주장

본 논문은 의미적 연관성을 정량화하는 방법론적 선택이 단순한 기술적 세부 사항이 아니라, 신경학적 및 행동적 데이터로부터 도출되는 결론을 근본적으로 바꾼다고 결론짓는다.

• 문장 임베딩의 우수성: 저자들은 문장 임베딩이 자연스러운 텍스트 처리에서 의미적 연관성을 포착하는 유망한 접근법이라고 주장한다. 긴 문맥에서 주제적 일관성을 잃을 수 있는 단어 임베딩의 단순 평균과 달리, 문장 임베딩은 텍스트의 일반적인 주제를 포착하여 N400 진폭 및 읽기 시간 모두와 신뢰할 수 있는 연관성을 보이는 것으로 보인다.
• 단어 임베딩의 한계: 본 연구는 긴 문맥에 대해 단어 임베딩을 단순하게 평균 낼 경우, 예측 가능성을 넘어선 의미적 관계를 포착하는 데 실패할 수 있음을 시사한다.
• 재현성 및 일반화 가능성: 저자들은 본 연구의 결과가 단일 네덜란드어 코퍼스에 기반하고 있다는 점을 겸허히 언급하였다. 그들은 의미적 연관성의 구체적인 조작화가 이러한 결과가 일반화될 수 있는지 확인하기 위해 다른 언어와 코퍼스에서도 검증되어야 한다고 강조한다. 저자들은 단어 임베딩이 보편적으로 쓸모없다고 주장하는 것이 아니라, 특히 이 특정적인 자연 텍스트 처리 맥락에서 문장 임베딩이 더 견고한 결과를 제공했다는 점을 명시한다.

본 연구는 단어 예측 가능성과 의미적 연관성을 분리하고자 할 때, 의미적 연관성을 조사하기 위한 임베딩 모델 및 문맥 정의를 신중하게 선택하는 것이 얼마나 중요한지를 강조한다.