On the Proper Treatment of Units in Surprisal Theory

"Surprisal Theory 에서 단위 처리에 대한 적절한 접근" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

Surprisal 이론은 인간의 인지 처리 노력이 문맥에 따른 다음 언어 단위의 음의 로그 확률 (surprisal) 에 의해 결정된다고 주장합니다. 그러나 현재 실증 연구에는 중요한 방법론적 격차가 존재합니다.

• 불일치: 실험 자극은 일반적으로 언어적으로 동기화된 단위 (예: 단어, 형태소) 로 분할되지만, 최신 사전 훈련된 언어 모델 (LM) 은 이러한 언어 단위와 일치하지 않는 고정된 토큰 알파벳 (예: Byte-Pair Encoding) 을 기반으로 작동합니다.
• 결과: 연구자들은 현재 모델 토큰을 언어 단위로 매핑하기 위해 임시적이고 사후적인 휴리스틱에 의존하고 있습니다. 이러한 절차는 종종 두 가지 구별되는 모델링 선택을 혼동합니다.
  1. 단위 목록 (Unit Inventory, $U$): 언어 단위의 정의 (예: 단어, 문자, 구).
  2. 관심 영역 (Regions of Interest, ROIs): 예측이 평가되는 특정 구간 (예: 단어 수준의 surprisal 을 문장 수준의 지표로 집계).
• 기존 접근법의 결함: 최근 이 매핑을 공식화하려는 시도들 (예: Oh & Schuler, 2024; Pimentel & Meister, 2024) 은 단위 경계가 기호 알파벳의 고정된 분할 (예: 공백은 항상 경계를 표시함) 로 결정될 수 있다고 가정합니다. 저자들은 이것이 언어적으로 부적절하며 (예: "end, he"에서 쉼표는 경계이지만 "1,000"에서는 내부에 있음), 문맥 의존적 토큰화 처리 시 수학적으로 일관성이 없다고 주장합니다.

2. 방법론

저자들은 토큰화를 과학적 원시적 요소가 아닌 구현 세부 사항으로 취급하여 단위 정의와 토큰화를 분리하는 통합된 공식 프레임워크를 제안합니다.

A. 공식 프레임워크

• 관심사의 분리: 이 논문은 LM 의 고유 토큰/문자인 **기호 알파벳 ($\Sigma$)**과 연구자가 선택한 언어 단위인 **단위 목록 ($U$)**을 구분합니다.
• 단위 파서 (Unit Parser, $\rho$): 기호 문자열을 단위 문자열로 변환하는 확률적 매핑 $\rho: \Sigma^* \to U^*$입니다. 저자들은 실용적 목적으로 $\rho$가 결정론적이라고 가정합니다.
• 푸시포워드 확률 (Pushforward Probability): 기호 수준 모델 ($p_\Sigma$) 에서 단위별 확률 분포 ($p_U$) 를 유도하기 위해 푸시포워드 연산을 사용합니다.
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  이는 특정 단위 $u$에 매핑되는 모든 기호 문자열의 확률을 합산합니다.

B. 변환 언어 모델 (Transduced Language Models)

잠재적으로 무한한 기호 문자열에 대한 합산이라는 계산적 도전을 처리하기 위해, 저자들은 **유한 상태 변환기 (Finite State Transducers, FSTs)**를 도입합니다.

• 정규 단위 목록: $U$가 유한 알파벳 $\Xi$ 위의 문자열에 대한 "정규 (regular)" 부분집합이라고 가정합니다.
• 변환기 (Transducer, $f$): 유한 변환기 $f = h \circ \rho$는 기호 문자열 $\Sigma^*$를 $\Delta = \Xi \cup \{SEP\}$의 문자열로 매핑하며, 여기서 $SEP$는 구분 기호입니다.
• 알고리즘: LM 을 변환기와 결합함으로써 빔 탐색 근사 (Snæbjarnarson et al., 2026) 를 사용하여 푸시포워드 분포를 효율적으로 계산할 수 있습니다. 이를 통해 LM 을 재훈련하지 않고도 임의의 단위 목록에 대한 surprisal 을 계산할 수 있습니다.

C. 실험 설계

• 데이터셋: Multilingual Eye-movement Corpus (MECO) 중 영어 부분 (독자 46 명, 위키백과 발췌문 12 개).
• 테스트된 단위 목록:
  1. 토큰: 네이티브 GPT-2 토큰.
  2. 문자: 개별 문자.
  3. 비문맥적 단어: 고정 구분자 (공백) 로 분리된 단어, 선행 및 후행 공백 귀속을 모두 테스트.
  4. 문맥적 단어: Penn Treebank (PTB) 규칙을 사용하여 분리된 단어 (예: "1,000"과 "end, he"와 같은 구두점 처리).
• 분석:
  • 기선 (Baseline): 단위 길이, unigram surprisal, 그리고 spillover 효과를 사용하여 읽기 시간을 예측하는 로그 - 정규 일반화 가법 혼합 모델 (GAMMs).
  • 목표: 기선 모델에 문맥적 surprisal을 추가한 모델.
  • 지표: leave-one-out 교차 검증을 통한 홀드아웃 로그 가능도 향상 ($\Delta llh$).

3. 주요 기여

1. 이론적 분리: 이 논문은 단위의 선택과 토큰화의 선택을 공식적으로 분리하며, 단위 선택은 LM 의 아키텍처의 부산물이 아니라 과학적 질문에 의해 주도되는 주요 모델링 결정이어야 한다고 주장합니다.
2. 일반화된 형식주의: 변환기를 사용하여 "사용자 정의 단위 (bring your own units)" 프레임워크를 제공하여, 연구자들이 임의의 문맥 민감 단위 목록 (예: PTB 스타일 토큰화) 을 정의하고 사전 훈련된 LM 에서 직접 surprisal 을 계산할 수 있게 합니다.
3. 현재 휴리스틱에 대한 비판: 고정 분할 접근법 (공백을 보편적 경계 표시자로 취급) 이 언어적 현실 (예: 구두점 연결) 을 포착하지 못하고 단위 정체성에 관한 수학적 불일치를 초래함을 입증합니다.
4. 실용적 툴킷: 저자들은 토큰 수준 모델을 문자 수준 또는 문맥 인식 단어 수준 모델로 변환하는 코드와 변환기를 공개했습니다.

4. 결과

저자들은 네 가지 단위 목록에 대한 surprisal 의 예측력을 세 가지 읽기 시간 측정치 (첫 번째 고정점, 시선 지속 시간, 총 읽기 시간) 에 대해 평가했습니다.

• 단어 유사 목록: Surprisal 은 모든 단어 유사 목록 (토큰, 비문맥적, 문맥적) 에 대해 시선 지속 시간과 총 읽기 시간 예측을 유의하게 향상시켰습니다.
• 첫 번째 고정점: Surprisal 은 토큰, 문맥적 단어, 그리고 비문맥적 (후행) 에서는 유의했으나, 비문맥적 (선행) 에서는 유의하지 않았습니다. 이는 BPE 에서 일반적인 선행 공백 귀속이 초기 인지 처리와 불일치할 수 있음을 시사합니다.
• 문자 수준: 문자 수준 surprisal 은 읽기 시간 예측에서 유의한 향상을 보이지 않았습니다. 저자들은 단일 문자가 개별적으로 주시되는 경우는 드물며, 처리의 인지 단위가 단일 문자보다 크다는 점을 그 이유로 꼽았습니다.
• 문맥적 vs 비문맥적: 구두점을 올바르게 처리하는 문맥적 단어 목록은 비문맥적 목록과 일반적으로 동등하거나 약간 더 나은 성능을 보였으며, 특히 복잡한 구두점 사례에서 문맥 민감 분할의 필요성을 입증했습니다.
• 절대 점수의 비비교성: 이 연구는 서로 다른 단위 목록 간의 절대 로그 가능도와 $\Delta llh$ 값을 직접 비교할 수 없음을 강조합니다. 이는 목록이 서로 다른 관찰 세분성과 기선 예측자 (예: 단위 길이) 를 유도하기 때문입니다.

5. 의의

• 방법론적 엄밀성: 이 논문은 토큰화를 고정된 제약으로 취급하는 것이 심리언어학적 결론의 타당성을 제한한다는 점을 확립합니다. 연구자들은 명시적으로 자신의 단위 목록을 정의해야 합니다.
• 재현성과 유연성: 변환기 기반 프레임워크를 제공함으로써, 저자들은 커뮤니티가 LM 을 처음부터 재훈련하는 막대한 비용 없이 특정 언어 단위 (형태소, 구, 담화 단위) 에 대한 가설을 테스트할 수 있게 합니다.
• 언어적 적절성: 결과는 구두점 처리와 관련하여 단순 구분자 기반 분할보다 문맥 민감 분할 (PTB 와 같은) 이 인간 읽기 행동을 모델링하는 데 더 우월하다는 견해를 지지합니다.
• 향후 방향: 이 프레임워크는 적절한 변환기를 구성할 수 있다면 다른 종속 변수 (신경 신호, 손실된 문맥 surprisal) 와 다른 언어로 확장 가능합니다.

요약하자면, 이 논문은 토큰화는 구현 세부 사항인 반면, 단위 선택은 과학적 선택이라고 주장합니다. 변환기를 통해 두 가지를 분리함으로써 연구자들은 그들의 surprisal 지표가 연구하려는 언어 단위를 정확하게 반영하도록 보장할 수 있습니다.