The relative strength of hierarchical structure and statistics differs across the measures in naturalistic reading

기술적 요약: 자연스러운 독해에서 계층적 구조와 통계의 상대적 강도

문제 제별 (Problem Statement)
본 논문은 온라인 언어 이해를 주도하는 메커니즘에 관한 심리언어학계의 오랜 논쟁을 다룬다. 두 가지 주요한, 종종 대립하는 관점이 존재한다: 하나는 **계층적 관점(hierarchical account)**으로, 언어 이해가 선형적 단어 순서와 독립적으로 추상적인 구 구조(phrase structures)와 통사적 의존 관계를 구축하는 것에 의존한다고 상정한다. 다른 하나는 **비계층적 관점(non-hierarchical account)**으로, 언어 이해가 계층적 조직에 대한 강력한 민감성 없이 국소적 통계, 순차적 예측, 그리고 선형적 인접성에 의해 주도된다고 주장한다. 두 관점 모두에 대한 증거가 존재하지만, 학계는 계층적 구조가 통계적 요인에 비해 언제, 그리고 얼마나 강력하게 영향을 미치는지에 대한 합의가 부족한 상태이다. 저자들은 이를 "승자 독식(winner-take-all)" 식의 경쟁으로 프레임화하는 것은 비생산적이라고 주장한다. 대신, 이들은 이러한 요인들이 어떻게 서로 다른 현상(단어 수준 vs 문장 수준)과 시간 척도에 걸쳐 이해를 공동으로 조직하는지 조사할 것을 제안한다.

방법론 (Methodology)
본 연구는 12명의 원어민 영어 화자가 400개의 영화 리뷰 문장을 읽는 데이터를 포함하는 ZuCo 코퍼스(Hollenstein et al., 2018)의 동시 등록된 EEG 및 안구 추적(eye-tracking) 데이터를 활용한다. 저자들은 통사적 깊이(syntactic depth)(단어에서 문장 루트까지의 의존 링크 수)를 사용하여 계층적 구조를 조작적 정의하며, 이 지표는 선형적 위치 및 어휘적 예측 가능성과 독립적으로 변화한다.

연구는 계층적 깊이를 비계층적 대안(선형 시퀀스 및 통계적 놀라움/surprisal)과 비교하기 위해 세 가지 수렴하는 분석을 채택한다:

1. 전이 확률 분석 (Scanpath Geometry):

   • 목표: 안구 운동(scanpaths)이 선형 인접성(시퀀스 기반)에 의해 조직되는지, 아니면 통사적 중심성(계층적)에 의해 조직되는지 테스트한다.
   • 방법: 단어들을 "헤드(heads)"(통사적 깊이 0 또는 1)와 "비헤드(non-heads)"(깊이 ≥ 2)로 분류하였다. 저자들은 두 가지 시퀀스(원래의 선형 텍스트 순서와 실제 고정(fixation) 유래 순서)에서 네 가지 전이 유형(head-to-head, head-to-non-head 등)에 대한 전이 확률을 계산하였다.
   • 비교: 이 분석은 "head-to-head" 전이의 빈도를 선형 베이스라인과 비교하였다. 이는 특히 선행적 행동(pre-fixation)을 테스트하고 회귀(regressions, 역방향 안구 운동)로 인한 인위적 효과를 배제하였다.

2. 베이지안 네트워크 분석 (문장 수준의 강도):

   • 목표: 선형 읽기 순서로부터의 이탈을 설명하는 데 있어 계층적 구조와 통계적 요인의 상대적 예측 가중치를 정량화한다.
   • 방법: 결과 변수는 편집 거리(edit distance)(선형 텍스트 시퀀스를 고정 유래 시퀀스로 변환하는 데 필요한 최소 연산)였다. 다섯 가지 예측 변수(두 개의 구조적 변수: 최대 파싱 깊이, 절의 개수; 두 개의 어휘적/통계적 변수: 문장 친숙도, GPT-2에서 도출된 문장 surprsal)를 가진 가우시안 베이지안 네트워크를 학습시켰다.
   • 분석: 구조 학습을 통해 의존 그래프를 식별하였고, 결과 노드에 대한 국소 선형-가우시안 회귀를 통해 각 예측 변수의 상대적 강도를 결정하기 위한 표준화된 계수를 제공하였다.

3. 고정 관련 전위(Fixation-Related Potentials)의 시간 분해 회귀 (단어 수준의 신경 정렬):

   • 목표: 통계적 처리와 구별되는 계층적 처리의 타이밍과 강도를 결정한다.
   • 방법: 고정 시작 시점에 타임 락(time-locked)된 EEG 에포크로부터 고정 관련 전위(FRPs)를 추출하였다. 다섯 가지 표준화된 예측 변수(통사적 깊이, 통사적 surprsal(CCG-supertagging LSTM을 통해 계산됨), 단어 길이, 어휘 빈도, 어휘 surprsal)를 사용하여 리지 회귀(Ridge regression)를 수행하였다.
   • 추론: 그룹 수준 추론을 위해 여섯 개의 관심 영역(ROI)에 걸쳐 클러스터 기반 순열 검정(cluster-based permutation tests)을 수행하여 유의미한 시간 창과 예측 변수 간의 지형적 해리(topographic dissociation)를 식별하였다.

주요 결과 (Key Results)

• 스캔패스 조직 (분석 1): 독자들은 선형 텍스트 베이스라인과 비교했을 때, 고정 유래 시퀀스에서 통사적 헤드(낮은 깊이의 단어) 사이를 전이하는 데 유의미한 편향을 보였다. 이 "head-to-head" 선호도는 회귀를 제거한 후에도 견고하게 나타났으며, 이는 전방 사카드(forward saccades)가 단순히 선형적 인접성이 아니라 계층적 구조에 의해 유도됨을 나타낸다.
• 문장 수준의 강도 (분석 2): 베이지안 네트워크에서 통사적 깊이는 스캔패스 이탈(편집 거리)을 설명하는 가장 강력한 직접적 예측 변수로 나타났다(표준화 계수 $\beta \approx 0.40$). 이는 문장 친숙도($\beta \approx 0.37$) 및 문장 surprsal($\beta \approx 0.19$)보다 높았다. 이는 문장 수준에서 계층적 구조가 통계적 예측 가능성보다 선형 읽기에서의 이탈을 더 강력하게 주도함을 시사한다.
• 신경 타이밍 및 강도 (분석 3):
  • 타이밍: 계층적 처리(통사적 깊이)는 우측 전두부(right-frontal) 영역에서 고정 시작 108ms 전부터 신경 활동을 조절하였는데, 이는 선행적 역할을 나타낸다. 통계적 예측 변수(어휘 빈도 및 surprsal)는 좌측 후부(left-posterior) 영역에서 역시 고정 전(약 90–130 ms)부터 활동을 조절하였다.
  • 강도 해리: 두 효과 모두 신뢰할 수 있었으나, 규모 면에서 차이가 있었다. 단어 수준의 신경 반응에서는 어휘적 surprsal이 통사적 깊이보다 훨씬 큰 효과 크기를 보였다. 반면, 문장 수준의 스캔패스에서는 통사적 깊이가 지배적인 예측 변수였다.
  • 통사적 Surprisal vs. 깊이: 결정적으로, 통사적 깊이는 견고한 신경 클러스터를 생성한 반면, 통사적 surprsal(통사 범주의 평면적 통계적 불확실성 측정치)은 유의미한 클러스터를 생성하지 못했다. 이 해리는 신경학적 신호가 단순한 순차적 통계 확률이 아니라 진정한 계층적 표상을 반영한다는 것에 대한 긍정적 증거를 제공한다.

의의 및 주장 (Significance and Claims)
본 논문은 계층적 대 비계층적 논쟁을 한 요인이 보편적으로 지배하는 이분법적 대립으로 보아서는 안 된다고 주장한다. 대신, 계층적 구조의 강도는 설명하고자 하는 현상(explanandum)에 따라 달라진다:

1. 규모 의존성: 계층적 구조는 문장 수준의 현상(특히 스캔패스의 기하학적 구조 및 선형 순서로부터의 이탈)을 주도하는 주요 동력인 반면, 통계적 요인(surprisal)은 단어 수준의 현상(고정 잠금 신경 활동 및 국소 처리 비용)을 주도하는 더 강력한 동력이다.
2. 선행적 처리: 본 연구는 계층적 구조가 이해를 선행적으로 가이드한다는 증서적 근거를 제공한다. 통사적 깊이 신호의 고정 전 발생(108ms 전)과 스캔패스에서의 헤드 편향은 독자들이 foveal uptake(중심와 수용) 전의 주의를 유도하기 위해 내재화된 계층적 스캐폴드(scaffold)를 활용함을 시사한다.
3. 선형 통계 그 이상: 통사적 깊이는 신경 활동을 예측하는 반면 통사적 surprsal은 그렇지 못하다는 발견은, 온라인 이해가 단순한 순차적 통계 확률의 축적이 아니라 진정한 계층적 표상을 포함한다는 것에 대한 긍정적 증거를 제공한다.

저자들은 계층적 구조가 눈이 어디로 향할지, 스캔패스가 선형 순서에서 어떻게 이탈할지, 그리고 전-중심와(pre-foveal) 신경 신호의 성격이 어떠할지를 형성하는 능동적인 차원이며, 그 영향력은 읽기 행동의 다양한 측면에 따라 달라진다고 결론짓는다.