Revisiting Real-Time Digging-In Effects: No Evidence from NP/Z Garden-Paths

1. 연구 배경 및 문제 제기 (Problem)

• Digging-in 효과 (Digging-in Effects): 문장 처리 중 모호한 구 (ambiguous region) 가 길어질수록, 이후의 모호성 해소 (disambiguation) 가 더 어려워지는 현상입니다. 예를 들어, "Before the recruiters could adapt the policy..."에서 'policy'가 목적어로 해석되다가 뒤따르는 동사 'changed'에 의해 재분석이 필요해질 때, 중간에 수식어구 (예: 'for hiring') 가 추가되어 모호한 구간이 길어지면 재분석의 어려움이 증가한다는 가설입니다.
• 이론적 대립:
  • 동적 자기 조직화 모델 (Self-organized models): 구문 분석 (parsing) 과정에서 구조적 헌신 (structural commitment) 이 시간이 지남에 따라 강화되므로, 모호한 구간이 길어질수록 재분석이 더 어려워져야 한다고 예측합니다.
  • 서프라이설 이론 (Surprisal Theory): 처리 난이도는 입력되는 단어의 정보량 (서프라이설) 에 비례합니다. 단순히 길이가 길어지는 것만으로는 확률 분포가 변하지 않는 한 난이도가 증가하지 않아야 합니다. 오히려 신경 언어 모델 (Neural Language Models) 은 길이가 길어질수록 오히려 재분석이 약간 쉬워지는 '역 Digging-in (reverse digging-in)' 효과를 보였습니다.
• 연구 목적: 기존 연구 (Tabor & Hutchins, 2004) 가 제시한 Digging-in 효과가 실시간 문장 처리 (real-time processing) 의 robust 한 현상인지, 아니면 문장 끝 (sentence-final) 에서 발생하는 'wrap-up' 과정이나 방법론적 혼란의 산물인지 규명하는 것입니다.

2. 방법론 (Methodology)

연구자들은 두 가지 실험을 통해 인간과 대규모 언어 모델 (LLM) 의 반응을 비교 분석했습니다.

• 실험 설계:
  • 자극물: 영어 NP/Z 가드너-패스 문장 (예: "Before the recruiters could adapt the policy... changed").
  • 변인 조작:
    1. 모호성 (Ambiguity): 모호한 문장 vs. 모호성이 제거된 문장 (쉼표 삽입 또는 다른 목적어 사용).
    2. 길이 (Length): 짧은 문장 vs. 긴 문장 (명사구 뒤에 수식어 'for hiring' 추가).
    3. 해결 방식 (Resolution): 쉼표로 해결 vs. 목적어로 해결.
    4. 문장 위치 (Finality): 핵심 변인으로, 모호성 해소 단어가 문장 끝 (Sentence-final) 에 오는지, 문장 중간 (Sentence-nonfinal) 에 오는지 구분.
• 실험 1: 미즈 (Maze) 과제:
  • 각 위치에서 두 단어 중 문맥에 맞는 것을 선택하는 과제.
  • 장점: 단어별 처리 난이도를 매우 국소적으로 측정하며, 'spill-over' (이전 단어의 처리 어려움이 다음 단어로 전이되는 현상) 를 최소화합니다.
  • 참가자: 167 명 (Prolific 모집).
• 실험 2: 자기 주도 읽기 (Self-Paced Reading, SPR):
  • 기존 Tabor & Hutchins (2004) 연구의 방법론을 재현.
  • 참가자: 225 명.
• LLM 예측 모델:
  • 16 개의 대규모 언어 모델 (GPT-2, Pythia, Gemma, Qwen, Mistral 등) 앙상블 사용.
  • 예측 방식: LLM 의 서프라이설 (surprisal), 단어 빈도, 단어 길이를 기반으로 인간 반응 시간 (RT) 을 회귀 분석하여 예측. 이를 '서프라이설 이론'의 대리 지표로 사용.
• 통계 분석: 베이즈 혼합 효과 모델 (Bayesian mixed-effects models) 사용.

3. 주요 결과 (Key Results)

• 실시간 Digging-in 효과 부재:
  • Maze 실험 (Exp 1): 인간 참가자는 모호성 해소 시점 (critical word) 에서 강력한 가드너-패스 효과를 보였으나, Digging-in 효과 (길이에 따른 난이도 증가) 는 통계적으로 유의미하지 않았습니다.
  • SPR 실험 (Exp 2): 역시 모호성 - 길이 상호작용은 유의미하지 않았습니다.
• 문장 위치 (Finality) 의 결정적 영향:
  • 문장 중간 (Nonfinal) 조건: 인간과 LLM 모두 역 Digging-in (reverse digging-in) 경향을 보였습니다. 즉, 모호한 구간이 길어질수록 오히려 재분석이 약간 쉬워지는 경향입니다. 이는 LLM 의 예측과 일치합니다.
  • 문장 끝 (Final) 조건: 인간 참가자만 양의 Digging-in (positive digging-in) 경향을 보였습니다. 이는 문장 끝에서 발생하는 'wrap-up' (문장 정리) 과정이 모호성 해소와 상호작용하여 난이도를 인위적으로 높인 것으로 해석됩니다.
• 해결 방식 (Resolution) 의 차이:
  • Maze 실험에서는 쉼표로 해결된 문장보다 목적어로 해결된 문장에서 가드너-패스 효과가 훨씬 컸으나, SPR 실험에서는 이 차이가 사라졌습니다. 이는 Maze 과제의 특성 (쉼표가 오답과 정답 모두에 존재할 수 있음) 에 기인한 것으로 보입니다.
• LLM 예측 정확도:
  • LLM 은 모호성이 해소되지 않은 구간 (ambiguous conditions) 에서 인간의 실제 반응 시간을 과소평가 (underprediction) 하는 경향이 있었습니다.
  • 그러나 긴 문장과 짧은 문장 모두에서 과소평가의 정도가 유사했습니다. 즉, 길이가 길어질수록 LLM 이 예측하는 난이도 증가폭이 인간 데이터의 Digging-in 효과를 설명하지 못했습니다.

4. 주요 기여 및 결론 (Contributions & Conclusion)

• Digging-in 효과의 재해석: 기존 연구에서 보고된 Digging-in 효과는 실시간 구문 분석 중 구조적 헌신이 강화되는 현상이 아니라, 문장 끝 (sentence-final) 에서 발생하는 wrap-up 과정의 부산물일 가능성이 높습니다.
• 실시간 처리 측정의 중요성: 문장 끝 단어를 포함한 데이터는 실시간 처리 (incremental processing) 를 연구할 때 혼란을 야기할 수 있으므로, 이를 배제하거나 신중하게 다뤄야 함을 강조합니다.
• 이론적 함의:
  • 동적 자기 조직화 모델에 대한 반증: 시간이 지남에 따라 구조적 헌신이 강화되어 재분석이 어려워진다는 가설을 지지하는 실시간 증거가 없습니다.
  • 합리적 모델 (Surprisal Theory) 지지: 인간의 실시간 처리 패턴은 언어 통계 (LLM 이 예측하는 서프라이설) 를 따르며, 오히려 길이가 길어질수록 통계적 기대치가 변하여 재분석이 쉬워질 수 있음을 시사합니다.
• 방법론적 통찰: LLM 은 인간 읽기 시간을 예측하는 강력한 도구이지만, 문장 끝의 wrap-up 효과나 특정 구문 (쉼표 등) 에 대해서는 한계가 있음을 확인했습니다. Maze 과제는 LLM 과 인간 행동 비교에 SPR 보다 더 민감하고 정확한 도구임을 보였습니다.

5. 의의 (Significance)

이 연구는 심리언어학 분야에서 오랫동안 논쟁이 되어 온 'Digging-in' 효과에 대해 명확한 실증적 증거를 제시하여, 실시간 문장 처리가 시간 의존적 강화가 아닌, 언어 통계에 기반한 합리적 추론 (surprisal) 에 의해 주도될 가능성을 강력하게 지지합니다. 또한, 문장 처리 연구에서 '실시간 측정'과 '문장 종료 후 측정'을 구분하는 방법론적 엄밀성의 중요성을 재확인시켰습니다.