Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

기술적 요약: 구문 해석 다중성 불일치 가설 검증

문제 제기
놀라움 (Surprisal) 이론은 단어의 처리 난이도가 문맥 내 예측 가능성 (부정 로그 확률) 에 의해 결정된다고 주장하며, 인간의 문장 처리와 언어 모델 (LM) 의 다음 단어 예측 간의 잠재적 연결고리를 제시합니다. 자연스러운 텍스트에서 LM 의 놀라움 값은 독서 시간을 성공적으로 예측하지만, 통제된 연구에서 관찰된 구문적 모호성의 난이도 크기, 특히 '가든 패스 (garden path)' 문장에서 체계적으로 과소평가합니다. 이러한 문장에서는 일시적인 모호성이 한 가지 해석을 우선적으로 지지하다가, 이후 선호되지 않는 해석을 지지하도록 모호성이 해소되면서 상당한 처리 비용 (예: 300ms 이상의 독서 시간 증가) 을 초래합니다.

이전 연구에 따르면, LM 은 가든 패스 효과의 방향은 예측하지만, 그 크기는 인간 데이터보다 수백 배 작습니다. 예를 들어, GPT-2 는 약 8ms 의 가든 패스 효과를 예측하는 반면, 인간 데이터는 300ms 를 초과하는 효과를 보여줍니다. 본 논문은 이 불일치가 인간과 LM 간의 계산적 제약 차이에서 비롯되는지 여부를 조사합니다. 구체적으로 **구문 해석 다중성 불일치 가설 (Parse Multiplicity Mismatch Hypothesis)**을 검증합니다. 이 가설은 LM 이 인간보다 더 많은 수의 서로 다른 구문 해석 (parses) 을 동시에 기억에 유지할 수 있다는 제안입니다. 만약 인간의 병렬 처리 능력이 더 제한적이라면, 인간은 단일한 잘못된 해석을 더 일찍 확정 짓게 되어, 많은 경쟁 해석들을 마진화 (marginalize) 하는 LM 에 비해 모호성 해소 시 더 높은 놀라움을 경험하게 됩니다.

방법론
이 가설을 검증하기 위해 저자들은 재귀 신경망 문법 (Recurrent Neural Network Grammars, RNNGs) (Dyer et al., 2016) 을 활용했습니다. 표준 자기회귀 LM (예: GPT-2) 이 암묵적으로 구문을 학습하는 반면, RNNG 는 문맥의 명시적 구문 해석에 기반하여 다음 단어 예측을 조건화합니다. 이 아키텍처는 **단어 동기식 빔 검색 (word-synchronous beam search)**을 통해 구문 해석 다중성을 직접 조작할 수 있게 합니다.

1. 모델 설정: 저자들은 BabyLM 과 BLLIP 코퍼스를 사용하여 RNNG 를 훈련시켰으며, 두 가지 구문 분석 전략인 **상향식 (top-down)**과 왼쪽 코너 (left-corner) 방식을 적용했습니다.
2. 다중성 조작: 변형된 핵심 매개변수는 **단어 빔 너비 ($k_w$)**로, 각 단어 단계에서 유지되는 서로 다른 해석의 수를 결정합니다.
   • $k_w = 1$: 단일 해석만 유지하는 완전 직렬 파서를 나타냅니다.
   • $k_w \to \infty$: 모든 해석에 대한 완전한 마진화를 근사하는 완전 병렬 파서를 나타냅니다.
   • 본 연구는 $k_w$ 값을 1 에서 1000 까지 테스트했습니다.
3. 놀라움 계산: 다음 단어의 놀라움은 상위 $k_w$개의 해석에 걸쳐 다음 단어 확률 분포를 마진화하여 계산했습니다.
4. 반사실적 조건: 경계를 설정하기 위해 저자들은 두 가지 특정 조건을 도입했습니다.
   • 강제 가든 패스 (FORCED GARDEN PATH): 처음 선호되지만 잘못된 해석과 일치하는 해석만 포함하도록 빔을 수동으로 가지치기하여, 예측된 놀라움의 상한선을 생성합니다.
   • 완전 병렬 (FULL-PARALLEL): 빔이 항상 전역적으로 올바른 해석과 일치하는 적어도 하나의 해석을 포함하도록 수동으로 보장하여, 하한선을 생성합니다.
5. 데이터 및 평가: 모델은 SAP 벤치마크 (Huang et al., 2024) 에서 평가되었으며, 특히 세 가지 가든 패스 구성 (MV/RR, NP/S, NP/Z) 에 초점을 맞췄습니다. 연구는 필러 문장에 대한 선형 혼합 효과 회귀를 통해 놀라움에서 유도된 예측 독서 시간을 경험적 인간 독서 시간과 비교했습니다.

주요 결과

1. 자연스러운 텍스트: 이전 연구와 일치하게, 더 큰 빔 너비 ($k_w$) 에서 유도된 놀라움 추정치는 자연스러운 필러 문장의 독서 시간에 더 잘 적합되었습니다. 이는 일반 텍스트의 경우 더 높은 병렬성 (더 많은 해석) 이 더 정확한 인간과 유사한 예측을 산출함을 시사합니다.
2. 가든 패스 효과: 구문 해석 다중성을 줄이는 것 ($k_w$ 감소) 은 예측된 가든 패스 효과의 크기를 증가시켰으며, 이는 병렬성 제한이 모호성 해소 비용을 증가시킨다는 직관을 지지합니다. 가장 큰 효과는 중간 빔 너비 ($2 \le k_w \le 10$) 에서 관찰되었는데, 이는 빔이 올바른 해석을 가지치기할 만큼 작으면서도 고품질 해석을 유지할 만큼 충분히 큰 범위였습니다.
3. 격차의 지속: 병렬성을 제한하여 예측된 효과 크기를 증가시켰음에도 불구하고, 결과는 인간 데이터와의 격차를 해소하지 못했습니다.
   • 가장 제한적인 조건 (예: $k_w=1$ 또는 잘못된 해석만 고려하는 강제 가든 패스 조건) 에서조차 예측된 독서 시간 증가는 경험적 인간 효과보다 수백 배 작았습니다.
   • 올바른 해석이 빔에 존재함을 보장하는 완전 병렬 조건은 수정되지 않은 빔에 비해 과소예측을 유의미하게 줄이지 못했으며, 이는 문제가 빔 내 올바른 해석의 존재 여부에만 있는 것이 아님을 시사합니다.

의의 및 주장
본 논문은 구문 해석 다중성 불일치 가설이 LM 기반 놀라움과 인간 문장 처리를 완전히 조화시킬 수 없다고 결론지었습니다. LM 에서 동시 해석의 수를 제한하는 것이 가든 패스 문장의 예측된 난이도를 증가시키지만, 이는 인간 처리 비용의 전체 크기를 설명하기에 부족합니다.

저자들은 이 발견이 다음과 같은 것을 시사한다고 주장합니다:

• 불일치는 고려되는 해석의 수(구문 해석 다중성) 에만 기인하지 않습니다.
• LM 이 초기에 선호되는 (잘못된) 해석만 고려하도록 강제되더라도, 모호성을 해소하는 단어에 대한 결과적 놀라움은 인간 독서 시간을 설명하기에 여전히 너무 낮습니다.
• 따라서 가든 패스 효과의 전체 크기를 설명하려면 단일 단계 단어 예측 가능성 이상의 메커니즘이 필요할 것입니다. 저자들은 **구문 재분석 (syntactic reanalysis, 2 단계 복구 과정)**이나 표준 놀라움 이론으로 포착되지 않는 다른 메커니즘이 인간 모호성 해소 난이도를 모델링하는 데 필요하다고 제안합니다.

이 연구는 LM 이 인간의 예측 메커니즘과 병렬성을 가질 수 있지만, 인간 기억의 특정 계산적 제약 (병렬성 측면에서) 이 가든 패스 효과의 불일치를 유발하는 주요 요인이 아님을 시사합니다. 대신, 처리 비용 자체의 본질은 단어 수준의 놀라움으로 환원되지 않는 과정 (재분석 등) 을 포함할 수 있습니다.