Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

기술 요약: 인간과 유사한 일시적 기억이 언어 학습을 향상시키지만 트랜스포머 언어 모델의 읽기 시간 예측 능력을 저해함

문제 제기
인지과학은 오랫동안 인간 작업기억의 일시적 특성, 즉 정확한 단어 형태의 빠른 소실이 역설적으로 언어 습득을 돕는다는 가설을 제기해 왔습니다. 이 "적은 것이 더 많다"는 가설은 기억의 한계가 학습자로 하여금 표면적 통계적 암기에 의존하기보다 국소적 규칙성과 추상적 표현(예: 청킹, 구문 구조)에 집중하도록 강제한다고 주장합니다. 엘먼 (Elman, 1993) 의 고전적 연결주의 연구는 입력 창을 제한하는 것이 순환 신경망에서의 학습을 향상시켰음을 보여줌으로써 이를 지지했습니다. 그러나 컨텍스트 창 내에서 완벽한 기억을 보유하고 본질적인 최근성 편향을 갖지 않는 트랜스포머 모델의 등장으로 이러한 관점에 도전이 제기되었습니다. 트랜스포머는 이러한 "초인적" 기억 능력에도 불구하고 언어를 효과적으로 학습합니다. 본 논문은 인간과 유사한 기억 제한 (일시적 기억) 을 재도입하는 것이 현대 트랜스포머의 언어 학습에 실제로 도움이 되는지, 그리고 이러한 구조적 제약이 모델의 인간 행동 예측 능력을 향상시키는지 조사합니다.

방법론
저자들은 발달적으로 현실적인 데이터 체계 (1 천만 및 1 억 토큰) 를 시뮬레이션하는 베이비 LM (BabyLM) 데이터셋으로 훈련된 트랜스포머 언어 모델 (GPT-2 아키텍처) 을 사용하여 엄격하게 통제된 실험을 수행했습니다.

• 아키텍처 수정: 저자들은 셀프 어텐션 메커니즘을 수정하여 "일시적 기억"을 구현했습니다. 균일한 어텐션 가중치 대신, 소프트맥스 연산 후 어텐션 점수에 고정된 비학습 가능한 최근성 편향 (멱함수 감쇠 함수) 을 적용했습니다. 이 편향은 현재 단어와의 거리에 따라 토큰의 유지를 감소시킵니다.
• 에코 기억 버퍼: 초기 토큰에서의 즉각적인 손실로 인한 국소적 의존성 교란을 인식하여, 저자들은 "에코 기억 버퍼"를 도입했습니다. 이는 멱함수 감쇠가 시작되기 전 초기 37 단어 (약 510 토큰) 에 대해 완벽한 유지를 보장하여 인간의 감각 기억을 모방합니다.
• 실험 설계: 기억 아키텍처의 효과를 분리하기 위해, 저자들은 동일한 무작위 시드 (가중치 초기화 및 데이터 샘플링 순서 통제) 로 훈련된 모델을 두 가지 조건 하에서 훈련했습니다: 완벽한 기억 (표준 트랜스포머) 과 일시적 기억 (다양한 감쇠 강도와 버퍼 크기를 가진 모델).
• 평가 지표:
  1. 언어 학습: 검증 손실 (교차 엔트로피) 및 BLiMP 벤치마크 (언어학적 최소 쌍) 를 사용한 표적 구문 평가를 통해 측정.
  2. 행동 정렬: Natural Stories 및 Dundee 코퍼스에 대한 선형 혼합 효과 회귀를 사용하여 모델의 인간 읽기 시간 예측 능력 (놀라움 기반 예측) 으로 측정.
  3. 통계적 엄밀성: 각 조건당 10~12 개의 시드를 부트스트랩 t-검정으로 분석하여 결과가 확률적 요인의 산물이 아님을 보장.

주요 결과

1. 순수 감쇠는 학습을 저해함: 버퍼 없이 즉각적인 감쇠를 적용한 "순수한" 일시적 기억 구현은 일관되게 언어 모델링 성능을 저하시켜 검증 손실을 증가시켰습니다.
2. 일시적 기억 + 버퍼는 학습을 향상시킴: 에코 기억 버퍼와 결합될 때, 일시적 기억은 일관되게 언어 학습을 향상시켰습니다. 이 아키텍처를 가진 모델은 1 천만 및 1 억 토큰 훈련 세트 모두에서 완벽한 기억 대조군에 비해 더 낮은 검증 손실과 더 높은 BLiMP 점수를 달성했습니다. 이러한 향상은 다양한 하이퍼파라미터 설정에서 통계적으로 유의미하고 견고했습니다.
3. 구문 지식 획득: 이러한 향상은 국소적 의존성에 특히 의존하는 추상적 구문 현상 (예: 주어 - 동사 일치, 대명사 일치) 으로까지 확장되었습니다.
4. 읽기 시간 예측 저해: 더 나은 언어 모델이 인간 행동을 더 잘 예측한다는 기대와 달리, 일시적 기억 모델은 인간 읽기 시간 예측에서 더 나쁜 성능을 보였습니다. 이러한 저해는 훈련 세트 크기와 데이터셋 (Natural Stories 및 Dundee) 모두에서 관찰되었습니다.
5. 분리 메커니즘: 저자들은 "더 나은 모델, 더 나쁜 행동"이라는 역설에 대한 표준 설명들을 배제했습니다. 이 저해는 초인적인 훈련 규모 (데이터는 인간 규모였음) 나 저빈도 단어의 암기 때문만이 아니었습니다 (비록 오류가 희귀 단어에 집중되었지만, 암기와 관련된 과소 예측의 특정 서명은 부재했습니다).

의의 및 주장
본 논문은 신경망, 심지어 트랜스포머 아키텍처 내에서도 기억 제한이 언어 학습에 유익한 귀납적 편향으로 작용한다는 인지 가설에 대한 경험적 증거를 제공한다고 주장합니다. 언어적 의존성이 종종 국소적이라는 통계적 사전 지식을 인코딩함으로써, 일시적 기억은 샘플 효율성과 구문 구조의 습득을 향상시킵니다.

그러나 저자들은 중요한 분리를 강조합니다: 학습 과정에서 모델을 더 "인간과 유사하게" 만드는 구조적 제약이 반드시 인간 행동 (읽기 시간) 예측을 더 "인간과 유사하게" 만드는 것은 아닙니다. 결과는 언어 모델링 능력과 행동 정렬 사이의 불일치를 초래할 수 있는 여러 가지 구별된 메커니즘이 존재함을 시사합니다. 저자들은 겸손하게 이러한 발견이 인간 규모의 데이터 체계에 국한된 것임을 지적합니다. 수십억 개의 토큰에 이르는 현대의 사전 훈련 규모에서는 모델이 데이터에서 직접 국소적 편향을 학습할 수 있으므로 이러한 제약의 이점이 감소할 수 있습니다. 이 연구는 모델의 내부 학습 효율성을 향상시키는 것이 인간 처리 데이터에 대한 더 나은 적합성을 보장하지는 않음을 강조합니다.