Timesteps of Mamba Align with Human Reading Times

기술적 요약: 인간의 읽기 시간과 일치하는 Mamba의 타임스텝(Timesteps)

문제 제기
인간의 언어 처리는 시간에 걸쳐 전개되며, 계산 언어심리학의 핵심 질문 중 하나는 인공 언어 모델(LM)이 이러한 시간적 차원을 어떻게 표현하는지, 그리고 그 내부 역동성이 인간의 인지 처리와 어떻게 일으로치하는가 하는 점이다. 기존 연구들은 주로 서프라이절(surprisal, 주어진 문맥에 따른 단어의 음의 로그 확률)을 통해 트랜스포머(Transformer) 기반 모델과 인간의 읽기 시간을 연결해 왔으나, 이 방식은 다음 단어 예측 목적 함수에 의존한다. 본 연구는 입력에 따라 상태 전이를 동적으로 조절하는 내부 타임스텝(internal timesteps) 개념을 본질적으로 보유한 상태 공간 모델(SSM)인 Mamba라는 대안적 아키텍처를 조사한다. 저자들은 이러한 입력 의존적 타임스텝이 (개념적으로 상태 진화의 지속 시간을 나타내는) 상태 진화의 지속 시간과 인간 독자가 단어를 처리하는 데 소비하는 시간과 상관관계가 있는지 질문한다.

연구 방법론
본 연구는 경험적 회귀 분석과 Mamba 아키텍처에 대한 정식 이론적 분석을 결합한 다각적인 접근 방식을 채택한다.

1. 데이터셋: 저자들은 두 가지 자연스러운 읽기 시간 데이터셋을 활용했다.

   • Natural Stories: 181명의 원어민 화자가 10개의 이야기를 읽는 동안 수행된 자기 조절 읽기(self-paced reading) 데이터.
   • OneStop: 180명의 원어민 화자가 30개의 기사(상급 및 초급 버전 모두 포함)를 읽는 동안의 안구 추적 데이터로, 첫 통과 시간(first-pass time)과 회귀 경로 지속 시간(regression-path duration)을 분석함.

2. 예측 변수 및 모델:

   • 주요 예측 변수: Mamba 모델(Mamba-130M 및 Mamba-2.8B)의 이산화 타임스텝($\Delta t$). Mamba에서 $\Delta t$는 학습된 함수(식 5)를 통해 입력 토큰에 의해 동적으로 결정되는 스칼라(또는 벡터)이다. 저자들은 이를 단어 수준의 지표($\bar{\Delta}t$)로 집계하기 위해 차원별로 평균을 내고 서브워드 토큰에 대해 최댓값을 취했다.
   • 통제 변수: $\Delta t$의 예측력을 격리하기 위해 저자들은 저수준 특징(단어 길이, 코퍼스 빈도, 문장 위치)을 통제하였으며, 읽기 시간의 확립된 예측 변수인 Mamba 서프라이절과 GPT-2 서프라이절을 포함했다.
   • 회귀 분석: 로그 변환된 읽기 시간을 예측하기 위해 선형 회귀 모델을 적합시켰다. 성능은 50회 반복된 10-겹 교차 검증(10-fold cross-validation)을 통해 평균 제곱 오차(MSE)로 평가되었다. $\Delta t$의 유의성은 변수를 포함한 모델과 포함하지 않은 모델을 비교하는 순열 검정(permutation tests)을 통해 테스트되었으며, 여러 층(layer)에 대한 다중 비교를 위해 Holm 교정을 적용했다.

3. 정식 및 개입 분석:

   • 언어적 민감도: $\bar{\Delta}t$와 언어적 특징(문장 위치, 구문적 거리) 간의 상관관계를 계산했다.
   • 장기 의존성: 어떤 층이 긴 문맥에서 정보를 유지하는 데 필수적인지 평가하기 위해 개입 기반의 "패스키 검색(passkey retrieval)" 과제를 사용했다.
   • 이론적 도출: 저자들은 Mamba의 상태 전이 행렬 고유값 스펙트럼(eigenspectrum)을 분석하여 메모리 유지 능력을 규명했다. 또한, 상태 전이 방정식에 노이즈 항을 도입하여 $\Delta t$의 크기가 은닉 상태 전이의 조건부 엔트로피(불확실성)에 해당함을 이론적으로 도출했다.

주요 결과

• 예측력: 이산화 타임스텝 $\bar{\Delta}t$는 인간의 단어별 읽기 시간을 예측하는 유의미한 변수이다. 가장 성능이 좋은 층(예: Natural Stories에 대한 Mamba-130M의 17번 층)의 예측력($R^2 \approx 0.22$)은 GPT-2 서프라이절과 유사하다.
• 고유 분산: 결정적으로, $\bar{\Delta}t$는 GPT-2 서프라이절 및 기타 저수준 변수들을 통제한 후에도 유의미한 예측 변수로 남았다. 이는 Mamba의 내부 처리 시간이 표준 서프라이절 기반 모델이 설명하지 못하는 인간의 읽기 행동의 분산을 포착한다는 것을 나타낸다.
• 층 특화(Layer Specialization):
  • 대부분의 층은 국소적 언어 특징(예: 문장 경계, 구문적 거리)에 민감성을 보인다.
  • 16번 및 17번 층은 뚜렷한 동작을 보인다. 이 층들은 국소적 문장 구조에는 덜 민감하지만, 이야기 수준의 정보 및 이야기 위치와 강하게 상관된다. 또한 이 층들은 Natural Stories에 대해 가장 높은 예측력을 보였다.
  • 개입 실험 결과, 16번과 17번 층을 제거(knock out)하면 장기 의존성 과제(패스키 검색)의 성능이 크게 저하되는 것으로 확인되었으며, 이는 이 층들이 장기 문맥을 유지하는 데 중요하다는 것을 시사한다.
• 이론적 일치:
  • 메모리 유지: 전이 행렬 $exp(A)$의 고유값 분석 결과, 16번과 17번 층은 0.5 근처의 고유값 비율이 더 높게 나타났다(전체 분포는 0 근처에서 정점을 찍음). 이는 장기 메모리 유지를 위한 역할을 이론적으로 뒷받침한다.
  • 불확실성: 이론적 분석은 더 큰 $\Delta t$ 값이 상태 전이의 더 높은 불확실성에 대응함을 시사한다. 데이터에 따르면 $\Delta t$는 문장 경계에서 정점에 도달하는데, 이는 다가올 문맥에 대한 불확실성이 높은 지점이며, 상태를 더 공격적으로 업데이트해야 하는 모델의 필요성과 일치한다.

의의 및 주장
본 논문은 Mamba가 인간의 실시간 언어 처리를 연구하기 위한 "새롭고 가치 있는 렌즈"를 제공한다고 주장한다. 병렬적으로 처리하거나(또는 본질적으로 처리 지속 시간을 인코딩하지 않는 어텐션 메커니즘을 사용하는) 트랜스포머와 달리, Mamba의 아키텍처는 동적 타임스텝을 통해 명시적으로 시간을 모델링한다.

저자들은 다음과 같이 주장한다:

1. 일치성: SSM 기반 모델의 내부 "처리 시간"($\Delta t$)은 인간의 인지 부하와 일치하며, 이는 상태 전이 속도를 동적으로 조절하는 메커니즘이 인간의 읽기 역동성에 대한 타당한 계산적 유사체(computational analogue)임을 시사한다.
2. 메모리와 노이즈: 이 모델을 통해 연구자들은 서로 다른 층이 단기 및 장기 정보 유지를 어떻게 가중하는지(고유값 스펙트럼을 통해), 그리고 "노이즈"(상태 전이의 불확실성)가 연속적인 메모리 표현과 어떻게 상호작용하는지 조사할 수 있다.
3. 서프라이절을 넘어서: 연구 결과는 단어 예측 가능성(서프라이절)을 넘어, 상태 업데이트의 동적 지속 시간과 같은 요소들이 인간의 읽기 행동과 관련이 있음을 보여준다.

결론적으로, 특정 언어적 경계에서 왜 $\Delta t$가 정점에 도달하는지에 대한 정확한 학습 역동성은 여전히 미지의 영역이지만, Mamba의 타임스텝과 인간의 읽기 시간 사이의 경험적 및 이론적 일치는 메모리 제약 조건 하에서의 언어 처리를 이해하기 위한 새로운 프레임워크를 제공한다.