Energy-Based Transformers as Predictors of Reading Difficulty

문제점

트랜스포머 언어 모델은 주로 서프라이절(surprisal, 로그 역확률)과 어텐션 엔트로피(attention entropy)라는 두 가지 척거를 통해 인간의 문장 처리 과정을 모델링하는 확립된 도구가 되었습니다. 서프라이절은 어휘적 예측 가능성에 기반하여 처리 부하를 효과적으로 예측하고, 어텐션 엔트로피는 기억 간섭의 측면을 포착하지만, 두 척도 중 어느 하나만으로는 읽기 시간 데이터를 포괄적으로 설명하기에 부족합니다. 현재의 연구들은 인간의 처리를 정확하게 모델링하기 위해 이러한 상호 보완적인 척도들을 결합해야 하는 경우가 많습니다. 또한, 트랜스포머의 어텐션과 인간의 기억 사이의 개념적 연결은 직관적이지만, 트랜스포머를 연상 기억(associative memory) 및 홉필드 네트워크(Hopfield networks)에 관한 광범위한 문헌과 연결하는 원칙적인 형식적 연결 고리는 부족합니다. 저자들은 예측 기반의 어려움과 통합 기반의 어려움을 모두 포착할 수 있는 단일하고 통일된 척도의 필요성을 식별하며, 이를 통해 트랜스포머 구조와 연상 기억의 인지 이론 사이의 간극을 메울 수 있는 가능성을 제시합니다.

방법론

저자들은 읽기 난이도의 예측 인자로 에너지 기반 트랜스포머, 구체적으로 NRGPT(Energy GPT) 아키텍처를 조사합니다. NRGPT는 토큰 상태에 대해 정의된 스칼라 에너지 함수에 대한 경사 하강법(gradient descent)으로 트랜스포폼의 순전파(forward pass)를 재구성합니다.

• 모델 아키텍처: NRGPT는 표준 GPT와 유사하게 작동하지만, 병렬 구조(어텐션과 피드포워드 레이어가 병렬로 적용됨)와 재귀(트랜스포머 블록이 $k$번 반복적으로 적용됨)를 채택합니다. 각 반복은 에너지 지형(energy landscape)에서의 하강 단계를 나타냅니다.
• 에너지 함수: 모델은 각 토큰 위치 $A$에 대해 어텐션 에너지($E^{AT}_A$)와 피드포워드 에너지($E^{FF}_A$)로 분해되는 스칼라 에너지 $E_A$를 할당합니다.
  • $E^{AT}_A$는 어텐션 점수에서 유도되며 어텐션 엔트로피와 관련이 있습니다.
  • $E^{FF}_A$는 밀집 연상 기억(dense associative memory)에 기반합니다.
  • 직관적으로, 높은 에너지는 토큰을 문맥에 통합하는 데 어려움이 있음을 나타내고, 낮은 에너지는 통합의 용이함을 나타냅니다.
• 실험 설계:
  1. 실험 1 (통제 실험): 저자들은 24쌍의 주어 관계절(SRC)과 목적어 관계절(ORC)을 분석했습니다. 이들은 NRGPT 에너지(레이어 5 및 6), 서프라이절, 어텐션 엔트로피를 알려진 인간 처리 비대칭성(특히 ORC에서의 삽입 동사의 어려움과 명사구 시작 시점)과 비교했습니다.
  2. 실험 2 (코퍼스): 저자들은 세 가지 읽기 시간 코퍼스(Natural Stories [자기 조절 읽기], UCL eye-tracking, UCL self-paced reading)에 선형 혼합 효과 모델을 적합시켰습니다. 이들은 NRGPT 에너지(레이어 5 및 6)와 서프라이절(NRGPT 및 GPT-2-small에서 추출)의 예측력을 읽기 시간과 비교했습니다.

주요 기여

• 심리언어학에서의 첫 적용: 이는 인간의 문장 처리 데이터를 적합시키기 위해 에너지 기반 트랜스포머 척도를 계산 심리언어학에 적용한 첫 번째 탐구입니다.
• 이론적 연결: 이 연구는 트랜스포머의 처리를 밀집 연상 기억(현대적 홉필드 네트워크)과 연결하는 원칙적인 형식적 연결 고리를 구축하며, 처리를 에너지 최소화로 보는 수학적 프레임워크로 나아가 단순한 개념적 유추를 넘어섭니다.
• 통합된 예측 인자: 저자들은 스칼라 에너지 함수가 기존에 서프라이절과 어텐션 엔트로피 모두를 필요로 했던 효과들을 포괄하는 단일 통합 예측 인자로 기능할 수 있음을 입증합니다.

결과

• 관계절 처리:
  • 서프라이절은 SRC와 ORC의 동사 차이를 구분하지 못했지만(GPT-2의 결과와 일치), 명사구 시작 시점의 어려움은 예측했습니다.
  • 어텐션 엔트로피는 ORC의 삽입 동사의 어려움은 예측했으나 명사구 시작 시점은 예측하지 못했습니다.
  • **NRGPT 에너지 (레이어 5)**는 두 가지 모두(삽입 동사와 명사구 시작 시점)의 난이도 대조를 성공적으로 예측했습니다.
  • 분해 분석 결과, 레이어 5에서의 에너지 효과는 어텐션 엔트로피 자체보다는 기대 어텐션 점수(어텐션 에너지의 구성 요소)와 피드포워드 에너지에 의해 주로 구동되었습니다.
• 읽기 시간 코퍼스:
  • 세 가지 코퍼스 모두에서 NRGPT 에너지 척도는 읽기 시간의 견고한 예측 인자였습니다.
  • 에너지는 세 데이터셋 모두에서 서프라이절 이상의 유의미한 적합도를 제공했습니다.
  • Natural Stories 코퍼스의 경우, 서프라이절이 에너지 단독보다 더 나은 적합도를 보였으나, 에너지는 서프라이절과 결합했을 때 여전히 유의미했습니다.
  • UCL 코퍼스(eye-tracking 및 self-paced reading 모두)에서는 에너지가 서프라이절보다 더 나은 적합도를 제공했습니다.
  • 레이어 특이성: 다섯 번째 레이어의 에너지는 자기 조절 읽기 데이터에 특히 예측력이 높았던 반면, 여섯 번째 레이어는 아이트래킹 데이터에서 강한 예측력을 보였습니다(단, 저자들은 아이트래킹 데이터셋의 관측치가 더 적다는 점을 언급했습니다).
  • 레이어 5 에너지와 서프라이절 사이의 상관관계는 중간 정도($r=0.41$)였으며, 이는 레이어 5 에너지가 서프라이절과 유사한 효과를 포착하면서도 구별되는 통합 기반의 처리 비용을 포착함을 시사합니다.

의의

본 논문은 에너지 척도가 트랜스포머와 처리 난이도 사이의 단일하고 직접적인 연결 고리를 제공하며, 잠재적으로 여러 보완적 척치를 사용할 필요성을 대체할 수 있다고 주장합니다. 토큰 통합을 에너지 지형에서의 하강으로 프레임화함으로써, 이 연구는 트랜스포머를 연상 기억에 관한 문헌과 직접적으로 연결합니다. 저자들은 에너지 기반 트랜스포머가 예측 가능성을 추적하면서도 서프라이절이 놓치는 통합 기반의 어려움을 포착할 수 있다고 제안합니다. 이 접근 방식은 단순한 개념적 직관이 아닌 밀집 연상 기억의 이론적 프레임워크에 근거하여, 신경 언어 모델 내의 기억과 처리 사이의 연결을 조사하기 위한 새로운 도구를 제공합니다. 저자들은 이것이 첫 번째 탐구이며, 다른 아키텍처, 모델 크기 및 언어로의 일반화 가능성에 대해서는 추가적인 조사가 필요하다는 점을 언급하며 신중한 태도를 유지했습니다.