기술 요약: 어텐션에서 글루잉으로: 저복잡도 언어 모델을 위한 셰프 상태(Sheaf-State) 아키텍처

1. 문제 정의

본 논문은 트랜스포머 아키텍처의 **밀집 자기 어텐션(dense self-attention)**을 계산적 과잉 프로비저닝(overprovision)의 원인으로 지목한다. 모든 토큰이 다른 모든 토큰과 상호작용할 수 있는 능력은 유연성을 제공하고 조기 구조적 결정을 피하게 해주지만, 이는 구조적으로 과도한 "완전한 관계적 기질(complete relational substrate)"을 생성한다.

핵심 문제는 밀집 어텐션이 컨텍스트를 하나의 미타입(untyped) 호환성 계수로 붕괴시켜, 서로 다른 관계 유형(구문, 참조, 지시 관련성, 담화 연속성 등)을 하나의 범주로 취급한다는 점이다. 이는 다음과 같은 결과를 초래한다:

• 컨텍스트 길이에 따른 이차적 관계 복잡도 (O(n^2}).
• 높은 메모리 대역폭 사용량.
• 관계적 낭비: 모델은 유용한 언어적 및 추론적 관계가 희소하고, 타입화되어 있으며, 계층적이고, 상태 의존적임에도 불구하고 거의 모든 토큰 쌍에 대해 호환성 점수를 계산한다.

본 논문은 언어 모델링의 근본적인 관계적 객체가 완전 그래프에서 **학습된 희소한 타입 패치 사이트(learned sparse site of typed context patches)**로 변경되어야 한다고 주장한다.

2. 방법론: 셰프 상태 언어 모델 (The Sheaf-State Language Model)

저자는 셰프 상태 언어 모델이라는 공식적인 아키텍처 가설을 제안한다. 이 아키텍처는 완전한 토큰 사이트를 학습된 컨텍스트 위상(topology)으로 대체하며, 셰프 이론(sheaf theory)과 범주적 딥러닝(categorical deep learning)의 개념을 활용한다.

2.1 핵심 개념

• 학습된 사이트로서의 컨텍스트: 평면적인 토큰 시퀀스 대신, 컨텍스트는 타입화된 패치(예: 로컬, 구문, 문장, 지시, 주제, 메모리, 검색, 워크스페이스, 출력)를 객체로 하는 사이트 $(C, J)$로 모델링된다.
• 셰프 역학(Sheaf Dynamics): 모델은 이러한 패치들 위에 로컬 섹션(상태)을 유지한다. 글로벌 컨텍스트는 완전한 그래프의 상호작용을 통해 재구성되는 대신, "글루잉(gluing, 접착)" 조건을 통해 호환 가능한 로컬 상태들로부터 조립된다.
• 양자화된 모피즘(Quantized Morphisms): 이 아키텍처는 모든 단계에서 고정밀 벡터 공간이 필요하지 않음을 인정하며, 저비트, 희소 또는 양자화된 계산($QuantVect$)에 적합한 벡터 유사 표현의 범주 내에서 작동한다.

2.2 아키텍처 구성 요소

모델은 튜플 $M = (C, J, F, \Phi, G, E, R)$로 정의된다:

1. 로컬 상태 공간 역학 ($\Phi$): 각 패치는 입력 토큰에 따라 정보를 선택적으로 전파하거나 망각하는 Mamba와 유사한 상태 공간 모델(SSM)에 의해 업데이트되는 로컬 상태를 유지한다.
2. 희소 글루잉 모피즘 ($G$): 정보는 패치 간의 학습된 호환 가능한 중첩 영역을 통해서만 교환된다. 이는 글로벌 어텐션 메커니즘을 희소하고 타입화된 연결로 대체한다.
3. 사이트 인식 전문가 ($E$): 단순히 토큰 은닉 상태가 아닌 패치 타입을 기반으로 라우팅되는 희소 전문가 모델과 유사하게, 패치 상태를 정교화하는 특화된 모듈이다.
4. 리드아웃 ($R$): 최종 모피즘은 출력 패치 상태로부터 다음 토큰 분포를 생성한다.

2.3 훈련 목표

훈련 신호는 표준적인 다음 토큰 예측($L(\theta) = -\sum \log p_\theta(x_{t+1} | x_{\le t})$)을 유지한다. 참신함은 손실 함수에 있는 것이 아니라, 언어 모델링이 수행되는 계산적 객체에 있다.

3. 주요 기여

본 논문은 뉴럴 언어 모델링, 트랜스포머, 셰프 신경망, 또는 상태 공간 모델 자체를 새롭게 도입하는 것이 아니라, 특정 아키텍처 테제 아래 이러한 방향들을 **합성(synthesis)**하는 것을 목표로 한다고 명시한다:

• 형식적 진단: 밀집 어텐션을 가용 가능한 관계와 허가된 의미론적 모피즘을 혼동하는 "완전 사이트 프리셰프 역학(complete-site presheaf dynamics)"으로 규정하는 범주적 진단을 제공한다.
• 아키텍처 제안: SSM 역학, 희소 전문가, 저비트 모피즘을 학습된 컨텍스트 사이트 위에 조직하는 셰프 상태 언어 모델의 공식적 정의를 제공한다.
• 복잡도 제안: 유용한 컨텍스트 관계가 유계 차수(bounded-degree)의 학습된 위상으로 표현될 수 있다면, 관계 복잡도가 이차적($O(n^2)$)이 아닌 선형($O(n)$)으로 스케일링된다는 이론적 증명을 제시한다.
• 시뮬레이션 프로그램: 완전한 어텐션 사이트를 학습된 컨텍스트 위상으로 대체하기 위한 프레임워크를 제시하며, 이는 파운데이션 모델이 아닌 합성 의존성 시뮬레이션을 통해 검증된다.

4. 결과

본 논문은 자연어 코퍼스에 대한 경험적 벤치마크 대신 합성 의존성 시뮬레이션을 제시한다. 목표는 구조적 가설인 의존성 커버리지와 관계적 낭비에 대한 검증이다.

• 설정: 로컬 의존성, 장거리 지시/주제 앵커, 엔티티 재발 링크를 포함하는 알려진 희소 타입 의존성 그래프($G^\star$)를 가진 합성 시퀀스를 생성했다.
• 비교 대상: 세 가지 아키텍처를 비교했다:
  1. 밀집 완전 어텐션 ($G_{dense}$): 전체 연결.
  2. 로컬 윈도우 어텐션 ($G_{local}$): 고정된 윈도우 너비.
  3. 셰프 상태 글루잉 ($G_{sheaf}$): 타입 패치 그래프와 희소 커버.
• 지표:
  • 의존성 커버리지(Dependency Coverage): 실제 의존성이 회복된 비율.
  • 관계적 낭비(Relational Waste): 실제 의존성 그래프에 사용되지 않은 모델 엣지의 비율.
• $n=32,768$에서의 결과:
  • 밀집 어텐션: 100% 커버리지를 달성했으나, 99.98%의 관계적 낭비를 보였다 (67k 개의 실제 엣지 대비 536M 개의 엣지).
  • 로컬 윈도우: 96.5%의 커버리지를 달성했으나 장거리 의존성을 놓쳤으며, 낭비는 약 75%였다.
  • 셰프 상태 글루잉: 설계된 희소 의존성에 대해 100% 커버리지를 달성하면서도, 32.5%의 관계적 낭비만을 기록했다 (사용된 엣지 100k 개).
• 스케일링: 시뮬레이션은 밀집 어텐션이 활성 관계 엣지에서 이차적으로 스케일링되는 반면, 셰프 상태 글루잉은 약 선형적으로 스케일링됨을 확인했다.

5. 의의 및 주장

저자는 논문의 의의에 대해 겸손하고 형식적인 입장을 유지한다:

• 경험적 우월성 주장 없음: 본 논문은 퍼플렉시티, 지시 이행, 또는 추론 능력에서 현재의 거대 언어 모델(LLM)보다 뛰어난 파운데이션 모델을 훈련시켰다고 주장하지 않는다.
• 가설 클래스: 기여는 "형식적 저복잡도 가설"이다. 컨텍스트는 학습된 희소한 타입 패치의 사이트로 표현되어야 하며, 통합은 로컬 재귀 상태와 희소 글루잉을 통해 이루어져야 함을 제안한다.
• 이론적 가치: 현재 트랜스포머의 과잉 완결성(overcompleteness)에 대한 "범주적 진단"을 제공하며, 컨텍스트 위상 자체를 학습함으로써 하드웨어 비용을 줄일 수 있는 이론적 경로를 제시한다.
• 향후 검증: 본 논문은 소규모 코퍼스 훈련, 구조화된 의존성 작업, 그리고 레이턴시 측정을 포함한 향후 연구를 위한 검증 프로토콜을 개설하며, 글로벌 어텐션 메커니즘 없이 임의의 검색 작업을 수행할 때 발생할 수 있는 잠재적 어려움과 현재의 한계를 언급한다.

요약하자면, 본 논문은 "완전 어텐션 사이트"가 구조적으로 비효ef적이라고 주장하며, 학습된 타입 패치의 희소한 사이트로 컨텍스트를 구성하고, 로컬 상태와 희소 글루잉을 통해 통합을 수행하는 셰프 상태(Sheaf-State) 아키텍처를 제안하여 선형 복잡도와 감소된 낭비를 달성할 수 있음을 이론적 증명과 합성 시뮬레이션을 통해 보여준다.