기술 요약: 좌절된 동기화로서의 어텐션 (Attention as Frustrated Synchronization)

문제 정의

본 논문은 표준 셀프 어텐션 메커니즘의 근본적인 한계를 동역학계(dynamical systems)의 관점에서 식별한다. 깊이가 깊어짐에 따라 셀프 어텐션이 적용될 때, 토큰 표현은 **합의(consensus)**를 향해 나아가는 경향이 있으며, 이로 인해 상태들이 클러스터링되고, 랭크(rank)를 잃으며, 공유된 값으로 붕괴된다. 이러한 행동은 결합된 단위들이 일치 상태로 안착하는 동기화 시스템을 반영한다.

이러한 합의 행동은 검색(retrieval)(컨텍스트가 어디에 위치하는지 식별하는 것)에는 효과적이지만, **예측(prediction)**에는 최적화되어 있지 않다. 예측에는 현재 컨텍스트의 상태뿐만 아니라 그 뒤에 따르는 전이(transition) 즉, "무엇이 뒤따랐는가"를 인코딩하는 것이 필요하다. 논문은 순수한 어텐션 대상 토큰들의 현재 위상(phase)을 향한 인력(attraction)만으로는 다음 토큰 예측에 필요한 전이 정보를 제공할 수 없다고 주장한다. 이러한 결핍은 쿠라모토 어텐션(Kuramoto attention) 모델에서 경험적으로 관찰되는데, 이 모델들은 일반적인 작업에서는 경쟁력 있는 성능을 보이지만, 장거리 복사(long-range copying) 및 지속(continuation)이 필요한 영역에서는 튜닝된 트랜스포머(Transformer)보다 뒤처진다.

방법론: 좌절된 동기화 네트워크 (Frustrated Synchronization Network, FSN)

저자들은 베이스 쿠라모토 어텐션 층의 컨센서스 추구형 업데이트를 **좌절된 동기화(frustrated synchronization)**로 대체한 어텐션 층인 **좌절된 동기화 네트워크(FSN)**를 제안한다.

핵심 메커니즘

FSN은 베이스 쿠라모토 어텐션 층의 토러스(torus) 값 기반 콘텐츠 주소 지정 스코어 맵(content-addressed score map)을 유지하면서, 값 경로(value pathway, 결합 법칙)를 근본적으로 변경한다:

1. 후속 토큰과의 결합: 토큰 $t$를 그것이 어텐션하는 토큰들의 위상($\theta_u$)에 결합하는 대신, FSN은 각 어텐션된 토큰의 후속 토큰(successor)($\theta_{u+1}$)에 결합한다.
2. 데이터 의존적 좌절(Data-Dependent Frustration): 후속 토큰에 대한 이러한 결합은 수학적으로 어텐션된 토큰의 로컬 전이($\delta_u = \theta_{u+1} - \theta_u$)와 동일한 **좌절각(frustration angle)**을 갖는 쿠라모토-사카구치(Kuramoto–Sakaguchi) 결합과 같다.
   • 명제 1: 지연(delay) 항은 데이터 의존적 좌절이다. 후속 토큰에 결합함으로써, 네트워크는 현재 토큰이 어텐션된 토큰으로부터 해당 토근의 다음 단계와 동일한 오프셋을 가진 상태로 안착하도록 강제한다.
3. 조화 구조(Harmonic Structure): 결합 커널은 조화 함수($n=1, \dots, N$)에 대한 학습된 복소 함수이다.
   • $n=1, w_0$ 항은 합의(검색 및 집계)를 수행한다.
   • 고차 조화 항과 부호가 있는 계수들은 상태를 평균화하기보다는 특정 타겟을 향해 상태를 이동시키기 위한 척력(repulsive forces)을 사용하여 **수송(transport)**을 용이하게 한다.
   • $w_1$ 항(지연)은 **예측(anticipation)**을 수행한다.

아키텍처 세부 사항

• 상태 표현: 토큰 상태는 위상 $\theta_t \in \mathbb{T}^k$의 벡터이며, 단위 페이저(unit phasor) $z_t = e^{i\theta_t}$로 표현된다.
• 업데이트 규칙: 업데이트 방향은 현재 상태, 어텐션된 상태, 그리고 어텐션된 상태의 후속 토큰을 포함하는 복소 상호작용의 허수부의 가중 합으로 계산되는 토러스의 접벡터(tangent vector)이다.
• 해석 가능성: 결합 커널의 모든 계수는 동기화 문헌의 명명된 객체(예: 조화 이득, 정적 좌절각, 쿠라모토-사카구치 항)에 대응한다. 이를 통해 훈련된 레이어를 결합 함수로서 직접 읽을 수 있다.
• 변형 모델:
  • FSN-MF: 표준 SwiGLU 피드포워드 블록을 제거하고, 이를 학습된 집단 모드(일반화된 질서 매개변수)로 대체하여 완전히 오실레이터 네이티브(oscillator-native) 스택을 만든 변형 모델이다.
  • No-Phase: 정적 좌절 위상의 필요성을 테스트하기 위해 정적 좌절 위상을 제거한 구성이다.

주요 결과

실험은 매칭된 파라미터 수(약 100만 개 목표)와 동일한 훈련 레시피를 사용하여 문자 수준 텍스트(enwik8) 및 코드(Python 소스)에 대해 수행되었다.

성능 지표

• 검증 손실(Validation Loss): enwik8에서 100만 파라미터 기준, FSN은 매칭된 에포크에서 튜닝된 트랜스포머 베이스라인보다 낮은 검증 손실을 달이트한다(1.6050 vs 1.6258 bits per character) 또한 더 낮은 최종 손실로 수렴한다(1.5953 vs 1.611).
• 스케일링: 이 이점은 규모가 커짐에 따라 지속되고 성장한다. 400만 및 800만 파라미터에서 FSN은 트랜스포머가 요구하는 시간보다 현저히 적은 실제 시간(wall-clock time)(트랜스포머 소요 시간의 0.70배) 내에 트랜스포머의 손실에 도달한다.
• 코드 모델링: FSN은 코드 코퍼스, 특히 장거리 복사 작업에서 트랜스포머를 능가한다.
• FSN-MF: 피드포워드 블록 없이 완전히 오실레이터 네이티브인 변형 모델은 트랜스포머의 품질에 근접하지만(1.6452 vs 1.6258), 전체 FSN보다는 약간 뒤처지며, 이는 "권선(winding)" 정보(위상 상태의 비주기적 리프트)를 읽는 데 있어 피드포워드 블록의 기여를 강조한다.

메커니즘 분석: 복사 깊이(Copy Depth)

논문은 검증 손실을 복사 깊이(컨텍스트의 이전 위치에 나타나는 가장 긴 부분 문자열의 길이)별로 분해한다.

• 베이스라인 실패: 표준 쿠라모토 어텐션(순수 합의)은 긴 복사 빈(depth 16–23)에서 심각하게 실패하며, 트랜스포머보다 최대 +0.4231 bits per character까지 뒤처진다.
• FSN의 성공: FSN은 이러한 결핍을 역전시켜, 깊이 4 이상의 모든 빈에서 수렴된 트랜스포머를 능가한다. 이 이점은 깊은 복사 이벤트에 집중되어 있으며, 이는 좌절 메커니즘이 검색-대-지속(retrieval-to-continuation)을 성공적으로 가능하게 함을 확인시켜 준다.
• 훈련 역학: FSM은 기하학적 업데이트 메커니즘으로 인해 에포크당 훈련 속도가 느리지만(3~4배), 대규모 스케일에서 타겟 손실에 도달할 때까지 계속 개선되는 반면 트랜스포머는 정체되는 특성 덕분에 실제 시간 기준으로 더 빠르게 수렴한다.

의의 및 주장

본 논문은 다음과 같은 의의를 주장한다:

1. 어텐션의 재정의: 어텐션에 대한 동역학계적 해석을 제공하며, 검색(스코어 맵)과 검색 후 적용되는 연산(결합 법칙)을 분리한다. 저자들은 예측을 위해서는 합의가 아닌 좌절된 동기화가 필요하다고 주장한다.
2. 데이터 기반 예측: 동기화 이론의 "좌절" 각도가 데이터 자체의 전이로부터 직접 유도될 수 있음을 보여주며, 이를 통해 네트워크가 검색된 컨텍스트의 후속 토큰에 결합함으로써 미래의 토큰을 예측할 수 있게 한다.
3. 해석 가능성: 이 아키텍처는 높은 수준의 해석 가능성을 제공한다. 훈련된 레이어는 계수가 수학적 개념(쿠라모토-사카구치-다이도 결합)에 매핑되는 직접적인 결합 함수의 실현체이다.
4. 하드웨어 잠재력: FSN 패밀리의 연산(위상, 좌절, 지연, 평균장 결합)은 물리적 오실레이터 시스템에 네이티브하므로, 물리적 오실레이터 하드웨어의 잠재적인 컴파일 대상(compilation target)으로 제시된다.

저자들은 현재 결과가 문자 수준에 국려되어 있고, 서브워드 토큰화 및 더 큰 규모에 대한 작업이 향후 과제이며, 구현이 표준 트랜스포머보다 높은 에포크당 계산 비용을 초래한다는 점을 언급하며 현재의 한계에 대해 겸허한 태도를 유지하고 있다.