기술 요약: 어텐션 마스크에서 관성 제로 벡터 토큰으로

1. 문제 정의

현재의 어텐션 기반 모델은 상호작용을 제어하기 위해 어텐션 마스크($m_{ij}$)에 의존한다. 이러한 마스크는 어떤 쿼리-소스 쌍이 상호작용을 허용할지(예: 인과성 또는 라우팅을 위해)를 지정하는 관계 수준의 제어 장치이다. 그러나 마스크는 토큰의 표현(representation)이 비참여를 본질적으로 나타내는 **상태 수준(state-level)**의 메커니즘을 제공하지 못한다.

표준 스케일드 닷 프로덕트 어텐션(scaled dot-product attention)은 제로 벡터 토큰($h=0$)을 불활성 요소로 처리하는 데 실패한다:

• 수신자(Receiver)로서: 만약 쿼리 $q_i = 0$이면, 어텐션 점수는 균등해지며, 출력은 0이 되는 대신 가시적인 값들의 평균이 된다.
• 소스(Source)로서: 만약 소스 토큰이 $k_j=0, v_j=0$이면, 이는 소프트맥스 분모에 상수($e^0=1$)를 더한다. 이는 다른 활성 토큰들의 가중치를 변화시키며, 결과적으로 원점(origin)이 "일반적인 상태"가 아닌 "영(null) 상태"가 되도록 보장하지 못한다.

본 논문은 보완적인 요구 사항을 주장한다: 즉, 외부 마스킹에만 의존하지 않고, 표현 자체가 비참여를 전달하여 출력을 내보내지 않으며 공유 계산에 질량(mass)을 기여하지 않는 구조적 NULL 상태가 필요하다.

2. 방법론

2.1 토큰 존재 계수 (Token Presence Coefficient)

핵심 혁신은 각 은닉 캐리어(hidden carrier) $h_i$에 부드러운 활성 존재 계수 $p_i$를 할당하는 것이다:
$$p_i = \rho_\tau(h_i) = \frac{\|h_i\|^2}{\tau + \|h_i\|^2}$$
여기서 $\tau > 0$은 스케일 하이퍼파라미터이다.

• 특성: $p_i \in [0, 1)$이며, 오직 원점($h_i=0$)에서만 정확히 0이 되고, $\tau \to 0$일 때 고정된 비제로 벡터에 대해 1에 접근한다.
• 이중 역할: 이 단일 계수는 두 가지 구별된 역할을 제어한다:
  1. 로컬 업데이트 참여: 토큰 $i$가 방출하는 정보의 게이팅(gating).
  2. 컨텍스트 지원 참여: 토큰 $i$가 공유 통계량(분모, 분할)에 기여하는 질량을 결정.

2.2 OAttention (지원 결합 어텐션)

OAttention은 이 규칙의 실현이다. 이는 표준 어텐션을 다음과 같이 수정한다:

• 수신자 게이팅: 출력은 수신자의 존재도 $p_i$에 의해 곱해진다.
• 소스 가중치 부여: 소스의 존재도 $p_j$가 어텐션 메커니즘의 분자와 분할(분모) 모두에 곱해진다.
• 공식:
  $$\text{OAttention}_i(H; m) = p_i \frac{\sum_j m_{ij} p_j \exp(s_{ij}) v_j}{\epsilon_{den} + \sum_j m_{ij} p_j \exp(s_{ij})}$$
  여기서 $s_{ij}$는 표준 스케일드 닷 프로덕트 점수이고 $m_{ij}$는 외부 가시성 마스크이다.

이 설계는 만약 $h_i=0$이면 $p_i=0$이 되어 제로 출력(Null Receiver)을 보장한다. 만약 $h_j=0$이면 $p_j=0$이 되어, 소스가 분자와 분모 모두에 아무것도 기여하지 않으며, 다른 모든 가중치를 변경 없이 유지한다(Null Source Insertion).

2.3 O-Closure 및 토큰 역학

본 논문은 O-Closure라는 개념을 통해 이 개념을 전체 모델 아키텍처로 확장한다. O-Closure는 제로 토큰을 삽입하는 것이 기존의 출력이나 상태를 변경해서는 안 된다는 법칙이다. 이를 위해서는 다음이 필요하다:

• 로컬 맵 (Zero Absorption): 피드 포워드 네트워크(OFFN) 및 정규화(ONorm)와 같은 구성 요소는 업데이트를 $p_i$에 의해 게이팅해야 한다 (예: $h^+ = h + p_i \cdot \text{FFN}(h)$).
• 지원 결합 맵 (Zero Mass): 교차 토큰 통계량(예: OStandardize)은 제로 토큰이 활성 토큰의 평균이나 분산을 변화시키지 않도록 존재 가중치가 적용된 모멘트를 사용해야 한다.
• OTransformer: O-closed 구성 요소들(OAttention, OFFN, ONorm, OInject)을 조합하여 구축된 모델인 OTransformer는 전체 경로가 잔차 합산(residual addition) 및 합성(composition) 하에서도 NULL 상태를 보존하도록 보장한다.

3. 주요 기여

1. Null 일관성 공식화: 관계 수준의 가시성 마스크와 구별되는, 표현이 전달하는 상태 수준의 참여를 정의하는 정확한 연산자 특성을 정의하였다.
2. OAttention 유도: 단일 토큰 수준의 존재 계수가 표준 소프트맥스 경쟁을 유지하면서도 null-receiver, null-source insertion, self-attention insertion 및 empty-support 속성을 충족할 수 있음을 증명하였다.
3. O-Closure 법칙: 토큰 연산자가 null-consistent 아키텍처(OTransformer)로 합성되기 위해 필요한 대수적 조건(zero absorption 및 contextual erasure)을 확립하였다.
4. 구성 요소 구현: O-closure 법칙을 준수하는 OFFN, ONorm, OInject, OStandardize의 구체적인 구현을 제공하였다.

4. 결과

본 논문은 제한된 범위 내에서 세 가지 뚜렷한 주장을 평가한다:

4.1 정확성 (연산자 계약)

• 방법: FP32, BF16, FP16 환경에서 OAttention 구현에 대한 독립적인 GPU 평가를 수행하였다.
• 결과: 구현은 직접 평가에 대해 $L_\infty$ 오차가 $\le 8.94 \times 10^{-8}$인 성과를 달성하였다. 이는 null receiver에 대해 정확한 제로 출력을 성공적으로 유지하며, null source가 삽입될 때 기존 출력을 변경하지 않음을 보여준다.

4.2 활성 경로 호환성 (Retrofit)

• 방법: 사전 학습된 TabPFN v3 회귀 모델의 클론에 대한 "제로 미세 조정(zero-fine-tuning)" 리트로핏을 수행하였다. 모델 가중치는 고정되었으며, 은닉 캐리어 OAttention(및 Full-O 변형)만을 도입하였다.
• 결과: 18개의 매칭된 데이터셋-시드 케이스에 대해:
  • Hidden-carrier OAttention: 평균 RMSE 변화량 +0.088%.
  • Full-O (OFFN/ONorm 포함): 평균 RMSE 변화량 +0.177%.
  • 이러한 변화는 보편적인 비열등성 보장이 아닌, "교정된 근사 항등성(calibrated near-identity)" 관찰로 설명된다.

4.3 구성적 필연성 (Ablation)

• 방법: 표준 호스트, "OA-only" 호스트(OAttention과 표준 FFN/Norm 사용), 그리고 전체 "OTransformer"(모든 O-closed 구성 요소 사용)를 비교하는 2블록 절제 연구(ablation study)를 수행하였다.
• 결과:
  • OA-only: NULL 상태를 보존하는 데 실패하였다. 제로 토큰 삽입이 기존 토큰 상태에 큰 변화($L_\infty \approx 7.98$)를 일으켰는데, 이는 일반적인 FFN과 아핀 정규화(affine normalization)가 제로를 재활성화했기 때문이다.
  • OTransformer: NULL 상태를 성공적으로 보존하였다($L_\infty \approx 0$). 이는 어텐션만으로는 호스트 구성 요소에서의 closure 없이는 불충분함을 입증하며, O-closed 구성 요소가 필요함을 보여준다.

5. 의의 및 주장

본 논문은 자신의 기여를 정확성, 활성 경로 호환성, 그리고 구성적 필연성에 대한 범위가 정해진 테스트로 포지셔닝한다.

• 주장하는 바:

  • 토큰의 표현이 본질적으로 "구조적 NULL" 상태를 가질 수 있는 수학적 프레임워크를 구축하였다.
  • 제로 삽입이 모델 내의 활성 계산을 손상시키는 것을 방기하기 위해 OAttention과 O-Closure가 필요함을 증명하였다.
  • 이러한 메커니즘을 최소한의 성능 저하로 사전 학습된 모델에 리트로핏할 수 있음을 입증하였다.

• 명시적으로 주장하지 않는 바:

  • 보편적 손실 없음: 결과는 O-closed 모델이 모든 작업에서 보편적으로 우월하거나 열등하지 않음을 증명하는 것이 아니다.
  • 임의의 호스트 Closure: 이론은 호스트 모델의 라우팅, 풀링, 리드아웃 경로 또한 O-Closure 법칙을 만족해야 한다는 조건부이다.
  • 학습된 제로-어트랙터 역학: 본 논문은 훈련이 자연스럽게 이러한 null 상태를 발견하거나 활용할 것이라고 주장하지 않는다. 단지 그들을 위한 메커니즘을 제공할 뿐이다.
  • 일반적인 결측치 의미론: 구조적 NULL과 정보적 결측(예: 학습된 [MASK] 토큰)을 구분하며, 일반적인 결측 데이터의 의미론 문제를 해결한다고 주장하지 않는다.

요약하자면, 본 논문은 어텐션 모델에서 "제로 벡터"를 진정한 불활성 요소로 만들기 위한 엄격한 대수적 및 아키텍처적 솔루션을 제공하며, 전체 계산 경로가 O-Closure 법칙을 준수하는 한 제로 토큰의 부재가 그 영향력의 부재로 이어짐을 보장한다.