기술 요약: 델타 어텐션 잔차

문제 정의

심층 트랜스포머의 표준 잔차 연결은 고정된 가법 계수를 통해 모든 이전 하위 계층 출력을 누적합니다 ($h_l = h_{l-1} + f(h_{l-1})$). 이는 그래디언트 고속도로를 제공하지만, 깊이에 걸쳐 정보를 선택적으로 집계하는 메커니즘이 부족합니다. 어텐션 잔차 (Attention Residuals)(Kimi, 2025) 는 고정된 집계를 이전 계층 출력에 대한 학습된 소프트맥스 어텐션으로 대체하여 선택적 계층 간 라우팅을 가능하게 하는 것을 제안했습니다.

그러나 본 논문은 표준 어텐션 잔차에서 출력 중복성으로 인한 라우팅 붕괴라는 치명적인 실패 모드를 식별합니다. 어텐션 잔차에서 소스 표현 ($s_i$) 은 누적 은닉 상태 ($h_i = \sum v_j$) 입니다. 깊이가 증가함에 따라 인접한 누적 상태는 큰 공통 접두사를 공유하게 되어, 그 쌍별 유사도가 증가합니다. 이러한 중복성은 라우팅 후보 간의 대비를 감소시켜, 소프트맥스 어텐션 가중치를 거의 균일한 분포 쪽으로 밀어붙입니다. 실험적으로, 깊은 계층에서의 최대 라우팅 가중치는 약 0.2까지 저하되어, 유익한 상태를 선택하는 메커니즘으로서의 기능을 상실하고 모든 소스에 대해 사실상 평균화하게 됩니다.

방법론: 델타 어텐션 잔차

출력 중복성을 해결하기 위해 저자들은 **델타 어텐션 잔차 (Delta Attention Residuals)**를 제안합니다. 이는 누적 상태가 아닌 각 하위 계층이 도입한 **변화 (델타)**에 대해 라우팅을 수행합니다.

핵심 메커니즘

$s_i = h_i$에 대해 라우팅하는 대신, 이 방법은 하위 계층의 특정 기여도를 나타내는 $v_i = h_{i+1} - h_i$에 대해 라우팅합니다. 이는 가법 라우팅 (additive routing) 공식으로 구현됩니다:
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
여기서:

• $\tilde{h}_l$은 현재 잔차 스트림입니다 (기본적으로 보존됨).
• $v_i$는 델타 소스 (하위 계층별 출력) 입니다.
• $\alpha_{i \to l}$은 정규화된 델타에 대한 소프트맥스를 통해 계산된 학습된 어텐션 가중치입니다.

세분화 변형

이 원칙은 두 가지 세분화 수준에서 적용됩니다:

1. 델타 어텐션 잔차 (Delta AttnRes): 어텐션과 MLP 를 포함한 모든 개별 하위 계층 출력에 대해 라우팅하여, $L$개의 계층당 $2L$개의 소스를 제공합니다.
2. 델타 블록 (Delta Block): 블록 내의 연속된 하위 계층 출력을 단일 블록 델타 ($\Delta_b$) 로 집계하여, 효율성을 위해 소스 수를 약 $L/B$로 줄입니다.

주요 설계 장점

1. 구조적 다양성: 수렴하여 거의 선형적인 관계에 도달하는 누적 상태와 달리, 델타는 구조적으로 다양합니다. 어텐션과 MLP 출력이 서로 다른 부분 공간을 차지하고 서로 다른 추상화 수준을 포착하기 때문입니다. 이는 높은 라우팅 대비 (최대 가중치 $\approx 0.6$) 를 유지합니다.
2. 잔차 보존: 가법 공식은 잔차 스트림을 보존하여, 블록 경계에서 정보가 손실되지 않도록 합니다 (스트림을 폐기하는 대체 라우팅과 달리).
3. 안전한 초기화: 쿼리 가중치를 0 으로 초기화하면, 라우팅 가중치가 균일해지고 라우팅 출력이 유계 섭동이 됩니다. 이는 초기화 시 메커니즘을 항등 사상 (identity map) 으로 축소하여, 학습된 잔차 스트림을 방해하지 않고 사전 학습된 모델의 미세 조정을 가능하게 합니다.

주요 기여

1. 라우팅 붕괴 식별: 본 논문은 누적 상태 기반 어텐션 잔차의 출력 중복성이 깊은 계층에서 라우팅의 날카로움을 $\sim 0.2$까지 저하시켜 거의 균일한 어텐션 분포를 초래함을 입증합니다.
2. 델타 어텐션 잔차: 누적 상태 대신 델타에 대해 라우팅하는 새로운 아키텍처입니다. 이는 날카로운 라우팅 ($\sim 0.6$) 을 유지하며, 2 억 2 천만 파라미터에서 76 억 파라미터까지의 다양한 규모에서 표준 잔차 및 어텐션 잔차보다 일관되게 우수한 성능을 보입니다.
3. 미세 조정 호환성: 가법 공식은 기존 사전 학습된 트랜스포머를 표준 미세 조정을 통해 델타 어텐션 잔차로 변환할 수 있게 하여, 미세 조정 중 계층 간 가중치를 활용하지 못하는 "손실 지형의 계곡" 문제를 극복합니다.

실험 결과

저자들은 FineWeb-Edu 에서 처음부터 학습된 Qwen3 아키텍처 모델과 하류 작업에 대해 미세 조정된 모델을 평가했습니다.

• 처음부터 학습 (From-Scratch Training):

  • 성능: 델타 방법은 베이스라인을 일관되게 능가했습니다. 10 억 4400 만 파라미터 규모에서 델타 어텐션 잔차는 검증 퍼플렉시티 29.13을 달성했습니다 (베이스라인 29.70 대비 -1.9% 개선). 76 억 파라미터 규모에서 델타 블록은 16.00의 PPL 을 달성했습니다 (베이스라인 17.43 대비 -8.2% 개선).
  • 대안들의 실패: 표준 어텐션 잔차 (AttnRes) 는 대체 라우팅과 주기적 리셋으로 인한 누적 정보 손실로 인해 더 큰 규모에서 크게 저하되었습니다 (예: 10 억 4400 만 파라미터에서 베이스라인 대비 6.9% 더 나쁨).
  • 효율성: 하위 계층별 델타 어텐션 잔차가 가장 좋은 퍼플렉시티를 제공하지만, 높은 메모리 오버헤드가 발생합니다. 델타 블록(블록 수준 그룹화) 은 실용적인 기본값을 제공하며, 훨씬 낮은 메모리 및 처리량 비용으로 델타 어텐션 잔차의 품질을 달성합니다 (예: 10 억 4400 만 파라미터에서 전체 델타 어텐션 잔차의 3.5 배 오버헤드 대비 26% 메모리 오버헤드).

• 미세 조정:

  • 사전 학습된 Qwen3-0.6B 모델을 미세 조정할 때, 델타 블록은 8 개 하류 벤치마크에서 **55.6%**의 평균 정확도를 달성하여 표준 베이스라인 (55.0%) 과 어텐션 잔차 (54.1%) 를 능가했습니다.
  • 특히, 델타 블록은 초기화 시 어텐션 잔차에서 관찰된 큰 손실 급증을 피하고, 안전한 초기화 특성으로 인해 부드럽게 수렴했습니다.

• 라우팅 분석:

  • 시각화는 델타 블록이 깊이 전반에 걸쳐 날카로운 라우팅 (최대 가중치 $\sim 0.6$–$1.0$) 을 유지하는 반면, 어텐션 잔차는 깊은 계층에서$\sim 0.2$로 붕괴됨을 확인시켜 줍니다.
  • 델타 모델의 깊은 계층은 특정 초기 출력 (토큰 임베딩 포함) 에 가중치를 선택적으로 집중시키는 반면, 어텐션 잔차는 어텐션을 확산적으로 분배합니다.

중요성 및 주장

본 논문은 델타 어텐션 잔차가 계층 간 라우팅의 출력 중복성이라는 근본적인 문제를 해결한다고 주장합니다. "누적된 것 (cumulative states)"이 아닌 "변화된 것 (deltas)"에 대해 라우팅함으로써, 이 방법은 심층 네트워크로 효과적으로 확장 가능한 선택적이고 대비가 높은 라우팅을 가능하게 합니다.

저자들은 이 접근 방식이 다른 아키텍처 개선 사항과 **직교 (orthogonal)**하다고 강조합니다. 그 주요 중요성은 다음과 같습니다:

1. 확장성: 이전 어텐션 기반 잔차 방법에서 관찰된 저하 없이 더 깊고 효과적인 계층 간 연결을 가능하게 합니다.
2. 실용성: 가법 공식과 안전한 초기화는 미세 조정을 통해 기존 사전 학습된 체크포인트에 계층 간 라우팅을 원활하게 통합할 수 있게 하여, 이전에 초기화 불안정성으로 인해 방해받았던 기능을 가능하게 합니다.
3. 효율성: 델타 블록 변형은 대규모 학습에 적합한 고성능, 저오버헤드 솔루션을 제공하여, 라우팅 표현력과 계산 제약 사이의 균형을 맞춥니다.