기술 요약: 선택적 접근 트랜스포머 (SATFormer)

문제 제기

심층 트랜스포머 아키텍처에서 초기 레이어에서 계산된 저수준 어휘 및 구조적 특징은 잔여 스트림이 어텐션, 정규화, 그리고 피드포워드 레이어를 통해 반복적으로 변환됨에 따라 종종 복구가 어려워집니다. 이러한 "정보 희석"을 완화하기 위해 최근 연구는 후속 레이어가 초기 표현, 특히 첫 번째 레이어의 값投影 ($V_1$) 에 접근할 수 있도록 하는 교차 레이어 경로를 도입했습니다.

기존 솔루션은 상이한 트레이드오프를 가진 두 가지 범주로 나뉩니다:

1. 정적 값 잔여 (예: ResFormer): 이들은 학습된 스칼라 계수를 추가하여 모든 토큰과 레이어 내의 모든 어텐션 헤드에 대해 $V_1$을 균일하게 노출시킵니다. 계산 비용은 저렴하지만 세분화가 부족하여 맥락과 관계없이 동일한 양의 초기 정보를 적용합니다.
2. 밀집 또는 동적 대안 (예: DenseFormer, MUDDFormer, HyperConnections): 이러한 방법들은 더 넓은 레이어 히스토리를 집계하거나 더 세분화된 접근을 복구하기 위해 동적 경로를 생성합니다. 그러나 이는 훨씬 더 높은 메모리 비용과 낮은 처리량을 초래합니다.

본 연구가 다루는 핵심 질문은 교차 레이어 재사용을 순수한 연결성 문제로 취급하는 대신, 모델이 해당 경로를 언제 그리고 어디에서 사용할지에 대한 제어를 학습한다면 단일 초기 값 경로가 경쟁력을 가질 수 있는지 여부입니다.

방법론: SATFormer

저자들은 **선택적 접근 트랜스포머 (SATFormer)**를 제안하며, 이는 초기 표현 재사용을 밀집 경로를 필요로 하는 연결성 문제가 아닌, 맥락 의존적 게이트에 의해 제어되는 검색 문제로 재정의합니다.

아키텍처

SATFormer 는 ResFormer 의 단일 초기 값 경로를 유지하지만, 정적 레이어별 스칼라 계수를 토큰별, 헤더별 게이트로 대체합니다.

• 게이트 계산: 레이어 $n$의 토큰 $t$와 KV-헤드 $j$에 대해, 게이트 $\alpha^{(n)}_{t,j}$는 현재 정규화된 은닉 상태 $x^{(n)}_t$의 단일 선형 프로젝션을 통해 계산됩니다:
  $$\alpha^{(n)}_{t,j} = \left[ \text{ReLU}\left( x^{(n)}_t W^{(n)}_\alpha \right) \right]_j$$
  여기서 $W^{(n)}_\alpha$는 학습 가능한 프로젝션 행렬입니다. ReLU 활성화 함수는 비음수성을 보장하고 게이트가 정확히 0 이 될 수 있도록 합니다.
• 값 수정: 어텐션에 사용되는 값 벡터는 현재 레이어의 값 ($V_{t,j,r}$) 과 첫 번째 레이어의 값 ($V^{(1)}_{t,j,r}$) 의 혼합물입니다:
  $$V'_{t,j,r} = V_{t,j,r} + \alpha^{(n)}_{t,j} \cdot V^{(1)}_{t,j,r}$$

설계 근거

이 설계는 효율성을 보장하기 위해 세 가지 최소한의 선택을 합니다:

1. 세분화: 게이트는 토큰별이며 헤더별입니다. 이는 $V_1$의 유용성이 두 축 모두에서 변할 수 있음을 인정합니다 (예: 특정 토큰은 어휘 정보가 필요할 수 있지만 다른 토큰은 그렇지 않을 수 있음).
2. 파라미터 효율성: 게이트는 현재 은닉 상태로부터 단일 선형 프로젝션을 사용하여 계산되므로, 레이어당 $d_{model} \times N_{kv}$만큼의 미미한 파라미터와 런타임 비용만 추가됩니다.
3. 희소성: ReLU 게이트는 초기 정보가 도움이 되지 않을 때 모델이 $V_1$과 완전히 단절 (0 으로 설정) 할 수 있게 하여 희소 접근 패턴을 장려합니다.

주요 기여

1. 제어 기반 프레임워크: 본 논문은 초기 표현 재사용의 패러다임을 "연결성" (경로의 수) 에서 "제어" (단일 경로를 어떻게 게이트하는지) 로 전환합니다.
2. SATFormer 아키텍처: 정적 스칼라를 입력 의존적 게이팅으로 대체하여 미미한 오버헤드만 추가하는 계산적으로 저렴한 메커니즘입니다.
3. 파레토 우위 확장: SATFormer 는 130M 에서 1.3B 파라미터까지의 규모에 걸쳐 표준 트랜스포머와 ResFormer 모두보다 검증 손실과 제로샷 정확도를 향상시킵니다.
4. 메커니즘적 증거: 분석은 학습된 게이팅이 희소하며, 깊이 의존적이고, 헤더별이며, 토큰 범주에 민감 (의미적 특징을 선호) 함을 보여줍니다. 이는 모델이 균일한 복사가 아닌 선택적 재사용을 학습함을 확인시켜 줍니다.

실험 결과

검색 집약적 벤치마크

맥락 내 검색이 필요한 작업 (TriviaQA, SWDE, SQuAD, NQ, FDA, DROP) 에서 SATFormer 는 평가된 아키텍처 중 가장 높은 평균 점수 (29.86) 를 달성했습니다.

• ResFormer보다 약 1.5 평균 포인트 더 높은 성능을 보였습니다.
• MUDDFormer(29.855) 를 간신히 능가하면서도 훨씬 더 효율적인 계산 프로필을 유지했습니다.

효율성 및 처리량

SATFormer 는 밀집 방법의 속도 저하를 피하면서 기본 트랜스포머 및 ResFormer 와 유사한 계산 프로필을 유지합니다.

• 처리량: 760M 규모에서 SATFormer 는 HyperConnections 보다 약 1.75 배, MUDDFormer 보다 약 1.82 배 높은 처리량을 달성했습니다.
• 메모리: HyperConnections 보다 31% 적게, MUDDFormer 보다 5% 적게 메모리를 사용했습니다.
• 월클락 학습 시간: 벽시계 시간을 기준으로 측정했을 때, SATFormer 는 밀집 대안들보다 더 빠른 속도로 더 낮은 학습 손실에 도달했습니다.

일반 언어 모델링 및 확장

• 검증 손실: SATFormer 는 모든 규모 (130M, 340M, 760M, 1.3B) 에서 ResFormer 보다 최종 검증 손실을 일관되게 개선했습니다.
• 제로샷 정확도: SATFormer 는 130M, 340M, 1.3B 규모에서 ResFormer 보다 평균 제로샷 정확도를 향상시켰습니다. 가장 큰 개선은 1.3B(XL) 규모에서 +0.67 평균 정확도였습니다.
• 밀집 방법과의 비교: SATFormer 는 밀집 대안들을 균일하게 압도하지는 않았습니다 (예: 일부 지표에서 Medium 및 Large 규모에서 HyperConnections 와 MUDDFormer 가 더 높은 제로샷 점수를 기록함). 그러나 적응성, 모델 품질, 학습 효율성 간의 우월한 트레이드오프를 제공했습니다.

메커니즘 분석

• 희소 접근: 게이트 활성화는 희소했으며, 초기/중간 레이어의 대부분의 헤더는 $V_1$에 거의 0 에 가까운 가중치를 할당했습니다. 접근은 후속 레이어 헤드의 일부 하위 집합에 집중되었습니다.
• 깊이 의존성: 가장 큰 개선은 더 깊은 모델 (1.3B) 에서 나타났으며, 이는 선택적 접근이 제어 메커니즘을 적용할 더 많은 레이어를 가질 때 혜택을 받음을 시사합니다.
• 범주 민감성: 후속 레이어 헤더는 "구조적" 또는 "기능적" 특징에 비해 "의미적" 특징에 대해 더 강한 접근을 보여주었으며, 이는 모델이 내용 전달 초기 표현을 선택적으로 재사용한다는 가설을 지지합니다.
• 개입: 게이트를 제거 (0 으로 설정하거나 평균으로 대체) 하면 퍼플렉시티가 증가하여 $V_1$ 경로와 학습된 게이팅 구조 모두 기능적으로 중요한 결과를 가져옴을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 초기 표현이 유용하기 위해 밀집 연결성을 통해 제공될 필요는 없다고 주장합니다. SATFormer 는 아키텍처 설계 공간의 특정 지점을 차지합니다: 밀집 교차 레이어 라우팅보다 훨씬 저렴하고, 정적 값 잔여보다 더 적응적이며, 검색 중심 환경에서 특히 효과적입니다.

교차 레이어 재사용을 최대 연결성 문제가 아닌 선택적 접근 문제로 재정의함으로써, SATFormer 는 향후 트랜스포머 아키텍처를 위한 단순하고 계산적으로 효율적인 설계 지점을 제공합니다. 저자들은 그들의 모델이 통제된 경험적 분석을 위해 고안되었으며, 이 연구는 실질적으로 더 밀집되거나 계산적으로 비싼 연결성을 요구하지 않고도 트랜스포머 내 정보 흐름의 효율성과 해석 가능성을 개선하는 것을 목표로 한다고 강조합니다.