기술 요약: 충분히 좋은 것이 최적이다: 양자화된 Gated DeltaNet을 위한 곱셈 전용 행렬 역행렬 근사법

문제 정의

대규모 언어 모델(LLM)이 긴 컨텍스트 길이에 따라 확장됨에 따라, 표준 어텐션 메커니즘은 이차적인(quadratic) 메모리 및 실행 시간 비용 문제에 직면합니다. Gated DeltaNet과 같은 선형 어텐션 방식은 고정된 크기의 순환 상태(recurrent state)를 유지함으로써 이 문제를 해결합니다. 그러나 최근의 Gated DeltaNet 구현체(예: Qwen3.5 및 KiMi)는 토큰 시퀀스 내에서 병렬성을 노출하기 위해 청크 단위의 병렬 전략(chunk-wise parallel strategy)을 사용합니다. 이는 외부 토큰 간의 의존성은 제거하지만, 새로운 병목 현상을 유발합니다: 각 청크 내에서의 **삼각 행렬 역행렬 계산(triangular matrix inversion)**입니다.

구체적으로, 청크 단위 업데이트는 $k \times k$ 행렬에 대해 $T = (I - A)^{-1}$를 계산해야 하며, 여기서 $A$는 엄격한 하삼각 행렬(strictly lower-triangular matrix)입니다. 전통적인 방식은 $k-1$번의 반복이 필요한 순차적 알고리즘인 **전방 대입법(forward substitution)**에 의존합니다. 이 방법은 병렬성이 제한적이며, 벡터 연산에 크게 의존하기 때문에 신경망 처리 장치(NPU)에서 밀집 행렬 곱셈(dense matrix multiplication)을 활용하는 능력이 떨어져 하드웨어 활용도가 낮습니다. Qwen3.5-4B에서 이 역행렬 단계는 전체 사이클 비용의 22%~31%를 차지하며, 청크 크기가 커질수록 오버헤드가 증가합니다.

또한, 블록 단위 분해(block-wise decomposition)나 뉴만 급수 전개(Neumann series expansion)를 통해 이를 병렬화하려는 기존 시도들은 다음과 같은 문제에 직착합니다:

1. 블록 단위 역행렬은 행렬 크기를 제한하여 가용 병렬성을 제약합니다.
2. 직접적인 뉴만 급수 전개 ($(I-A)^{-1} = \sum A^n$)는 유한 정밀도(FP16/INT) 환경에서 수치적 불안정성을 겪습니다. 고차 항들이 급격히 증가하여 오버플로와 헤비 테일(heavy-tailed) 분포를 유발하고, 이는 양자화 성능을 저하시킵니다.

방법론

저자들은 청크 단위 선형 어텐션 내의 엄격한 하삼각 행렬에 맞춤화된 곱셈 전용(MatMul-only) 근사 알고리즘을 제안합니다. 핵심 철학은 "충분히 좋은 것이 최적이다(Good Enough Is Optimal)"입니다. 즉, 근사가 모델의 정확도를 보존하면서 하드웨어 효율적인 실행을 가능하게 한다면, 정확한 역행렬을 구할 필요는 없다는 것입니다.

이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 저차 절단 뉴만 전개 (Low-Order Truncated Neumann Expansion)

전체 유한 전개(계수가 $k$개인 경우)를 계산하는 대신, 이 방법은 적은 수의 항 $N$ ($N \ll k$)에서 뉴만 급수를 절단합니다.

• 이론적 근거: 보조정리 3.1은 엄격한 하삼각 행렬 $A$에 대해 $A^n$이 $n$번째 부대각선(sub-diagonal) 및 그 아래에만 기여함을 입증합니다. 결과적으로, 역행렬의 에너지는 주대각선 근처에 집중됩니다.
• 구현: 초기 근사치는 $T^{(0)} = \sum_{n=0}^{N} A^n$입니다. 경험적 분석에 따르면 낮은 차수(예: $N \approx 3$)가 역행렬 구조의 대부분을 포착하여, 전체 전개의 계산 비용을 피할 수 있습니다.

2. 구조적 대각 마스킹 (Structural Diagonal Masking)

고차 항들이 급격히 증가하여 발생할 수 있는 수치적 불안정성(잠재적으로 FP16/INT 범위를 초과함)을 해결하기 위해, 저자들은 대각 마스크 $M^{(N)}$을 적용합니다.

• 메커니즘: 이 마스크는 주대각선으로부터의 거리가 절단 차수 $N$을 초과하는 항목을 0으로 설정합니다 (즉, $i-j \le N$이면 $M_{ij} = 1$, 그렇지 않으면 $0$).
• 효과: 이는 역행렬의 정확도에는 거의 기여하지 않으면서 오버플로와 양자화 노이즈를 유발하는 행렬의 좌하단 영역 내 "불필요한" 큰 값들을 제거합니다. 이를 통해 근사치를 저비트 정수(INT) 양자화에 견고하게 만듭니다.

3. 병렬 잔차 보정 (Parallel Residual Correction)

절단과 마스킹은 근사 오차를 도입합니다. 이를 해결하기 위해 저자들은 순차적 의존성을 다시 도입하지 않고 정확도를 회복하는 병렬 잔차 보정 체계를 사용합니다.

• 정식화: 순차적인 방식인 반복 업데이트($T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$) 대신, 이 방법은 잔차 오차 $E = I - (I-A)T^{(0)}$의 행렬 거듭제곱의 누적으로 보정을 재구성합니다.
• 실행: 최종 근사치는 $T \approx T^{(0)} \sum_{s=0}^{S} E^s$로 계산됩니다. 이를 통해 전체 과정을 행렬 곱셈(MatMul) 커널만을 사용하여 실행할 수 있으며, NPU에 대한 병렬성을 완전히 노출할 수 있습니다.

양자화에 대한 적응

이 방법은 저비트 추론(예: INT8/INT16)에 특화되어 튜닝되었습니다. 저자들은 절단 차수 $N$을 높이면(예: 3에서 4로) 동적 범위가 급격히 확장되어 심각한 양자화 오차가 발생한다는 점을 관찰했습니다. 따라서 $N$을 제한(예: $N=3$)하고 잔차 단계($S=8$)로 보완함으로써, 수치적 안정성, 정확도 및 효율성 사이의 균형을 맞춥니다.

주요 기여

1. 근사적이지만 충분한 MatMul 전용 역행렬: 본 논문은 순차적인 삼각 행렬 역행렬 계산을 저차 뉴만 근사와 구조적 마스킹 및 병렬 잔차 보정이 결합된 방식으로 대체합니다. 이는 주요 계산을 MatMul 커널로 매핑하여 부동 소수점 및 정수 양자화 모두에서 정확도를 보존합니다.
2. 하드웨어 효율적인 NPU 실행: 삼각 솔브(triangular-solve) 의존성을 제거함으로써, 이 공식은 밀집 행렬 곱셈을 노출합니다. 이를 통해 NPU에서 최대 5배의 커널 수준 속도 향상을 달ar하며, 정확도 저하 없이 디코드 레이어 오버헤드를 20% 줄입니다.
3. 저정밀도 하의 견고성: 이 접근 방식은 반복적인 행렬 거듭제곱 연산 중에 발생하는 동적 범위 확장을 완화하여, 기존 방법들이 실패하거나 성능이 저하되는 곳에서도 INT16 및 INT8 양자화 하의 안정적인 추론을 가능하게 합니다.

실험 결과

이 방법은 Qwen3.5 제품군(0.8B ~ 9B 파라미터)과 Qwen3-Next 모델에 대해 평가되었습니다.

• 정확도:
  • 단일 커널: 본 방법은 FP16 및 INT16에서 FP32 베이스라인과 유사한 높은 신호 대 잡음비(SNR)를 유지합니다.
  • 엔드 투 엔드: 퍼플렉시티(PPL) 및 다운스트림 태스크 정확도(MMLU, CSR, RealWorldQA)는 모든 모델 규모에서 Flash Linear Attention(FLA) 베이스라인과 일치합니다.
  • 양자화: W4A16 양자화 하에서, 제안된 방법은 특히 RealWorldQA에서 표준 FLA보다 성능을 훨씬 더 잘 보존하며, PPL 및 MMLU 점수에서 차이가 미미합니다.
• 성능:
  • 속도 향상: 청크 크기 32, 64, 128에 대해 행렬 역행렬 커널에서 각각 5.2배, 4.2배, 4.6배의 속도 향상을 달성했습니다.
  • 오버헤드 감소: 행렬 역행렬 비용을 (FLA에서의) 총 사이클의 ~22–31%에서 ~5–9%로 줄여, 전체 사이클을 **18.1%에서 24.6%**까지 감소시켰습니다.
• 절제 연구 (Ablation Studies):
  • 저차 절단만 사용하는 경우($N=3$) 저정밀도에서 발산이 발생하지만, 대각 마스크와 잔차 보정($S=8$)을 추가하면 안정성과 정확도가 회복됩니다.
  • 64×64 행렬의 경우, 최적의 구성은 $N=3$ 및 $S=8$입니다.

의의 및 주장

본 논문은 특히 NPU에서의 긴 컨텍스트 모델링의 병목 현상을 타겟팅하여, 확장 가능한 선형 어텐션을 위한 효율적이고 하드웨어 친화적인 솔루션을 제공한다고 주장합니다.

• 확장성: 순차적인 전방 대입법의 페널티 없이 더 큰 청크 크기(최대 128)를 사용할 수 있게 함으로써, 더 효율적인 롱 컨텍스트 처리를 지원합니다.
• 배포: 이 방식은 계산 및 에너지 요구 사항을 줄임으로써 자원이 제한된 장치(모바일 및 엣지 플랫폼)에 롱 컨텍스트 모델을 배포하는 것을 용이하게 합니다.
• 트레이드오프 철학: 이 연구는 고품질 모델 성능을 위해 "정확한" 역행렬이 반드시 필요하지 않다는 점을 강조합니다. 하드웨어 역량(MatMul 중심, 병렬 처리)에 부합하는 "충분히 좋은" 근사를 수용함으로써, 실질적인 최적의 성능을 달성합니다.

저자들은 이 방법이 효율성을 개선하지만, 특히 저정밀도 제약 조건 하에서 신뢰성을 보장하기 위해 세심한 평가가 필요하며, 모든 잠재적 아키텍처의 모든 수치적 불안정성 문제를 해결한다고 주장하는 것이 아니라, 구체적으로 Gated DeltaNet 컨텍스트를 타겟으로 한다는 점을 명시했습니다.