기술 요약: 하이브리드 롱 컨텍스트 모델의 Full/GQA 레이어를 위한 Oracle-Guided Sparse Prefill

1. 문제 정의

긴 컨텍스트 프리필(Long-context prefill)은 대규모 언어 모델(LLM) 서빙에서 여전히 중요한 계산 병목 구간으로 남아 있습니다. 현대적 아키텍처들은 하이브리드 설계(로컬, 스파스, 리니어, 재귀적 컴포넌트의 결여)를 점점 더 많이 채택하고 있지만, Full 또는 Grouped-Query Attention (GQA) 레이어는 여전히 긴 범위의 증거를 검색하고 융합하는 주요 메커니즘으로 지속되고 있습니다. 비록 GQA가 KV 캐시 메모리를 줄이기 위해 키-값 헤드를 공유하지만, 시퀀스 차원 내의 과거 토큰에 대한 밀집 탐색(dense search) 자체를 제거하지는 못합니다.

본 기술 보고서가 다루는 핵심 진단 질문은 다음과 같습니다: 고정된 서포트 그래뉴러티(support granularity)와 top-k 예산 하에서, 기존 full/GQA 레이어의 밀집 어텐션 탐색 중 실제 태스크 수준의 동작을 보존하기 위해 얼마나 많은 부분이 실제로 필요한가?

현재의 스파스 어텐션 방법들(예: Quest, DuoAttention, MInference, NSA)은 해석 측면에서 어려움에 직면해 있습니다: 즉, 스파시티 도입 시 발생하는 품질 저하가 불충분한 예산 때문인지, 부적절한 인덱서 선택 때문인지, 조잡한 서포트 공유 방식 때문인지, 혹은 런타임 구현의 차이 때문인지 구별하기 어렵다는 점입니다. 통제된 참조 모델(controlled reference) 없이는, 스파스 서포트의 이론적 타당성과 인덱서 또는 런타임 시스템의 실질적 한계를 구분하기 어렵습니다.

2. 방법론

2.1 어텐션-매스 Top-k 오라클 (Attention-Mass Top-k Oracle)

저자들은 어텐션-매스 top-k 오라클을 단순한 배포 가능한 가속 방법이 아닌, 통제된 과학적 측정 도구로서 도입합니다. 이 도구의 목적은 "스파스 예산의 타당성(sparse-budget feasibility)"을 "인덱서 에러(indexer error)" 및 "런타임 구현 효과(runtime realization effects)"로부터 분리하는 것입니다.

• 메커니즘: 각 레이어와 쿼리 위치에 대해, 오라클은 전체 밀집 어텐션 분포를 계산합니다. 그 후, 쿼리 헤드 전반에 걸쳐 어텐션 점수를 집계하여 헤드 평균화된 토큰 중요도 분포($P_{\ell,t}$)를 형성합니다.
• 선택: 지정된 top-k 예산($k$)과 서포트 그래뉴러리티(per-query 또는 selection-block-shared)를 기반으로, 오라클은 이 분포에서 상위 $k$개의 토큰 인덱스를 선택합니다.
• 실행: 모델은 원래의 쿼리, 키, 값을 사용하되, 선택된 서포트 세트로 제한된 어텐션 출력만을 재계산합니다. 결정적으로, 오라클은 서포트를 선택하는 데만 밀집 어텐션을 사용하며, 이후의 모델 궤적(trajectory)은 스파스하게 계산됩니다.
• 그래뉴러리티: 연구는 두 가지 그래뉴러리티를 평가합니다:
  • Per-query ($b_{sel}=1$): 각 쿼리 위치가 자신만의 서포트를 선택합니다.
  • Selection-block-shared ($b_{sel}=64$): 시스템 비용을 분담하기 위해 64개의 연속적인 쿼리 블록에 대해 단일 서포트 세트를 선택합니다.

2.2 KL 증류를 통한 헤드 콜랩스 인덱서 (Head-Collapsed Indexer via KL Distillation)

오라클의 안내에 따라, 저자들은 고정된 GQA 백본을 위한 추론 시점 인덱서를 도출합니다.

• 설계 원칙: 백본 모델은 변경되지 않습니다. 보조 인덱서는 오라클이 정의한 토큰 중요도 분포($P_{\ell,t}$)를 예측하도록 훈련됩니다.
• 훈련 목표: 인덱서는 밀집 어텐션 매스 분포로부터 **KL 발산 증류(KL divergence distillation)**를 통해 훈련됩니다.
• 아키텍처: 저자들은 헤드 콜랩스(head-collapsed) 설계를 제안합니다. 모든 쿼리 헤드나 KV 그룹에 대해 별도의 스코어링 채널을 유지하는 대신, 인덱서는 헤드 간의 보조 스코어링 공간을 붕괴시켜 공유된 토큰 중요도 분포를 예측합니다. 이는 프로젝션 활성화를 줄이고 명시적인 보조 헤드 차원의 필요성을 제거합니다.
• 추론: 인덱서는 후보 키들의 점수를 매기고 상위 $k$개 인데스를 선택하며, 스파스 GQA 레이어는 선택된 토크들에 대해서만 어텐션을 재계산합니다. 스파스 예산($k$)은 재학습 없이 추론 시점에 조정 가능합니다.

2.3 증거 분해 (Evidence Decomposition)

논문은 타당성과 배포 준비성을 혼동하지 않기 위해 결과를 세 가지 뚜렷한 증거 유형으로 분류합니다:

1. 오라클 갭 (Oracle Gap): 밀집 어텐션과 오라클-스파스 어텐션(오라클이 선택한 서포트 사용) 사이의 차이입니다. 이는 서포트 패밀리가 이론적으로 실행 가능한지를 테스트합니다.
2. 인덱서 갭 (Indexer Gap): 오라클 서포트를 증류된 인덱서로 교체할 때 발생하는 추가적인 성능 저하입니다.
3. 실현 갭 (Realization Gap): 런타임 제약 조건(예: selection-block 공유, 커널 퓨전)에 의해 도입되는 추가적인 성능 저하입니다.

3. 주요 결과

3.1 오라클 타당성 (Oracle Gap)

• 밀집 성능에 근접: Qwen 계열 체크포인트(Qwen3-8B, Qwen3.5/3.6 27B/35B-A3B) 전반에서, per-query 오라클은 가장 긴 평가 컨텍스트(최대 128K)에서도 밀집 어텐션과 1 퍼센트 포인트 이내의 차이를 보였습니다.
• 예산 민감도: 4K에서 100K까지의 Qwen3.5-9B 스윕(sweep)에서, 구성된 top-k 스케줄(256–2048) 하의 오라클 갭은 밀집 어텐션 대비 0.48 포인트 이내를 유지했으며, 이때 스파시티는 87.9%에서 96.0% 사이였습니다.
• 그래뉴러리티 영향: Per-query 오라클은 견고하지만, selection-block-shared ($b_{sel}=64$) 오라클은 "절벽(cliff)" 효과를 보입니다. 128K에서 높은 예산(top-k=2048)은 밀집 성능에 가까운 품질을 유지하지만, 낮은 예산(top-k=256)은 검색 중심 태스크에서 심각한 붕괴를 일으킵니다. 이는 서포트 공유가 길이 인지적 예산 스케일링을 필요로 함을 나타냅니다.

3.2 증류된 인덱서 품질 (Indexer Gap)

• 품질 보존: Qwen3.5-0.8B 및 Qwen3.5-9B를 위해 각각 증류된 인덱서를 사용하여, 저자들은 RULER, VideoMME, MMLongBench-Doc, LongBench-v2의 홀드아웃 검증 슬라이스(16K/32K 컨텍스트)에서 유의미한 총체적 성능 저하가 없음을 보고했습니다.
• 매크로 갭: 보고된 매크로 갭(증류 모델 - 밀집 모델)은 Qwen3.5-0.8B의 경우 +2.04, Qwen3.5-9B의 경우 +1.13이었습니다. 저자들은 이러한 양(+)의 갭을 밀집 어텐션에 대한 본질적인 개선이 아니라, 평가 해상도 내에서의 품질 보존으로 간주합니다.
• Per-Query vs Fused: 순수 RULER-32K 검증에서, per-query 증류 경로는 밀집 모델 대비 0.6 포인트 이내였으나, 퓨즈드(selection-block-shared) 경로는 5.0 포인트의 갭을 보여, 시스템 친화적인 아마티제이션(amortization)의 비용을 강조했습니다.

3.3 런타임 헤드룸 (TTFT)

• 증류된 인데서 속도 향상: 단일 카드 측정 결과, 증류된 인덱서 스파스 프리필의 TTFT 속도 향상은 다음과 같습니다:
  • Qwen3.5-0.8B (NPU): 256K 컨텍스트에서 최대 1.71× 속도 향상.
  • Qwen3.5-9B (GPU): 256K 컨텍스트에서 최대 1.93× 속도 향상.
  • 속도는 컨텍스트 길이가 길어질수록 증가하는데, 이는 비-어텐션 레이어의 상대적 비용과 오버헤드가 감소하기 때문입니다.
• 학습되지 않은 인덱서 스트레스 테스트: 무작위로 초기화된(학습되지 않은) 인데서 가중치로 스파스 경로를 실행했을 때 훨씬 더 높은 잠재적 헤드룸(128K에서 NPU 기준 최대 3.44×)이 나타났으며, 이는 스파스 런타임 경로 자체가 효율적임을 나타냅니다(단, 이 구성에서의 출력 품질은 검증되지 않음).

4. 의의 및 주장

본 논문은 완전하게 배포된 손실 없는 스파스 시스템을 주장하기보다는, 하나의 진단적 기술 보고서로서 자리매김합니다. 주요 기여는 다음과 같습니다:

1. 문제의 재정의: GQA 레이어에 대한 스파스 프리필을 **오라클 가이드형 환원 가능성 문제(oracle-guided reducibility question)**로 프레임화합니다. 밀집 어텐션 매스로 이론적으로 가능한 것을 확립함으로써, 실질적인 스파스 시스템의 에러 소스를 격리합니다.
2. 오라클의 정의: 어텐션-매스 top-k 오라클은 "통제된 참조" 역할을 하여, 예산의 타당성과 인데서 성능 및 런타임 실현 효과를 분리합니다.
3. 경험적 증거: Qwen 계열 GQA 체크포인트의 경우, 밀집 어텐션 매스가 극단적인 길이(128K–256K)에서도 태스크 수준의 동작을 보존하는 압축된 쿼리 의존적 서포트를 식별해 낸다는 첫 번째 증거를 제공합니다.
4. 방법론적 분리: 보고서는 세 가지 별개의 주장을 명시적으로 분리합니다:
   • 오라클 타당성: 스파스 서포트는 실행 가능함 (오라클 행에 의해 증명).
   • 증류된 인데서 품질: 고정된 백본 인데서는 최소한의 품질 손실로 이 서포트를 근사할 수 있음 (증류된 행에 의해 증명).
   • 런타임 헤드룸: 스파스 서빙 경로는 상당한 TTFT 감소를 제공함 (스트레스 행 및 증류된 TTFT 행에 의해 증명).

한계 및 범위:
저자들은 본 연구가 "첫 번째 릴리스"임을 언급하며 주장에 신중을 기합니다. 그들은 명시적으로 다음을 밝힙니다:

• 모든 지표가 정확히 동일한 구성에서 측정된 단일 "완전하게 일치하는 밀집-오라클-증류 품질-지연 시간 경계(fully matched dense–oracle–distilled quality-latency frontier)"는 존재하지 않습니다.
• 증류된 인데서는 주로 16K/32K에서 검증되었으며, 가장 큰 TTFT 속도 향상은 쌍을 이루는 품질 체크 없이 128K/256K에서 측정되었습니다.
• 헤드 콜랩스 인데서 설계는 헤드 확장형 변체에 대한 절제(ablation)를 통해 입증된 최적값이 아니라, 시스템 지향적인 선택으로 제시되었습니다.
• 증거는 현재 Qwen 계열에 집중되어 있으며, 타 모델군에 대한 검증은 향후 과제로 남겨두었습니다.

요약하자면, 본 논문은 **밀집 어텐션이 종종 "과잉(overkill)"**이며, 증류된 헤드 콜랩스 인데서가 필요한 서포트를 효과적으로 근사하여, 서포트 그래뉴러티와 예산을 신중하게 관리한다면 품질을 보존하면서도 상당한 TTFT 속도 향상을 실현할 수 있음을 입증합니다.