FASA: Frequency-aware Sparse Attention

본 논문은 RoPE 의 주파수-조각 (FC) 수준에서 발견된 기능적 희소성을 활용하여 쿼리 인식 토큰 제거를 수행함으로써 긴 컨텍스트 처리 시 KV 캐시 메모리 병목 현상을 해결하고 기존 방법들을 능가하는 성능을 보여주는 FASA 프레임워크를 제안합니다.

핵심

FASA: 거대한 언어 모델의 '기억력'을 가볍게 만드는 마법

이 논문은 최근 화두가 되고 있는 **거대 언어 모델 (LLM)**이 긴 글을 읽거나 복잡한 문제를 풀 때 겪는 '기억 과부하' 문제를 해결하는 새로운 방법, FASA를 소개합니다.

🧠 문제: 거대한 뇌, 하지만 기억 공간이 부족해요

생각해 보세요. 우리가 아주 긴 소설을 읽거나, 방대한 양의 코드 파일을 분석할 때, 머릿속에 모든 내용을 다 기억해 두려면 얼마나 많은 공간이 필요할까요?

AI 모델도 마찬가지입니다. 긴 문장을 처리할 때, 모델은 과거의 모든 단어 (토큰) 에 대한 정보를 **'KV 캐시 (Key-Value Cache)'**라는 메모리에 저장해 둡니다. 하지만 문장이 길어질수록 이 메모리는 기하급수적으로 커져서, 고가의 그래픽 카드 (GPU) 메모리를 다 차지해 버립니다. 마치 책상 위에 모든 책과 자료를 펼쳐놓고 일하는 것처럼, 공간이 부족해지면 작업 속도가 느려지고 비용이 폭증합니다.

기존 방법들은 이 문제를 해결하기 위해 "중요하지 않은 정보를 버리자"라고 제안했습니다. 하지만 이는 두 가지 큰 문제가 있었습니다:

1. 고정된 규칙 (Static): "처음 10 개 단어와 마지막 10 개 단어만 남긴다"처럼 무조건적인 규칙을 쓰면, 중간에 정말 중요한 정보가 사라질 수 있습니다.
2. 추측성 (Heuristic): "최근에 나온 단어일수록 중요할 거야"라고 추측하는 방식인데, 질문의 내용 (Query) 에 따라 중요도가 달라지는 것을 제대로 반영하지 못합니다.

💡 해결책: FASA (주파수 인식형 희소 어텐션)

저자들은 **"모든 단어가 다 중요하지는 않다. 하지만 어떤 단어가 중요한지는 질문을 들어야 알 수 있다"**는 사실을 발견했습니다. 그리고 이를 해결하기 위해 FASA라는 새로운 방법을 개발했습니다.

🎻 핵심 아이디어: "악기 줄 (주파수) 의 비밀"

FASA 의 가장 큰 혁신은 **RoPE (회전 위치 인코딩)**라는 기술의 숨겨진 성질을 발견한 데서 시작합니다.

• 비유: AI 모델의 기억을 오케스트라라고 상상해 보세요. 각 악기 (주파수 대역) 는 서로 다른 역할을 합니다.
  • 어떤 악기들은 **위치 (시간)**를 알려주는 리듬을 담당합니다 (구조적 역할).
  • 어떤 악기들은 **의미 (내용)**를 전달하는 멜로디를 담당합니다 (맥락적 역할).

연구자들은 이 오케스트라에서 **실제 이야기 (맥락) 를 이해하는 데 결정적인 역할을 하는 몇몇 '주요 악기들 (Dominant Frequency Chunks)'**만 존재한다는 사실을 발견했습니다. 나머지 90% 이상의 악기들은 위치를 알려주는 배경음일 뿐, 실제 의미 파악에는 크게 기여하지 않는다는 것입니다.

🚀 FASA 의 작동 원리: 2 단계 전략

FASA 는 이 '주요 악기들'을 이용해 두 단계로 기억을 정리합니다.

1. 1 단계: 중요한 단어 찾기 (Token Importance Prediction)

   • 모델이 새로운 질문을 받으면, 훈련 없이 (Training-free) 미리 정해진 '주요 악기들'만 이용해 "지금 이 문맥에서 어떤 단어가 가장 중요할까?"를 빠르게 계산합니다.
   • 마치 도서관 사서가 책의 제목과 목차 (주요 악기) 만 보고, 어떤 책이 필요한지 빠르게 찾아내는 것과 같습니다. 전체 책을 다 읽을 필요 없이, 중요한 책만 골라냅니다.

2. 2 단계: 집중된 계산 (Focused Attention Computation)

   • 1 단계에서 골라낸 소수의 중요한 단어들만 가지고, 나머지 불필요한 단어들은 완전히 무시한 채 정밀한 계산을 수행합니다.
   • 이렇게 하면 메모리 사용량은 획기적으로 줄어든 반면, 정확도는 거의 떨어지지 않습니다.

🌟 FASA 의 두 가지 버전

사용자의 필요에 따라 두 가지 버전으로 제공됩니다:

• FASA-M (메모리 최적화): 메모리가 부족한 환경 (예: 일반 사용자 PC) 에 적합합니다. 중요한 정보만 GPU 에 남기고 나머지는 CPU 메모리로 옮겨서 저장합니다.
• FASA-C (연산 최적화): 속도가 중요한 환경에 적합합니다. 메모리는 다 쓰더라도, 불필요한 계산만 빼고 빠르게 처리합니다.

📊 성과: "기억의 18% 로 100% 성능"

실험 결과, FASA 는 놀라운 성과를 보였습니다.

• LongBench라는 긴 문서 이해 테스트에서, 전체 기억 (KV 캐시) 의 256 개 단어만 남겼음에도 불구하고, 전체 기억을 다 사용했을 때의 성능과 거의 100% 동일한 결과를 냈습니다.
• AIME24라는 어려운 수학 문제 풀이에서는, 기억 공간의 18.9% 만 사용하면서도 2.56 배 빠른 속도를 달성했습니다.

🎯 결론

FASA 는 **"무조건 다 기억하는 것"이 아니라, "질문에 맞춰 필요한 것만 똑똑하게 골라내는 것"**이 AI 의 효율성을 높이는 핵심임을 증명했습니다.

이 기술은 마치 바쁜 변호사가 수천 페이지의 증거 자료 중, 사건 해결에 결정적인 단서 몇 가지만 골라내어 재판에 임하는 것과 같습니다. 덕분에 우리는 더 긴 문서를, 더 복잡한 문제를, 더 적은 비용과 더 빠른 속도로 처리할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 긴 문맥 (Long Context) 을 처리할 때 발생하는 가장 치명적인 병목 현상은 **Key-Value (KV) 캐시의 메모리 풋프린트 (Memory Footprint)**입니다.

• 메모리 및 대역폭 문제: 시퀀스 길이가 길어질수록 KV 캐시는 선형적으로 증가하며, 매 토큰 생성 시 전체 캐시에 접근해야 하므로 메모리 I/O 지연이 발생합니다. 이는 고성능 GPU 의 활용도를 낮추고 전체 처리량 (Throughput) 을 제한합니다.
• 기존 토큰 제거 (Token Eviction) 방법의 한계:
  • 정적 (Static) 전략: 고정된 규칙 (예: 초기 토큰과 최근 토큰만 유지) 을 사용하여 중요한 중간 정보의 손실을 초래합니다.
  • 적응형 (Adaptive) 전략: 휴리스틱 기반의 점수 매기기를 사용하지만, 쿼리 (Query) 에 따라 중요도가 동적으로 변하는 토큰의 특성을 충분히 포착하지 못합니다.
  • 학습 기반 (Learning-based) 전략: 별도의 토큰 예측기를 학습시키는데, 이는 다양한 데이터셋에서의 일반화 성능이 낮고 학습 비용이 듭니다.

2. 방법론 (Methodology)

저자들은 **FASA (Frequency-Aware Sparse Attention)**를 제안합니다. 이는 학습이 필요 없는 (Training-free) 프레임워크로, RoPE(Rotary Positional Embeddings) 의 특성을 활용하여 토큰의 중요도를 동적으로 예측합니다.

핵심 통찰: 주파수 조각 (Frequency Chunk, FC) 의 기능적 희소성

• RoPE 와 FC: RoPE 는 벡터를 여러 개의 2 차원 주파수 조각 (FC) 으로 나누어 회전 행렬을 적용합니다. 저자들은 이 FC 들이 서로 다른 기능을 수행한다는 것을 발견했습니다.
  • 구조적 FC (Structural FC): 높은 주파수 (낮은 차원) 를 가지며, 주로 위치 정보 (Positional patterns) 나 최근성 편향 (Recency bias) 을 담당합니다.
  • 문맥적 FC (Contextual FC): 낮은 주파수 (높은 차원) 를 가지며, 현재 쿼리에 대한 의미론적 관련성 (Semantic relevance) 과 장기 의존성을 담당합니다.
• 주도적 FC (Dominant FCs): 전체 어텐션 헤드의 문맥 인식 능력을 거의 완벽하게 재현할 수 있는 소수의 "주도적 FC"가 존재합니다. 이는 모델 아키텍처와 작업 (Task) 에 관계없이 보편적으로 관찰되는 현상입니다.

FASA 의 2 단계 프레임워크

1. 토큰 중요도 예측 (Token Importance Prediction, TIP):
   • 오프라인에서 한 번만 수행하는 보정 (Calibration) 을 통해 각 어텐션 헤드의 **주도적 FC 집합 ($I_{dom}$)**을 식별합니다.
   • 온라인 추론 단계에서는 전체 KV 캐시를 계산하지 않고, $I_{dom}$에 해당하는 부분만 사용하여 토큰의 중요도 점수를 효율적으로 추정합니다.
   • 이를 통해 문맥에서 가장 중요한 소수의 토큰 집합 ($T_t$) 을 선별합니다.
2. 집중 어텐션 계산 (Focused Attention Computation, FAC):
   • TIP 단계에서 선별된 소수의 토큰 ($T_t$) 에 대해서만 전체 차원의 정밀한 어텐션 계산을 수행합니다.
   • 토큰의 원래 절대 위치는 보존되므로 위치 임베딩의 무결성이 유지됩니다.

구현 변형 (Variants)

• FASA-M (Memory-Optimized): GPU 메모리 제약이 있는 환경에 최적화. 주도적 키 (Key) 는 GPU 에, 비주도적 키와 전체 밸류 (Value) 는 CPU 메모리에 오프로드하여 메모리 사용량을 극도로 줄입니다.
• FASA-C (Computation-Optimized): 추론 속도에 최적화. 전체 KV 캐시를 GPU 에 유지하되, 주도적 FC 만을 사용하여 메모리 I/O 를 줄이고 속도를 가속화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 발견: RoPE 에 의해 유도된 **FC 레벨의 기능적 희소성 (Functional Sparsity)**을 최초로 발견하고 정량화했습니다. 소수의 주도적 FC 만이 문맥 이해에 결정적인 역할을 함을 증명했습니다.
2. 학습 불필요 프레임워크: FASA 를 통해 별도의 학습 없이 동적으로 토큰 중요도를 예측하는 방법을 제시했습니다. 이는 기존 학습 기반 방법의 일반화 문제를 해결합니다.
3. 이중 변형 제안: 메모리 제약 (FASA-M) 과 계산 제약 (FASA-C) 상황에 맞춰 최적화된 두 가지 변형을 제시했습니다.
4. 범용성: RoPE 기반 모델뿐만 아니라 ALiBi 나 Partial-RoPE (MLA) 와 같은 다른 위치 인코딩 방식에서도 기능적 희소성이 관찰되어 FASA 를 적용할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

FASA 는 LongBench, 긴 시퀀스 모델링 (Perplexity), 긴 CoT 추론 (MATH500, AIME24) 등 다양한 벤치마크에서 기존 방법들을 압도했습니다.

• LongBench-V1: 256 개의 토큰만 유지하는 극단적인 조건에서도 **전체 KV 캐시 (Full-KV) 성능의 약 100%**에 근접하는 정확도를 달성했습니다. (기존 방법들은 10~16% 이상의 성능 저하 발생)
• 긴 CoT 추론 (Long-CoT): 복잡한 수학 추론 (AIME24) 에서 FASA-C 는 2.56 배의 속도 향상을 달성하면서도 18.9% 의 캐시만 사용했습니다. 특히 DeepSeek-R1 기반 모델에서 FASA 는 10% 의 컨텍스트 예산으로도 FKV(전체 캐시) 의 성능을 거의 따라잡았습니다.
• 메모리 및 속도 효율성:
  • FASA-M: KV 캐시를 8 배 압축하여 메모리 사용량을 크게 줄였습니다.
  • FASA-C: 2.6 배의 추론 속도 향상을 달성했습니다.
• 강건성 (Robustness): 보정 데이터셋 (Calibration dataset) 이나 하이퍼파라미터 (K, Ntip) 에 민감하지 않으며, 다양한 모델 규모 (3B ~ 32B) 와 아키텍처에서 일관된 성능을 보였습니다.
• 상호 운용성: FASA 는 다른 KV 캐시 최적화 기법 (예: PyramidKV) 과 직교 (Orthogonal) 하여 결합 시 추가적인 성능 향상을 제공합니다.

5. 의의 및 결론 (Significance)

FASA 는 LLM 의 긴 문맥 처리를 위한 KV 캐시 병목 현상을 해결하는 획기적인 솔루션을 제시합니다.

• 비용 절감: 별도의 학습 비용 없이, RoPE 의 수학적 특성을 활용하여 토큰을 선별함으로써 메모리 대역폭과 계산 비용을 동시에 절감합니다.
• 실용성: 제한된 하드웨어 환경 (예: 소비자용 GPU) 에서도 고품질의 긴 문맥 추론을 가능하게 하여, 대규모 모델의 접근성을 높입니다.
• 이론적 기여: 어텐션 메커니즘 내부에서 "주파수"가 어떻게 기능적으로 분업화되는지에 대한 새로운 통찰을 제공하여, 향후 더 효율적인 어텐션 메커니즘 설계의 기초를 마련했습니다.

요약하자면, FASA 는 학습 없이 RoPE 의 주파수 특성을 이용해 핵심 토큰을 정밀하게 선별함으로써, 긴 문맥 처리에서 발생하는 메모리 및 계산 병목 현상을 해결하고 거의 손실 없는 성능을 달성하는 방법론입니다.