A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA

이 논문은 FPGA 의 온칩 메모리에 GDN 의 재귀 상태를 영구적으로 유지하여 메모리 병목 현상을 해결하고, 데이터 흐름 파이프라이닝을 통해 GPU 대비 4.5 배 빠른 속도와 60 배 이상의 에너지 효율을 달성하는 선형 어텐션 디코딩 가속기를 제안합니다.

핵심

🎬 비유: "거대한 도서관의 사서 vs. 기억력 좋은 사서"

1. 문제 상황: "매번 도서관을 왔다 갔다 하는 사서"

지금까지 AI 가 말을 할 때 (단어를 하나씩 생성할 때), 컴퓨터는 마치 매번 도서관 전체를 뒤져야 하는 사서처럼 행동했습니다.

• 기존 방식 (GPU): AI 가 "사과"라는 단어를 말하려면, 이전에 말한 모든 단어들 (문맥) 을 기억해야 합니다. 하지만 기존 컴퓨터 (GPU) 는 이 기억을 매번 **메모리 (HBM)**에서 꺼내서 계산하고, 다시 메모리에 넣는 과정을 반복합니다.
• 비유: 사서가 "다음 단어가 뭐지?"라고 생각할 때마다, 책상 위에 있는 작은 메모지 (현재 상태) 를 버리고, **거대한 도서관 (메모리)**으로 뛰어가서 모든 책을 다시 펼쳐보아야 합니다.
• 결과: 계산 자체는 매우 빠르지만, **책을 가져오는 시간 (데이터 이동)**이 너무 길어서 전체 속도가 느려집니다. 전기도 많이 먹고요.

2. 새로운 모델 (GDN): "기억력이 좋은 사서"

최근 등장한 **Gated DeltaNet (GDN)**이라는 새로운 AI 모델은 이 문제를 해결했습니다.

• 변화: 이 모델은 거대한 도서관을 뒤질 필요가 없습니다. 대신 작은 메모지 (고정된 상태) 하나만 가지고 있으면 됩니다. 문맥이 길어져도 이 메모지의 크기는 변하지 않습니다.
• 문제: 그런데 이 메모지를 GPU 에서는 여전히 매번 도서관 (메모리) 에서 가져와야 하니까, 여전히 "책 가져오기"에 시간이 걸리는 문제가 남았습니다.

3. 이 논문의 해결책: "메모지를 책상에 영구적으로 붙여두기"

이 논문은 FPGA(사용자가 직접 설계할 수 있는 특수한 컴퓨터 칩)를 이용해 이 문제를 완전히 해결했습니다.

• 핵심 아이디어: "그 작은 메모지 (2MB 크기) 가 왜 매번 도서관으로 갔다 올 필요가 있지? 사서 책상 (칩 내부) 에 영구적으로 붙여두자!"
• 비유:
  • 기존 방식: 사서가 책상에서 일할 때마다 도서관으로 뛰어가서 책을 가져와야 함 (지치고 느림).
  • 이 논문 방식: 사서 책상 위에 필요한 모든 책 (기억) 을 상자에 담아 두고, 사서가 일할 때 바로 그 책상에서 꺼내서 씁니다. 도서관으로 뛰어가야 할 필요가 완전히 사라진 것입니다.

4. 어떻게 속도를 냈을까요? (5 단계 파이프라인)

단순히 책을 책상에 두는 것뿐만 아니라, 사서의 작업 방식을 효율적으로 바꿨습니다.

• 기존: 책을 꺼내서 (읽기) → 계산해서 (수정) → 다시 책에 넣기 (쓰기) → 다시 꺼내서 (읽기) → 결과 내기. (3 번 이동)
• 이 논문: 책을 꺼내는 동시에 계산을 하고, 수정된 내용을 바로 다시 쓰는 식으로 한 번에 처리하도록 공정을 재설계했습니다.
  • 마치 요리사가 재료를 꺼내면서 동시에 자르고, 볶고, 접시에 담는 것처럼 한 번에 끝내는 방식입니다.

---

🏆 결과: 얼마나 빨라졌나요?

이 새로운 방식 (FPGA 가속기) 을 적용한 결과는 놀라웠습니다.

1. 속도: 기존 최고의 컴퓨터 (NVIDIA H100 GPU) 보다 약 4.5 배 더 빠릅니다.
   • 비유: GPU 가 1 초에 1 단어를 말한다면, 이 칩은 0.2 초 만에 1 단어를 말합니다.
2. 전기 효율: 60 배나 전기를 아낍니다.
   • 비유: GPU 는 거대한 공장 (전력 350W) 을 가동해야 1 단어를 만들지만, 이 칩은 작은 노트북 어댑터 (전력 10W 미만) 로 같은 일을 합니다.
3. 실제 적용: 이 칩은 AMD 의 'Alveo U55C'라는 실제 칩에서 작동하며, 10 와트 미만의 전력으로 초당 63 마이크로초 (0.000063 초) 만에 단어를 만들어냅니다.

💡 요약

이 논문은 **"AI 가 단어를 만들 때, 불필요하게 메모리 (도서관) 를 왔다 갔다 하는 낭비를 없애고, 필요한 기억을 칩 내부에 영구적으로 저장해서 처리하는 새로운 방법"**을 제시했습니다.

이는 앞으로 더 작고, 더 빠르고, 전기를 덜 먹는 AI 칩을 만드는 데 큰 발걸음이 될 것입니다. 마치 거대한 도서관을 없애고, 사서 책상 위에 모든 지식을 상자로 쌓아둔 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 차세대 대규모 언어 모델 (LLM) 인 Qwen3-Next 와 같은 하이브리드 아키텍처는 기존 Softmax Attention 대신 Gated DeltaNet (GDN) 과 같은 선형 어텐션 메커니즘을 대폭 도입하여 (예: 3:1 비율) 추론 비용을 절감하고 있습니다. GDN 은 KV 캐시 대신 고정 크기의 재귀 상태 (Recurrent State) 를 사용하여 메모리 복잡도를 $O(n)$에서 $O(1)$로 낮춥니다.
• 핵심 병목 현상: 하지만 배치 크기 1 (Batch-1) 환경에서 GDN 디코드 (Decode) 단계는 GPU 에서 메모리 병목 (Memory-bound) 현상에 시달립니다.
  • 각 토큰 생성 시마다 전체 재귀 상태 (약 2MB) 를 HBM(고대역폭 메모리) 에서 읽었다가 다시 쓰는 과정이 반복됩니다.
  • 연산 밀도 (Arithmetic Intensity) 가 1 FLOP/Byte 미만 (약 0.87) 으로 매우 낮아, GPU 의 계산 능력보다 메모리 대역폭이 성능을 제한합니다.
• 기존 한계: 소프트웨어 최적화만으로는 HBM 의 왕복 (Round-trip) 이라는 근본적인 물리적 한계를 극복할 수 없습니다.

2. 방법론 (Methodology)

저자들은 FPGA 의 온칩 메모리 (BRAM) 를 활용하여 상태 데이터를 영구적으로 유지하는 아키텍처를 제안합니다.

• 지속적 온칩 상태 (Persistent On-Chip State):
  • GDN 의 전체 상태 (32 개의 $128 \times 128$ 행렬, 총 2MB) 를 FPGA 의 BRAM 에 상주시킵니다.
  • 이를 통해 매 토큰마다 외부 메모리 (HBM) 와의 데이터 왕복을 완전히 제거하여 작업을 메모리 병목에서 계산 병목 (Compute-bound) 으로 전환합니다.
• 퓨전된 5 단계 파이프라인 (Fused Five-Phase Pipelined Datapath):
  • 기존 GDN 알고리즘은 상태 행렬을 3 번 읽어야 하지만, 저자들은 대수적 재구성을 통해 이를 2 번 (읽기 1 회, 쓰기 1 회) 으로 줄였습니다.
  • 수식 최적화: 출력 계산 시 업데이트된 상태를 다시 읽지 않고, 부분 출력과 델타 보정 항을 결합하여 한 번의 읽기 패스로 연산을 수행합니다.
• 그룹드 밸류 어텐션 (GVA) 기반 병렬 처리:
  • Qwen3-Next 의 2:1 GVA 구조 (쿼리/키 쌍이 2 개의 밸류 헤드를 공유) 를 활용합니다.
  • 쿼리와 키 벡터를 공유하면서 각 밸류 헤드의 상태 행렬을 독립적으로 처리하여, 헤더당 연산량을 늘리지 않고도 병렬성을 극대화합니다.
• 데이터플로우 파이프라이닝:
  • 준비 (Prepare), 계산 (Compute), 저장 (Store) 단계를 오버랩하여 실행합니다.
  • 다음 토큰의 입력 준비와 현재 토큰의 계산을 동시에 수행하여 지연 시간을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 GDN 디코드 FPGA 가속기: 2MB 의 재귀 상태를 온칩 BRAM 에 영구적으로 보관하여 배치 1 환경에서의 GPU 성능 한계를 극복한 최초의 가속기를 제안했습니다.
2. 알고리즘적 재구성을 통한 상태 접근 비용 절감: 상태 행렬에 대한 읽기/쓰기 패스를 3 회에서 1 회씩 줄여 (총 2 회), 상태 접근 비용을 1.46 배 개선했습니다.
3. GVA 구조 활용: 쿼리/키 경로를 공유하는 밸류 헤드의 특성을 활용하여 파이프라인 간격 (Pipeline Interval) 을 늘리지 않고 헤더 수준의 병렬성을 확장했습니다.
4. 실제 하드웨어 검증: AMD Alveo U55C FPGA 를 사용하여 다양한 설계 포인트 ($H_{iter}=2, 4, 8, 16$) 를 평가하고 최적 구성을 도출했습니다.

4. 실험 결과 (Results)

• 실험 환경: AMD Alveo U55C FPGA (300 MHz 목표) vs NVIDIA H100 PCIe GPU.
• 지연 시간 (Latency):
  • 최적 구성 ($H_{iter}=8$) 에서 토큰당 63.2 $\mu$s를 달성했습니다.
  • 이는 H100 GPU 기준 (285 $\mu$s) 대비 4.5 배 빠른 속도입니다.
  • $H_{iter}=16$의 경우 파이프라인 간격 팽창으로 인해 오히려 성능이 저하되었습니다.
• 에너지 효율 (Energy Efficiency):
  • 온칩 전력 소모는 약 9.96 W에 불과했습니다.
  • 토큰당 에너지 효율은 GPU 대비 최대 60 배 이상 개선되었습니다 (GPU: 99.8 mJ/토큰 vs FPGA: 1.61 mJ/토큰).
• 자원 활용도:
  • 최적 구성 ($H_{iter}=8$) 에서 BRAM, DSP, FF, LUT 등 모든 자원의 활용도가 25% 이하로 유지되어 확장성이 입증되었습니다.

5. 의의 및 결론 (Significance)

• 아키텍처적 통찰: 선형 어텐션 모델의 성능 병목이 알고리즘이 아닌 아키텍처 (메모리 접근) 에 있음을 증명하고, FPGA 의 온칩 메모리 특성을 활용하여 이를 해결할 수 있음을 보였습니다.
• 실용적 가치: 저전력 (10W 미만) 으로 고성능 LLM 추론이 가능해져, 에지 디바이스나 데이터센터 내 에너지 효율적인 하이브리드 LLM 배포에 중요한 기여를 합니다.
• 미래 전망: 이 연구는 GDN 의 프리필 (Prefill) 단계 지원, 정밀도 양자화, 희소 MoE 라우팅 등으로 확장하여 단일 FPGA 에서 대규모 하이브리드 LLM 추론을 가능하게 하는 기반을 마련했습니다.

요약하자면, 이 논문은 FPGA 의 온칩 메모리 지속성과 알고리즘 최적화를 결합하여, 메모리 병목에 시달리던 차세대 LLM(GDN) 의 디코드 단계를 GPU 대비 4.5 배 빠르고 60 배 더 효율적으로 실행하는 혁신적인 가속기를 제시했습니다.