💬 NLP

WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs

이 논문은 어텐션 헤드를 앵커(anchor), 타이드(tidal), 픽스드(fixed) 역할로 분류하여 오디오 토큰의 20%만을 GPU에 유지하면서도 선택적 CPU-GPU 호출을 통해 전체 캐시에 근접한 정확도를 보존함으로써 효율적인 장문 음성 처리를 가능하게 하는 동적 KV 캐시 관리 전략인 WnW를 소개한다.

원저자: Yiming Yao, Chenyang Lyu, Xuanfan Ni, Longyue Wang, Weihua Luo, Yazheng Yang, Jinsong Su

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiming Yao, Chenyang Lyu, Xuanfan Ni, Longyue Wang, Weihua Luo, Yazheng Yang, Jinsong Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨터는 놀라울 정도로 잘 듣는 능력을 갖추게 되었습니다. 이들은 회의, 강의, 긴 대화, 또는 오디오북 전체와 같은 몇 시간 분량의 가공되지 않은 소리를 받아들여 이를 텍스트로 변환하거나 다른 언어로 번역할 수 있습니다. 이러한 능력은 오디오를 '토큰'이라 불리는 작고 빠른 스냅샷으로 나누어 처리하는 강력한 인공지능 모델에 기반합니다. 모델이 소리를 들을 때, 모델은 지금까지 들은 내용에 대한 일시적인 기억을 구축하며, 대화의 맥락을 이해하는 데 도움이 될 가장 중요한 세부 사항들을 저장합니다. 이 기억은 필수적입니다. 이 기억이 없다면, 모델은 문장의 끝에 도달할 때쯤 문장의 시작 부분을 잊어버릴 것입니다. 하지만 오디오가 길어질수록 이 기억 요구량은 급격히 증가하며, 결국 컴퓨터가 사용할 수 있는 공간을 압도하여 시스템이 충돌하거나 엉뚱한 결과물(gibberish)을 만들어내게 됩니다.

핵심적인 문제는 모델이 무엇을 기억할지 결정하는 방식이 대화가 진행됨에 따라 변한다는 점입니다. 모델이 긴 녹음 파일을 처음 들을 때는 시작 부분이 가장 중요한 단서를 담고 있다고 가정하며 초반부에 크게 집중하는 경서가 있습니다. 그러나 모델이 말을 하거나 번역을 시작하면, 그 주의력은 이동합니다. 모델은 현재의 순간을 이해하기 위해 시작 지점에서 멀리 떨어진 오디오의 다른 부분들을 바라보기 시작합니다. 기존의 방식들은 모델이 시작하기 전에 영구적인 결정을 내림으로써 메모리 문제를 해결하려 했습니다. 즉, 오디오의 앞부분을 살펴보고 중요하다고 생각되는 부분들을 골라낸 뒤 나머지는 영원히 버리는 방식이었습니다. 이 접근법은 짧은 클립에는 괜찮지만, 긴 녹음물에서는 종종 실패하는 도박이 됩니다. 모델은 나중에 필요하게 될 정보를 미리 버리게 되어, 오류를 일으키거나 작업을 완전히 끝내지 못하게 됩니다.

한 연구팀은 'WnW(Waxing-and-Waning, 밀물과 썰물)'라고 불리는 새로운 접근 방식을 개발했는데, 이는 기억을 정적인 목록이 아닌 역동적인 흐름으로 취급합니다. 모델이 말을 시작하기 전에 무엇을 유지할지에 대한 최종 결정을 내리는 대신, 이 새로운 방법은 시스템이 진행하면서 생각을 바꿀 수 있도록 허용합니다. 연구진은 모델의 뇌 모든 부분이 오디오를 기억하는 데 똑같이 중요한 것은 아니라는 사실을 발견했습니다. 어떤 부분은 소리 자체와 깊게 연결되어 정확도에 결정적인 역할을 하는 반면, 어떤 부분은 덜 민감합니다. 세밀한 보정 과정을 통해, 연구진은 모델의 내부 구성 요소들을 세 그룹으로 분류했습니다. '앵커(anchor)' 헤드라고 불리는 작은 그룹 하나는 완전히 활성화된 상태로 유지되며 가이드 역할을 수행하며, 현재 무엇이 중요한지를 보기 위해 끊임없이 오디오를 관찰합니다. 두 번째 그룹인 '타이달(tidal)' 헤드는 메인 컴퓨터 칩에 부분적인 기억을 유지하되, 나머지는 더 느린 보조 저장 장치에 저장합니다. 모델이 말을 할 때, 앵커 헤드가 현재 관련 있는 오디오의 부분을 신호로 보내면, 시스템은 보조 드라이브에서 해당 특정 덩어리들을 빠르게 가져와 더 이상 필요하지 않은 것들을 대체하기 위해 교체합니다. 세 번째 그룹인 '픽스드(fixed)' 헤드는 오디오의 아주 작은 조각만을 영구적으로 유지하며 나머지는 버리는데, 이는 이 부분의 모델이 전체 그림을 볼 필요가 없기 때문입니다.

이 전략은 긴 형태의 오디오 작업에서 게임 체인저가 되었습니다. 몇 분 동안 지속되는 녹음물로 테스트했을 때, 이 새로운 방식은 표준 컴퓨터 하드웨어에서도 원활하게 작동하도록 해주었으며, 빠른 주 메모리에 오디오 데이터의 약 20%만을 유지했습니다. 이러한 극적인 감소에도 불구하고, 모델의 정확도는 모든 데이터를 모두 유지하는 시스템과 거의 동일하게 나타났습니다. 반면, 시작 단계에서 영구적인 결정을 내렸던 기존 방식들은 동일한 조건에서 완전히 실패했으며, 종종 전사(transcription)를 끝내지 못하기도 했습니다. 연구진은 또한 프랑스어와 같은 다양한 언어와 영어에서 프랑스어로 말하기를 번역하는 것과 같은 다양한 작업에 대해서도 시스템을 테스트했는데, 결과는 똑같이 우수했습니다. 시스템은 각 상황에 맞춰 새로 학습(retraining)할 필요 없이 의료 상담과 다양한 억양을 처리할 수 있었습니다.

이 접근 방식의 성공은 그 유연성에 있습니다. 무엇을 유지할지에 대한 결정을 필요한 순간까지 미룸으로써, 시스템은 시작 단계에서 잘못 추측하는 함정을 피합니다. '타이달' 헤드는 마치 조수처럼 움직이며, 정보가 필요할 때 정확히 가져오고 더 이상 유용하지 않을 때 그것을 놓아줍니다. 이러한 움직임은 매우 빠르게 일어나므로 프로세스에 거의 지연을 주지 않아 실제 사용에 적합합니다. 이 연구 결과는 기계가 진정으로 긴 대화를 이해하기 위해서는, 이야기를 시작하기도 전에 영구적인 선택을 강요받는 것이 아니라 동적으로 기억하고 잊을 수 있어야 한다는 점을 시사합니다. 정적인 스냅샷에서 흐르는 기억으로의 이러한 전환은 일상적인 기기에서 신뢰할 수 있는 장문 음성 인식의 가능성을 여는 열쇠가 될 수 있습니다.

기술 요약: WnW (Waxing-and-Waning KV Cache) - 장문 음성 LLM을 위한 기술

1. 문제 정의

장문 오디오 입력은 음성 대규모 언어 모델(Speech LLM)의 추론 병목 지점을 모델 파라미터에서 키-값(Key-Value, KV) 캐시로 이동시켰습니다. 일반적인 오디오 토큰 생성 속도(12.5–25 tokens/sec)를 기준으로 할 때, 10분 길이의 클립은 7,500~~15,000개의 KV 포지션을 점유하며, 오디오가 전체 캐시의 70~~80%를 차지합니다. 기존의 텍스트 LLM용 KV 압축 방식(예: H2O, SnapKV, Ada-KV) 및 그 오디오 변형 방식(예: AudioKV)은 프리필 전용(prefill-only) 패러다임에 의존합니다. 즉, 추론 시작 시점에 한 번 포지션의 점수를 매기고 낮은 순위의 포지션을 영구적으로 삭제하는 방식입니다.

저자들은 이러한 패러다임을 장문 오디오에 적용할 때 발생하는 결정적인 구조적 결함을 식별했습니다: 프리필 어텐션과 디코드 간의 어텐션 불일치(prefill-decode attention mismatch).

프리필 어텐션(Prefill Attention): 오디오의 시작 부분에 강하게 집중되는 경향이 있으며(이른바 "어텐션 싱크" 효과), 이로 인해 입력의 나머지 대부분을 무시하는 경우가 많습니다.
디코드 타임 어텐션(Decode-Time Attention): 모델이 텍스트를 생성함에 따라 시간적 진행을 반영하여 전체 클립에 걸쳐 광범서하게 분포됩니다.
결과: 프리필 어텐션에 의해 선택된 포지션과 실제 디코딩 중에 쿼리되는 포지션 사이의 중첩(Jaccard overlap $\approx$ 0.187 for top-100 positions)은 매우 낮습니다. 결과적으로, 프리필 점수를 기반으로 포지션을 영구적으로 제거하는 방식은 생성을 종료하지 못하거나, 엄격한 메모리 예산 하에서 100%를 초과하는 단어 오류율(WER)을 발생시킵니다.

2. 방법론: WnW (Waxing-and-Waning KV Cache)

WnW는 디코드 시점으로 데이터 유지 결정을 미루고, CPU 메모리로부터 제거된 포지션을 다시 불러오는 메커니즘을 도입함으로써 이 불일치를 해결합니다. 이 방법은 **오프라인 헤드 트리아지(Offline Head Triage)**와 **온라인 리콜 가능 청크 스왑(Online Recallable Chunk Swap)**이라는 두 가지 조정된 메커니즘을 통해 작동합니다.

2.1 오프라인 헤드 트리아지 (Offline Head Triage)

저자들은 두 가지 지표를 사용한 오프라인 캘리브레이션을 통해 KV 헤드를 세 가지 기능적 역할로 분류합니다:

보이스 스코어 (Voice Score, VS): 헤드의 어텐션이 오디오 콘텐츠에 얼마나 강력하게 근거하고 있는지를 측정합니다 (정답 토큰의 단어 정렬된 시간 범위 내에서의 어텐션 히트 비율).
헤드 민감도 (Head Sensitivity, HS): 헤드의 오디오 키 벡터에 대한 정답 토큰 손실(loss)의 그래디언트 $\ell_2$ -노름을 측정하는 그래디언트 기반 지표입니다.

$VS \times HS$ 의 곱을 바탕으로 헤드는 다음과 같이 할당됩니다:

앵커 헤드 (Anchor Heads, 상위 5개): 가장 오디오에 근거하고 손실에 결정적인 헤드들입니다. 이들은 오디오 KV의 **100%**를 GPU에 유지합니다. 이들은 "디코드 타임 중요도 관찰자" 역할을 수행하며, 어떤 오디오 청크가 현재 유효한지에 대한 신뢰할 수 있는 신호를 제공합니다.
타이달 헤드 (Tidal Heads): 중요도는 높지만 모든 KV를 GPU에 유지할 만큼 결정적이지는 않은 헤드들입니다. 이들은 KV의 일부를 GPU에 유지하고, 나머지는 CPU 상주 메모리로 오프로드합니다. 이들은 앵커 헤드의 신호에 따라 청크를 동적으로 스왑(swap)합니다.
픽스드 헤드 (Fixed Heads): 안정적인 어텐션 패턴을 보이거나 손실 민감도가 낮은 헤드들입니다. 이들은 프리필 시점의 정적인 top- $k$ 서브셋만을 GPU에 유지하며, 나머지는 리콜 경로 없이 영구적으로 폐기됩니다.

2.2 온라인 리콜 가능 청크 스왑 (Online Recallable Chunk Swap)

디코딩 중에 시스템은 GPU와 CPU 사이에서 데이터의 "Waxing-and-Waning(증가와 감소)"을 관리합니다:

스코어 집계 (Score Aggregation): 각 디코드 단계에서, 앵커 헤드의 어텐션 가중치를 집계하여 포지션별 중요도 점수를 생성합니다.
청크 선택 (Chunk Selection): 오디오 포지션들을 중첩되는 청크(예: 4초 윈도우)로 분할합니다. 집계된 앵커 스코어를 기준으로 상위- $k$ 청크를 식별합니다.
동적 스왑 (Dynamic Swap):
- 리콜 (Recall): 타이달 헤드의 경우, 선택된 청크에 속해 있지만 현재 CPU에 있는 세그먼트를 GPU로 가져옵니다.
- 제거 (Eviction): GPU에 존재하지만 $\delta$ 번의 연속된 단계(예: 3단계) 동안 선택되지 않은 세그먼트는 CPU로 방출됩니다 (단, CPU 복사본은 유지됩니다).
- 이를 통해 시스템은 실제 어텐션 패턴이 나타나는 동안 초기 프리필 실수를 바로잡을 수 있습니다.

3. 주요 기여

불일치의 정량화: 본 논문은 프리필 어텐션이 장문 오디오에서 디코드 타임 어텐션을 예측하기에 부적절한 프록시라는 점을 실증적 증거로 제시하며, 회복 경로가 없는 모든 압축 방식은 구조적으로 제한된다는 것을 입증했습니다.
WnW 아키텍처: 오디오 근거성과 그래디언트 민감도에 의해 구동되는 3단계 헤드 트리아지(Anchor/Tidal/Fixed)와, 오디오의 시간적 구조에 정렬된 디코드 타임 리콜 신호를 결려한 설계입니다.
성능 및 효율성: WnW는 오디오 토큰의 20%만 GPU에 유지하면서도 풀 캐시(Full-cache) 수준의 정확도를 달-성하며, 이는 프리필 전용 베이스라인들이 실패하는 영역입니다. 또한 최소한의 CPU-GPU 리콜 오버헤드로 다양한 언어, 작업 및 도메인에 걸쳐 일반화됩니다.

4. 실험 결과

방법론은 LibriSpeech-Long (영어 ASR), LongSpeech (다국어 ASR 및 번역), 그리고 PriMock57 (의료 도메인)에서 두 가지 3B 파라미터 백본인 Voxtral-mini-3b와 Qwen2.5-Omni-3B를 사용하여 평가되었습니다.

정확도: $r_{GPU} = 0.2$ (20% 유지) 조건의 LibariSpeech-Long에서, WnW는 Full Cache 베이스라인과 약 $\sim$ 1.6 포인트 차이 이내의 WER을 유지합니다. 반면, 프리필 전용 베이스라인(Ada-KV, AudioKV)은 생성을 완료하지 못하고 WER 100% 이상을 기록합니다.
일반화: WnW는 프랑스어 ASR, 영어-프랑스어 번역, 의료 대화로 효과적으로 전이되며, 베이스라인들이 붕괴되는 상황에서도 견고한 성능을 유지합니다.
효율성: CPU-to-GPU 리콜 오버헤드는 무시할 만한 수준입니다. 최대 195개의 타이달 헤드를 사용할 때, 중간 디코드 시간 증가량은 5% 미만이며, 데이터 전송량은 낮은 수준( $\le$ 1.04 MB/step)을 유지합니다.
절제 연구 (Ablation):
- 타이달 헤드의 수를 늘리면 공격적인 압축( $r_{GPU}=0.1$ ) 환경에서 성능이 크게 향상됩니다.
- 보이스 스코어와 헤드 민감도( $VS \times HS$ )를 결합하는 것이 각각을 단독으로 사용하는 것보다 우수합니다.
- 디코딩 시작 전 균일한 시간적 커버리지를 보장하기 위해 세그먼트별 프리필 선택이 필수적입니다.

5. 의의 및 주장

본 논문은 WnW가 오디오 LLM을 위해 특별히 설계된 최초의 리콜 가능하며 디코드 중심적인 KV 관리 시스템이라고 주장합니다. 그 의의는 다음과 같습니다:

구조적 한계 해결: 프리필 어텐션이 오디오의 장기적 디코드 요구를 예측할 수 없음을 인정함으로써, WnW는 버려진 정보를 동적으로 복구하는 메커니즘을 도입했습니다.
실제적 배포 가능성: 현실적인 메모리 제약 조건(예: 10분 길이의 클립을 단일 GPU에 적재) 하에서도 번역 품질을 희생하지 않고 장문 음성 LLM을 배포할 수 있게 합니다.
도메인 적응성: 모달리티에 무관한 쿼리 유사성이 아닌, 시간적 정렬과 헤드별 민감도에 기반한 방식 덕분에 재학습 없이도 다양한 언어와 작업에 걸쳐 강력한 성능을 발휘합니다.

저자들은 CPU-GPU 트래픽의 단순한 스케줄링(CUDA 스트림으로 최적화 가능) 및 현재 스트리밍 인식보다는 오프라인 디코딩에 집중하고 있다는 한계점을 언급했습니다. 그러나 핵심 메커니즘이 길이에 의존하는 오디오 KV 캐시를 유지하는 아키텍처에 대해 이론적 근거가 충분하다고 주장합니다.