💬 NLP

Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs

본 논문은 빠르고 희소한 모델이 토큰을 추측적으로 디코딩하고 느리고 밀집된 모델이 이를 병렬로 검증하는 협력 메커니즘을 활용하여 성능 저하 없이 대규모 언어 모델의 비디오 이해 속도를 최대 1.94 $\times$ 까지 가속화하는 튜닝이 필요 없는 플러그 앤 플레이 디코딩 전략인 Sparse-to-Dense(StD)를 소개합니다.

원저자: Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 긴 영화(동영상) 를 보고 그 내용에 대한 질문에 답하기 위해 초지능 AI 어시스턴트를 사용한다고 상상해 보세요. 문제는 이 어시스턴트가 매우 꼼꼼하지만 동시에 매우 느리다는 점입니다. 새로운 단어를 하나 말할 때마다, 아무것도 놓치지 않았는지 확인하기 위해 영화 대본 전체를 처음부터 다시 읽어야 합니다. 영화가 1 시간 분량이라면 대본은 방대해지고, 어시스턴트는 막혀서 답을 내는 데 영원히 걸리게 됩니다.

이 논문은 이 어시스턴트를 똑똑함은 그대로 유지하면서 더 빠르게 만들기 위한 **희소 - 밀집 (Sparse-to-Dense, STD)**이라는 교묘한 트릭을 소개합니다. 몇 가지 일상적인 비유를 통해 그 작동 원리를 설명해 보겠습니다.

문제: "너무 준비된" 학생

AI 를 시험을 보는 학생이라고 생각해 보세요. 현재는 그들이 쓰는 단어 하나하나마다 전체 교과서 (동영상 데이터) 를 꺼내어 다음에 올 내용을 결정하기 위해 모든 페이지를 한 장 한 장 읽습니다. 이는 정확하지만, 지치고 느립니다.

통찰: "지금 당장 책의 대부분은 중요하지 않다"

연구자들은 흥미로운 점을 발견했습니다. AI 가 글을 쓸 때, 실제로 매번 책 전체를 읽을 필요가 없다는 것입니다. 그들은 주로 현재 생각과 관련된 몇 페이지나 문장에만 집중합니다. 이메일을 작성할 때를 생각해 보세요. 다음에 무엇을 쓸지 결정하기 위해 자신의 인생 전체를 다시 읽을 필요는 없습니다. 단지 방금 쓴 몇 문장만 기억하면 됩니다.

해결책: "초안 작성과 검증" 팀

저자들은 속도를 높이기 위해 두 사람으로 구성된 팀을 만들었습니다.

빠른 초안 작성자 (희소 모델):
빠르고 에너지 넘치는 인턴을 상상해 보세요. 이 인턴은 교과서의 가장 중요한 페이지들 (상위 K 개 페이지) 만 볼 수 있습니다. 지루하고 관련 없는 부분을 무시하기 때문에, 추측 토큰 (speculative tokens) 으로 이루어진 전체 단락을 매우 빠르게 작성할 수 있습니다.
- 단점: 페이지를 건너뛰기 때문에 몇 가지 실수를 할 수 있습니다.
꼼꼼한 편집자 (밀집 모델):
이는 원래의 초지능 AI 입니다. 이 편집자는 전체 교과서를 읽습니다. 하지만 한 번에 한 단어씩 쓰는 대신, 사실 확인자 역할을 합니다. 인턴이 작성한 전체 단락의 추측을 한 번에 살펴봅니다.
- 인턴이 단어를 올바르게 작성했다면, 편집자는 "좋아, 그대로 두자!"라고 말하고 넘어갑니다.
- 인턴이 실수를 했다면, 편집자가 그것을 수정하고 인턴의 추측을 그 지점에서 멈춥니다.
- 핵심적으로, 편집자는 보통 한 단어만 확인하는 시간 동안 많은 단어를 확인할 수 있습니다.

결과: "공짜 점심"

이 논문은 이를 "공짜 점심"이라고 부릅니다. 정확도를 잃지 않으면서 (최대 1.94 배까지) 속도가 획기적으로 빨라지기 때문입니다.

학습 불필요: AI 에게 새로운 것을 가르치거나 별도의 작은 AI 모델을 만들 필요가 없었습니다. 기존 AI 가 기억을 읽는 방식만 변경했을 뿐입니다.
플러그 앤 플레이: 표준 엔진을 같은 차에 바로 장착할 수 있는 터보차저 엔진으로 교체하는 것과 같습니다. 차를 다시 만들 필요 없이 스위치만 돌리면 됩니다.

이것이 동영상에 중요한 이유

동영상은 매우 큽니다. 1 시간 분량의 동영상은 AI 가 처리해야 할 140,000 개 이상의 "단어"(토큰) 로 변환될 수 있습니다.

구식 방식: AI 는 생성하는 새로운 단어 하나하나마다 140,000 개의 모든 단어를 읽습니다.
신식 방식 (STD): 인턴은 상위 1,000 개의 가장 중요한 단어만 살펴봄으로써 한 번에 9 개의 단어를 초안으로 작성합니다. 그런 다음 편집자가 그 9 개의 단어를 전체 140,000 개 단어와 비교하여 빠르게 확인합니다.

인턴은 보통 맞습니다 (개별 단어 기준 약 95%). 따라서 팀은 동영상을 훨씬 빠르게 처리할 수 있지만, 최종 답변은 느리고 꼼꼼한 AI 가 혼자 했을 때와 정확히 동일합니다.

한계

이 논문은 하나의 물리적 제약을 지적합니다. "교과서"(동영상 데이터) 는 여전히 컴퓨터의 빠른 메모리 (GPU) 에 들어 있어야 합니다. 동영상이 너무 길다면, 배낭이 너무 무거워져서 들고 다니기 어려워지듯 메모리가 가득 찰 수 있습니다. 저자들은 미래에 더 긴 동영상을 처리하기 위해 "책"의 일부를 더 느리지만 용량이 큰 하드 드라이브 (CPU 메모리) 에 저장해야 할 수도 있다고 제안합니다.

간단히 말해: 그들은 AI 가 다음 내용을 추측하기 위해 동영상을 "스캔"하고, 그 추측을 즉시 "재확인"할 수 있는 방법을 찾았습니다. 이는 AI 의 지능을 변경하지 않고도 동영상 이해 속도를 거의 두 배로 높여줍니다.

기술 요약: 비디오-LLM 가속화를 위한 희소-밀집 (STD)

문제 제기
비디오 대규모 언어 모델 (Video-LLM) 은 긴 비디오 시퀀스를 처리할 때 상당한 추론 지연에 직면합니다. 이는 주로 각 새로운 토큰이 모든 선행 토큰에 주의를 기울여야 하는 자기회귀적 (auto-regressive) 디코딩 메커니즘 때문입니다. 비디오 시퀀스는 극도로 긴 토큰 스트림으로 표현되기 때문에 (예: 1 시간짜리 비디오는 14 만 개 이상의 시각 토큰을 생성할 수 있음), 관련 키 - 값 (KV) 캐시가 급격히 증가하여 무거운 메모리 대역폭 요구를 초래하고 처리량을 저하시킵니다. KV 캐시 압축이나 양자화와 같은 기존 솔루션이 존재하지만, 이들은 종종 훈련과 추론 간의 불일치를 초래하여 모델 성능을 저하시킵니다. 또한, 표준 예측적 디코딩 (speculative decoding) 방법은 일반적으로 추가적인 "초안 (draft)" 모델을 필요로 하는데, 이는 계산 비용이 많이 들고 대규모 비디오-LLM 에서는 실용적이지 않습니다.

방법론: 희소 - 밀집 (STD)
저자들은 비디오-LLM 의 고유한 주석 희소성 (attention sparsity) 을 활용하여 손실 없는 가속을 달성하는 플러그 - 앤 - 플레이 방식의 훈련 불필요 디코딩 전략인 **희소 - 밀집 (Sparse-to-Dense, STD)**을 제안합니다. 이 방법은 아키텍처 변경이나 미세 조정 없이 작동합니다.

핵심 관찰: 저자들은 디코딩 중 비디오-LLM 의 주석 점수 (attention scores) 가 매우 희소하다는 것을 관찰합니다. Qwen2-VL-7B 와 같은 모델에 대한 실증적 분석에 따르면, 상위- $K$ 개의 KV 캐시만 유지해도 약 95% 의 토큰에 대해 원래 토큰 예측 정확도를 유지할 수 있습니다. 이는 대부분의 주석 헤드가 최종 출력에 거의 기여하지 않으며, 모든 단계에서 전체 KV 캐시가 엄격하게 필요하지 않음을 시사합니다.
이중 모듈 아키텍처: STD 는 동일한 모델 파라미터의 두 가지 다른 모드를 활용합니다.
- 희소 모델 ( $M_s$ ): 이는 초안 모델 (draft model) 로 작용합니다. 텍스트 토큰에서 시각 토큰으로 향하는 주석 가중치에 기반하여 가장 관련성 높은 KV 캐시만 선택하는 **상위- $K$ 주석 (top- $K$ attention)**을 사용합니다. 이는 초안 작성 단계 동안 I/O 오버헤드를 극적으로 줄입니다.
- 밀집 모델 ( $M$ ): 이는 검증자 (verifier) 로 작용합니다. 희소 모델이 제안한 토큰을 검증하기 위해 전체 KV 캐시(표준 주석) 를 사용합니다.
디코딩 절차:
- 입력 시퀀스가 주어지면, 희소 모델 $M_s$ 가 $\gamma$ 개의 예측 토큰을 자기회귀적으로 생성합니다.
- 밀집 모델 $M$ 은 전체 KV 캐시에 대한 단일 I/O 작업을 사용하여 이러한 $\gamma$ 개의 토큰을 병렬로 검증합니다.
- 검증은 밀집 모델의 예측과 일치하는 토큰의 가장 긴 접두사 ( $n$ 개 토큰) 를 식별하고 추가적인 "보너스" 토큰 하나를 수락합니다.
- 수락된 시퀀스는 다음 반복을 위한 컨텍스트에 추가됩니다.
KV 캐시 선택: 효율성을 최적화하기 위해 상위- $K$ 개의 시각 KV 캐시 선택은 텍스트 토큰에서 시각 토큰으로 향하는 평균 주석 점수에 기반하여 프리필링 (prefilling) 단계에서 수행됩니다. 이는 디코딩 단계 동안 동적이고 계산 집약적인 선택을 피합니다. 선택은 세분화되어 레이어와 주석 헤드를 따라 달라집니다.

주요 기여

손실 없는 가속: STD 는 출력 분포를 변경하거나 모델 재훈련을 요구하지 않고 추론을 가속화함으로써 "공짜 점심 (free lunch)"을 제공합니다.
추가 초안 모델 불필요: 전통적인 예측적 디코딩과 달리 STD 는 주석 메커니즘을 밀집에서 희소로 전환함으로써 대상 모델 자체를 초안 작성자로 사용하며, 별도의 초안 모델을 저장하기 위한 추가 GPU 메모리 필요성을 제거합니다.
플러그 - 앤 - 플레이 구현: 이 방법은 표준 비디오-LLM 을 희소 대응 모델로 변환하기 위해 약 20 줄 정도의 소소한 코드 수정만 필요합니다.
이론적 효율성: 저자들은 수용률 ( $\alpha$ ) 이 유지된 KV 쌍의 비율에 비해 충분히 높다면, 토큰당 평균 I/O 가 일반 디코딩보다 현저히 낮음을 보여주는 I/O 복잡성 분석을 제공합니다.

실험 결과
이 방법은 MLVU 및 VideoMME 벤치마크 (짧은, 중간, 긴 비디오 포함) 를 사용하여 최첨단 비디오-LLM (LLaVA-OneVision-7B 및 Qwen2-VL-7B-Instruct) 에서 평가되었습니다.

가속: STD 는 Qwen2-VL-7B 에서 최대 1.94 배의 월 시간 (wall-time) 가속을 달성했으며, LLaVA-OneVision-7B 에서는 1.72 배를 달성했습니다.
정확도: 이 방법은 손실 없이, 모든 벤치마크에서 원래 밀집 모델과 동일한 정확도를 유지합니다.
비교: STD 는 분포 이동과 낮은 수용률로 고통받은 LayerSkip 및 스트리밍 주석을 사용하는 Streaming과 같은 베이스라인보다 성능이 뛰어났습니다. 예를 들어, Qwen2-VL 에서 STD 는 1.61 배의 가속을 보인 Streaming 과 비교하여 1.94 배의 가속을 달성했으며, 더 높은 수용률을 보였습니다.
하이퍼파라미터: 제거 분석 (ablation studies) 은 초안 길이 ( $\gamma$ ) 를 증가시키는 것이 일정 수준 (약 $\gamma=9$ ) 까지 가속을 개선하지만, 그 이상에서는 연속된 정확한 예측 확률이 감소함을 나타냈습니다. 마찬가지로, 최적의 $K$ 값은 희소 모델의 속도와 초안의 정확도 사이의 균형을 맞춥니다.

의의 및 주장
이 논문은 STD 가 LLM 에서 효율적인 긴 비디오 처리를 위한 실용적이고 즉각적인 해결책을 제공한다고 주장합니다. 주석 희소성의 구조적 특성을 활용함으로써, 정확도를 희생하지 않고 표준 비디오-LLM 을 효율적인 시스템으로 원활하게 변환할 수 있습니다. 저자들은 이 접근 방식이 이전에 높은 추론 지연으로 인해 제약받았던 긴 비디오 시퀀스 (예: 1 시간짜리 비디오) 에 대한 효율적인 처리를 가능하게 한다고 강조하며, 이는 추가적인 훈련이나 아키텍처 변경 없이 이루어진다고 덧붙입니다. 저자들은 현재 접근 방식은 모든 KV 캐시를 GPU 메모리 (HBM) 에 저장하지만, 향후 작업은 더 큰 모델의 용량 병목 현상을 해결하기 위해 CPU 메모리로 오프로딩하는 것을 탐구할 수 있다고 지적합니다.