기술 요약: APB-V

문제 정의

대규모 멀티모달 모델(LMM)에서 긴 영상 추론의 효율성은 여전히 중요한 병목 구간입니다. 영상의 길이가 길어질수록 프레임 수가 증가하며, 이는 시각 인코더의 배치 크기를 키우고 생성되는 시각 임베딩의 수를 크게 늘립니다. LLM 백본의 어텐션 레이어는 입력 길이에 대해 이차 복잡도($O(n^2)$)를 나타내기 때문에, 이러한 추가적인 임베딩들은 입력 시퀀스를 급격히 확장시켜 추론 속도를 늦추고 계산 비용을 증가시킵니다.

기존 솔루션은 일반적으로 다음 두 가지 범주로 나뉘며, 두 방식 모두 한계가 있습니다:

1. 내재적 어텐션 최적화(Intrinsic Attention Optimization): LLM 내의 어텐션 메커니즘을 최적화하거나 KV 캐시 크기를 줄이는 방법입니다. 이 방식은 시각 인코더와 피드포워드 네트워크(FFN)의 계산 비용 문제를 해결하지 못합니다.
2. 명시적 입력 감소(Explicit Input Reduction): 토큰 프루닝(pruning)이나 풀링(pooling)을 통해 시각 임베딩을 압축하는 방법입니다. 시퀀스 길이를 줄이는 데는 효과적이지만, 이러한 접근 방식은 종종 미세한 영상 디테일을 희생시켜 상당한 성능 저하(예: 일부 사례에서 약 25%의 정확도 하락)를 초래하며, 품질을 저해하지 않고는 만족스러운 효율성 이득을 얻지 못합니다.

단일 GPU 방식은 효율성과 성능 사이의 트레이드오프를 극복하기 어려우며, 따라서 여러 GPU를 활용하면서도 이차 복잡도를 억제할 수 있는 스케일링 차원이 필요합니다.

방법론: APB-V

저자들은 여러 GPU(호스트)에 걸쳐 긴 영상 추론을 가속화하기 위해 설계된 시퀀스 병렬성 인지 근사 어텐션(sequence-parallelism-aware approximate attention) 프레임워크인 APB-V를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합합니다:

1. 프레임워크 설계

• 프레임 병렬성(Frame Parallelism): LONGVILA에서 영감을 받아, 시각 인코더가 비디오 프레임을 독립적으로 처리합니다. APB-V는 높은 계산 집약도를 처리하기 위해 이러한 프레임들을 여러 호스트에 분산시킵니다.
• 컨텍스트 분할 및 지그재그 배치(Context Splitting & ZigZag Arrangement): 입력 임베딩은 앵커 블록(Anchor Block, $B_a$), 쿼리 블록(Query Block, $B_{qr}$), 그리고 **컨텍스트 블록(Context Blocks, $B^{(h)}$)**으로 분할됩니다. 초기 토큰이 후기 토큰보다 더 많은 컨텍스트를 참조하여 불균형이 발생하는 디코더 전용 모델의 특성을 해결하기 위해, APB-V는 **지그재그 스타일의 배치(ZigZag-style arrangement)**를 채택합니다. 이는 물리적 호스트를 가상 호스트 쌍(예: 호스트 $h$와 $2H-1-h$)에 매핑하여 균형 잡힌 어텐션 계산 부하를 보장합니다.
• 근사 어텐션 메커니즘(Approximate Attention Mechanism): 모든 토큰에 대해 밀집(dense) 어텐션을 계산하는 대신, APB-V는 로컬 KV 캐시 압축 전략을 사용합니다:
  • 앵커 블록: 고정된 초기 임베딩 세그먼트.
  • 패싱 블록(Passing Blocks): 각 호스트에 대해, 쿼리-컨텍스트 어텐션 점수를 통해 이전 호스트들로부터 가장 필수적인 Key-Value 쌍을 식별하고 이를 "패싱 블록"으로 집계합니다.
  • 계산: 앵커, 로컬 컨텍스트, 집계된 패싱 블록, 그리고 쿼리에 대해 어텐션을 계산합니다. 결정적으로, 전체 시각 임베딩은 그대로 유지되지만(입력 감소 없음), 호스트 간 통신은 필수적인 KV 쌍으로만 압축됩니다.

2. 시스템 레벨 최적화

효율성을 극대화하기 위해 APB-V는 네 가지 특정 시스템 최적화를 포함합니다:

• 시각 부하 분산(Visual Load Balancing): 시각 인코딩 단계에서의 병목 현상을 방지하기 위해 프레임을 가상 호스트에 균등하게 분배합니다.
• 컨텍스트 및 쿼리 융합 포워드(Fused Context and Query Forward): 컨텍스트와 쿼리를 별도로 처리하는 기존 방식(짧은 쿼리의 경우 메모리 바운드가 되는 경우가 많음)과 달리, APB-V는 이를 단일 포워드 패스로 융합하고 FlashAttention의 lse(log-sum-exp) 출력을 사용하여 부분 쿼리 결과를 병합합니다.
• 근사 어텐션 부하 분산(Approximate Attention Load Balancing): 지그재그 매핑은 패싱 블록의 총 길이가 물리적 호스트 간에 균형을 이루도록 하여, 불균형한 워크로드를 방지합니다.
• 중첩된 통신(Overlapped Communication): 패싱 블록과 부분 쿼리 어텐션 결과의 전송은 어텐션 계산과 동시에 수행되어 통신 지연 시간을 숨깁니다.

주요 기여

1. APB-V 프레임워크: 로컬 KV 캐시 압축과 분산 근사 어텐션을 사용하는 시퀀스 병렬 프레임워크를 도입했습니다. 이는 입력 압축을 피하면서도 계산량을 줄임으로써 효율성과 성능 사이의 균형을 맞춥니다.
2. 시스템 최적화: 부하 분산 전략과 통신이 계산과 완벽하게 중첩되는 2단계 어텐션 메커니즘을 설계하여, 멀티 GPU 추론의 잠재력을 크게 끌어올렸습니다.
3. 포괄적인 평가: APB-V가 기존 베이스라인들에 비해 성능과 효율성 측면에서 최적의 트레이드오프를 달성함을 입증하는 광범적인 벤치마킹을 수행했습니다.

실험 결과

저자들은 InternVL3-2B, Qwen2.5VL-3B, Qwen2.5VL-7B 모델을 사용하여 LongVideoBench와 VNBench에서 APB-V를 평가했습니다.

• 성능: APB-V는 풀 어텐션(FULLATTN)과 비교하여 손실이 거의 없는(near-lossless) 정확도를 달성했습니다. 이는 심각한 정확도 저하를 겪는 다른 근사 어텐션 방식(APB, STARATTN, XATTN) 및 토큰 프루닝 방식(SLOWFAST, 예: SLOWFAST는 약 25% 하락)보다 뛰어난 성능을 보입니다.
• 가속도: APB-V는 베이스라인 대비 상당한 속도 향상을 제공합니다:
  • FLASHATTN보다 12.72배 빠름.
  • ZIGZAGRING보다 1.70배 빠름.
  • APB보다 1.18배 빠름.
    이러한 이득은 특히 고해상도(1440p) 및 긴 영상 시나리오에서 두드러집니다.
• 확장성: 프레임워크는 다양한 호스트 수($H \in \{2, 4, 6, 8\}$)에 걸쳐 안정적인 작업 정확도를 유지하며, InfiniBand(IB) 병목 현상으로 인해 그룹 간 통신이 제한되는 상황에서도 다른 방법들에 비해 가장 적은 성능 저하를 보이며 견고함을 입증했습니다.

의의 및 주장

본 논문은 APB-V가 계산 능력을 확장하면서도 이차 복잡도를 억제함으로써 긴 영상 이해를 위한 유망한 경로를 제공한다고 주장합니다. 여러 GPU에 걸쳐 근사 어텐션을 분산함으로써, 이 프레임워크는 토큰 프루닝 방식에서 흔히 발생하는 정보 손실 없이 더 많은 시각 임베딩을 처리할 수 있게 해줍니다.

저자들은 APB-V가 감시(surveillance) 및 자율 주행과 같이 긴 영상에서 생성되는 엄청난 양의 토큰으로 인해 단일 GPU 추론이 불가능한, **엔드 투 엔드 시간(TTFT, Time-to-First-Token)**이 제약 조건인 시나리오를 위해 특별히 설계되었음을 강조합니다. 이 연구는 잘 설계된 병렬성과 시스템 최적화를 통해, 전형적인 성능 저하의 트레이드오프 없이도 상당한 가속화를 달달성할 수 있음을 보여줍니다.

한계점: 저자들은 APB-V가 현재 디코더 전용 트랜스포머 기반 LMM 및 멀티 GPU 추론으로 제한된다고 언급했습니다. 이는 합성곱 신경망(CNN)과는 호환되지 않으며, 단일 GPU에서는 표준 FlashAttention으로 퇴화하여 별도의 이점이 없습니다.