1. 문제 정의 (Problem)

비디오 스트리밍 분석 (Video Streaming Analytics) 은 감시, 교통 제어, 소매 운영 등 다양한 분야에서 필수적이지만, 비전 - 언어 모델 (VLM, Vision-Language Model) 을 활용한 실시간 처리는 다음과 같은 심각한 병목 현상에 직면해 있습니다.

• 연산 비용의 폭발적 증가: VLM 파이프라인은 (1) 비디오 디코딩, (2) 비전 트랜스포머 (ViT) 를 통한 시각 토큰 추출, (3) LLM 을 통한 의미 추론의 3 단계로 구성됩니다. 연속적인 스트리밍에서는 시계열 컨텍스트를 유지하기 위해 슬라이딩 윈도우 (Sliding Window) 방식을 사용하는데, 인접한 윈도우 간에 프레임이 대폭 중복되어 불필요한 연산이 반복됩니다.
• 하드웨어 부족: 전 세계적으로 설치된 CCTV 수는 기존 GPU 자원을 훨씬 초과합니다 (예: 런던의 경우 CCTV 가 GPU 보다 약 9 배 많음). 현재 방식으로는 실시간 처리가 불가능할 정도로 GPU 부하가 큽니다.
• 기존 시스템의 한계:
  • 부분 최적화: 기존 연구들은 ViT 인코더나 LLM 디코더 중 하나만 최적화하여 전체 파이프라인의 효율성을 충분히 끌어올리지 못했습니다.
  • 높은 오버헤드: 많은 방법들이 오프라인 프로파일링이나 추가 학습을 요구하여, 동적인 실시간 스트림에 적응하기 어렵고 배포 비용이 높습니다.
  • 코덱 정보의 낭비: 비디오 코덱 (H.264 등) 은 압축 과정에서 이미 운동 벡터 (Motion Vectors) 와 잔차 (Residuals) 같은 메타데이터를 생성하지만, 기존 VLM 시스템은 이를 활용하지 않고 디코딩된 원시 프레임만 입력받습니다.

2. 방법론 (Methodology)

논문은 CoStream이라는 새로운 시스템을 제안합니다. 이는 비디오 코덱이 생성하는 메타데이터를 저비용 런타임 신호로 활용하여, 디코딩, 시각 처리, LLM 프리필링 (Prefilling) 단계를 통합적으로 최적화합니다.

핵심 아키텍처 및 기술

1. 하드웨어 가속 코덱 처리 (Hardware-Accelerated Codec Processing):

   • NVIDIA NVDEC 와 같은 상용 GPU 비디오 엔진을 사용하여 압축 비트스트림을 직접 처리합니다.
   • 슬라이딩 윈도우에서 발생하는 중복 디코딩을 제거하기 위해 비트스트림을 한 번만 순차적으로 디코딩하고, 그 결과를 버퍼링하여 모든 윈도우에서 공유합니다.
   • 디코딩 과정에서 운동 벡터 (Motion Vectors) 와 잔차 (Residuals) 같은 메타데이터를 추출하여 후속 단계의 최적화 신호로 사용합니다.

2. 코덱 가이드 패치 가지치기 (Codec-Guided Patch Pruning):

   • 원리: ViT 인코딩 전에, 코덱에서 추출한 운동 벡터와 잔차 정보를 기반으로 정적 (Static) 인 영역과 동적 (Dynamic) 인 영역을 구분합니다.
   • 구현: 운동 벡터 크기가 임계값 이하인 패치 (정적 배경 등) 는 ViT 에 입력하기 전에 제거 (Pruning) 합니다. 이는 ViT 의 불필요한 연산을 줄이고, 결과적으로 LLM 으로 전달되는 시각 토큰의 수를 줄입니다.
   • 장점: 추가적인 토큰 중요도 점수 계산 없이 코덱 메타데이터만으로 실시간 결정이 가능하여 오버헤드가 매우 낮습니다.

3. 선택적 KVC (Key-Value Cache) 갱신 (Selective KVC Refresh):

   • 문제: 슬라이딩 윈도우 방식에서는 인접 윈도우 간에 프레임이 겹치지만, LLM 의 컨텍스트가 변함에 따라 캐시된 KV 상태 (Key-Value States) 를 그대로 재사용하면 의미적 드리프트 (Semantic Drift) 가 발생합니다.
   • 해결:
     • Anchor Token 갱신: GOP(Group of Pictures) 내의 I-Frame(완전 프레임) 에서 파생된 토큰은 컨텍스트 변화에 민감하므로 재계산 (Refresh) 합니다.
     • 재사용 및 위치 보정: P-Frame(예측 프레임) 의 겹치는 토큰은 재사용하되, 윈도우가 이동함에 따라 토큰의 절대적 위치가 변하므로 RoPE (Rotary Positional Embedding) 기반의 위치 보정을 적용하여 KV 캐시를 업데이트합니다.
   • 효과: 전체 재계산을 피하면서도 의미적 일관성을 유지하며 LLM 프리필링 단계를 가속화합니다.

3. 주요 기여 (Key Contributions)

1. 통합 최적화 프레임워크: 전송, 시각 처리 (ViT), LLM 프리필링 단계를 아우르는 종단간 (End-to-End) 최적화 접근법을 제시했습니다.
2. 코덱 메타데이터의 새로운 활용: 코덱 메타데이터를 단순한 압축 부산물이 아닌, ViT 가지치기와 LLM 캐시 관리의 실시간 신호로 활용하는 방식을 처음 제안했습니다.
3. 온라인 적응형 시스템: 오프라인 학습이나 무거운 프로파일링 없이도 실시간 스트림의 동적 변화에 적응 가능한 시스템을 구현했습니다.
4. 구현 및 평가: vLLM 프레임워크와 상용 GPU 디코더 위에서 구현하여 InternVL3 와 Qwen3-VL 두 가지 최신 VLM 에서 광범위한 평가를 수행했습니다.

4. 실험 결과 (Results)

CoStream 은 최신 베이스라인 (Déjà Vu, VLCache 등) 과 비교하여 다음과 같은 성과를 보였습니다.

• 처리량 (Throughput) 및 지연 시간 (Latency):
  • 최대 3 배의 처리량 향상 (또는 지연 시간 3 배 감소) 을 달성했습니다.
  • InternVL3 모델 기준 Full Comp(비최적화) 대비 2.97 배, Qwen3-VL 기준 1.66 배의 속도 향상을 기록했습니다.
• 연산 효율성 (GPU Compute):
  • GPU 연산량 (FLOPs) 을 최대 **87%**까지 줄였습니다.
  • ViT 단계에서 토큰 수가 평균 85% 감소했고, LLM 프리필링 단계에서도 불필요한 재계산이 제거되었습니다.
• 정확도 (Accuracy):
  • F1 점수 감소는 0~8% 수준으로 매우 낮게 유지되었습니다.
  • 특히 Qwen3-VL 모델에서는 F1 점수 감소가 거의 없었으며, InternVL3 모델에서도 0.89 에서 0.81 로 소폭 감소하는 수준에 그쳤습니다.
• 모션 수준별 성능:
  • 모션이 적은 비디오 (정적 배경 등) 일수록 가지치기 효과가 커서 3 배 이상의 속도 향상을 보였으며, 모션이 많은 비디오에서도 2.5 배 이상의 향상을 유지했습니다.

5. 의의 및 중요성 (Significance)

• 대규모 배포 가능성: 현재 GPU 자원의 부족으로 인해 대규모 CCTV 네트워크에서의 실시간 AI 분석이 불가능했던 문제를 해결합니다. CoStream 을 통해 기존 하드웨어로 훨씬 많은 스트림을 처리할 수 있게 되어, 도시 전체의 보안 및 감시 시스템 구축 비용을 획기적으로 낮출 수 있습니다.
• 새로운 최적화 패러다임: 비디오 처리 시스템이 코덱 (Codec) 과 AI 모델 (VLM) 을 분리하여 설계하는 기존 관점에서 벗어나, 코덱 메타데이터를 AI 파이프라인의 핵심 신호로 통합하는 새로운 설계 패러다임을 제시했습니다.
• 실용성: 오프라인 학습 없이 실시간으로 작동하며, 상용 하드웨어 (NVIDIA NVDEC) 와 오픈소스 프레임워크 (vLLM) 위에서 구현되어 실제 산업 현장에 적용하기 용이합니다.

결론적으로, CoStream 은 비디오 스트리밍 분석의 확장성 문제를 해결하기 위해 코덱의 특성을 지능적으로 활용한 혁신적인 시스템으로, 효율성과 정확도의 균형을 잘 맞춘 실용적인 솔루션입니다.