기술 요약: LiteFrame: 효율적인 비전 인코더가 비디오 LLM 에서 프레임 확장성을 해제하다

1. 문제 제기

장편 비디오로 비디오 대규모 언어 모델 (Video LLM) 을 확장하는 데 있어 근본적인 과제는 비주얼 토큰 컨텍스트 길이의 폭발적 증가에 있다. 현재 비디오 LLM 은 일반적으로 다단계 아키텍처를 따른다: 이미지 인코더 (예: Vision Transformer) 가 프레임을 처리하고, 정렬 프로젝터가 특징을 매핑하며, LLM 이 교차된 비주얼 및 텍스트 토큰에 대해 추론한다. 프레임 수가 증가함에 따라, 비전 인코더의 프레임별 처리 비용과 LLM 의 2 차 자기-attention 복잡성 모두로 인해 계산 비용이 급증한다.

기존 전략들은 주로 "사후 (post-hoc)" 토큰 감소에 초점을 맞추는데, 여기서 무겁고 고정된 비전 인코더가 밀집 특징을 추출한 후, LLM 에 입력되기 전에 (공간/시간 가지치기 또는 병합을 통해) 이를 감소시킨다. 이는 LLM 의 계산 부담을 완화하지만, 저자들은 중요한 확장성 맹점 (scaling blindspot) 을 관찰한다: LLM 계산량이 감소함에 따라, 지연 시간 병목 현상이 비전 인코더의 비싼 프레임별 처리로 이동한다는 것이다. 결과적으로, 공격적인 사후 감소는 비전 인코더의 지연 시간이 엔드투엔드 추론을 위한 금지적인 바닥값이 되므로, 효율적인 장편 비디오 이해를 가능하게 하지 못한다.

2. 방법론

이를 해결하기 위해 저자들은 시공간 토큰 압축을 내부화하도록 설계된 경량 효율적 비디오 인코더 백본인 LiteFrame과 새로운 학습 프레임워크를 소개한다.

2.1. 아키텍처: 시공간 토큰 압축 인코딩

LiteFrame 은 무거운 교사 (304M 파라미터, ViT-Large) 에 비해 소형 학생 인코더 (87M 파라미터, ViT-Base 백본) 를 활용한다. 아키텍처는 시공간 중복성을 점진적으로 감소하도록 설계되었다:

• 교차 레이어: 표준 공간 attention 레이어가 경량 심층 (depth-wise, DW) 1D 시간 컨볼루션 레이어와 교차된다.
• 스트라이드 다운샘플링: 심층 스트라이드 컨볼루션 레이어가 전략적 간격 (4 번째 및 8 번째 블록 이후) 에 통합되어 공간 및 시간 차원 모두에서 특징 맵을 점진적으로 다운샘플링한다.
• 효율성: 이 설계는 전체 시공간 attention 또는 표준 시간 attention 블록에 비해 현저히 낮은 지연 시간과 FLOPs 로 시간적 역동성을 포착할 수 있게 한다.

2.2. 압축 토큰 증류 (CTD)

토큰 수를 감소시키면서 대형 교사와 일치하도록 소형 학생을 학습시키는 것은 단순하지 않다. 표준 증류는 학생이 중복 세부 사항을 학습하도록 강요한다. 저자들은 **압축 토큰 증류 (CTD)**를 제안한다:

• 지도 목표: 교사의 밀집 출력을 모방하는 대신, 학생은 교사가 생성한 압축 표현을 예측하도록 학습된다.
• 가중 평균 풀링 (WAP): 저자들은 복잡한 토큰 병합이나 가지치기에 비해 WAP 이 우수한 압축 원시 (primitive) 라고 식별한다. WAP 은 시공간 블록 내에서 attention 기반 가중치를 사용하여 밀집 토큰을 컴팩트한 잠재 공간으로 집계한다.
• 목적: 학생은 자신의 출력과 교사의 WAP 압축 특징 사이의 평균 제곱 오차 (MSE) 를 최소화한다. 이는 attention 기반 가중치 메커니즘을 효과적으로 학생의 정적 파라미터로 이전하여, 중복 패치에 대한 런타임 attention 의 필요성을 우회한다.

2.3. 언어 모델 적응 (LMA)

모달리티 간격을 해소하고 LLM 을 위해 압축된 잠재 공간을 최적화하기 위해, 최소한의 언어 모델 적응 (LMA) 단계가 사용된다:

• LLM 과 인코더는 저랭크 적응 (LoRA) 을 사용하여 비디오 - 텍스트 쌍에 대해 미세 조정된다.
• 이 단계는 학생의 잠재 공간을 LLM 에 정렬시키고, 확장된 시간적 컨텍스트 (최대 512 프레임) 를 처리할 수 있도록 한다.

3. 주요 기여

1. 확장성 맹점 식별: 본 논문은 사후 토큰 감소가 지연 시간 병목 현상을 LLM 에서 비전 인코더로 이동시켜 장편 비디오로의 효율적 확장을 방해함을 강조한다.
2. LiteFrame 아키텍처: 심층 시간 컨볼루션과 스트라이드 다운샘플링을 사용하는 시공간 아키텍처를 통해 토큰 압축을 내부화하는 경량 비디오 인코더.
3. 압축 토큰 증류 (CTD): 밀집 특징이 아닌, 교사에서 정보 밀집형 시공간 압축 표현 (WAP 을 통해) 을 직접 예측하도록 학생 인코더를 가르치는 새로운 학습 프레임워크.
4. 파레토 프론티어의 재정의: LiteFrame 과 LMA 의 통합은 새로운 지연 시간 - 정확도 트레이드오프를 달성하여, 엔드투엔드 지연 시간을 낮추면서 훨씬 더 많은 프레임을 처리한다.

4. 실험 결과

저자들은 LiteFrame 을 InternVL3-8B 베이스라인과 다양한 최신 사후 방법 (예: FastVID, PruMerge, ToMe) 및 효율적 인코더 (예: VideoPanda, AutoGaze) 에 대해 평가한다.

• 지연 시간 및 정확도: InternVL3-8B 와 비교하여 LiteFrame 은 8 배 더 많은 프레임을 처리하면서 엔드투엔드 지연 시간을 35% 감소시킨다. 예를 들어, 64 프레임에서 LiteFrame 은 총 지연 시간을 약 208ms 에서 약 150ms 로 줄이면서 Video-MME, MLVU, LongVideoBench 와 같은 벤치마크에서 평균 정확도를 향상시킨다.
• 사후 방법과의 비교: 사후 방법 (FastVID 등) 은 LLM 토큰을 감소시키지만, 무거운 원래 비전 인코더에 의해 병목 현상이 여전히 발생한다. LiteFrame 은 원래 인코더의 "계산 바닥값"을 피함으로써 효율성과 정확도 모두에서 이러한 방법들을 능가한다.
• AutoGaze 와의 비교: LiteFrame 은 AutoGaze 를 현저히 능가한다. AutoGaze 는 ViT 와 LLM 병목 현상 모두를 해결하려 하지만, 사전 감소 보조 모듈이 상당한 오버헤드를 도입한다 (일부 구성에서 총 추론 시간의 거의 절반을 차지함). LiteFrame 은 그러한 보조 오버헤드 없이 더 낮은 지연 시간과 더 높은 정확도를 달성한다.
• 공간 확장성: LiteFrame 은 강력한 제로샷 공간 확장 능력을 보여준다. HLVid 벤치마크에서 48 프레임으로 2688px 해상도에서 54.1 의 최첨단 점수를 달성하여, 더 높은 해상도와 프레임 수를 필요로 했던 AutoGaze(52.6) 를 능가한다.
• 애블레이션 연구:
  • CTD vs. RTD: CTD(WAP 타겟 사용) 는 재구성 토큰 증류 (RTD) 를 현저히 능가하며, 이는 WAP 원시와의 명시적 정렬이 범용 오토인코딩보다 더 견고한 의미적 기반을 제공함을 시사한다.
  • 아키텍처: 심층 시간 컨볼루션은 지연 시간과 정확도 측면에서 전체 시공간 attention 을 능가한다.
  • 압축 전략: 시공간 압축 (공간 4 배, 시간 4 배) 은 공간-only 압축 (16 배) 을 능가하여, 시간적 중복성을 집계하면서도 중요한 공간 충실도를 보존한다.

5. 중요성 및 주장

본 논문은 LiteFrame이 고정된 계산 예산 하에서 더 긴 형식의 비디오 이해를 가능하게 하는 새로운 잠재적 경로를 보여준다고 주장한다. "추출 - 감소 (extract-and-reduce)" (사후) 에서 "내부화 - 압축 (internalize-and-compress)" (아키텍처) 으로 초점을 이동시킴으로써, 저자들은 현재 비디오 LLM 을 제한해 온 비전 인코더 지연 시간 병목 현상을 우회할 수 있음을 보여준다.

저자들은 그들의 접근 방식이 효율성 - 정확도 파레토 프론티어를 재정의하여, 모델이 시공간 중복성을 훨씬 더 풍부한 시간적 컨텍스트와 교환할 수 있게 한다고 강조한다. 그들은 토큰 감소 방법보다 증류를 통한 토큰 압축의 아키텍처적 내부화가 장편 비디오 이해를 위한 더 확장 가능한 해결책이라고 결론지었다.

인정된 한계:

• LMA 단계는 기존 비디오 데이터의 하위 집합으로 학습되었으며, 더 고품질의 극장편 데이터셋은 성능을 더욱 향상시킬 수 있다.
• 모델은 주로 비디오 중심 벤치마크에서 평가되었으며, 정적 이미지 벤치마크에서의 성능은 아직 탐구되지 않았다.
• 더 작은 학생 모델 (<87M) 로의 확장은 학습 불안정성 (예: 손실 폭발) 에 의해 제한되었으며, 이는 CTD 프레임워크의 추가적인 안정화가 필요함을 나타낸다.