기술 요약: VEN-VL

문제 정의

대형 시각 - 언어 모델 (LVLMs) 의 최근 발전은 전문가 혼합 (MoE) 아키텍처를 활용할 때 복잡한 시각적 이해에 상당한 잠재력을 보여주었습니다. 그러나 LVLM 을 가속화하기 위한 기존 효율적 방법들은 정보 용량과 정보 밀도의 한계로 인해 발생하는 성능 저하라는 치명적인 병목 현상에 직면해 있습니다.

현재 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 모두 고유의 결함을 안고 있습니다:

1. 입력 단위 가지치기 (Input-wise Pruning): LLM 이전에 단일 스트림 시각 특징을 압축된 표현으로 변환하는 방법들입니다. 이러한 방법들은 종종 높은 압축 비율을 과도하게 강조하여 완전한 의미론적 모델링을 확립하지 못하며, 정보 용량과 다양성을 크게 감소시킵니다.
2. 레이어 단위 가지치기 (Layer-wise Pruning): 어텐션 맵을 기반으로 LLM 내의 토큰을 가지치기하는 방법들입니다. 이러한 방법들은 초기 레이어에서의 거친 시각 - 텍스트 정렬에 의존하여, 종종 후기 레이어의 세밀한 의미론에 필수적인 응집된 정보를 포함하는 토큰 (예: 작은 객체나 미묘한 질감) 을 실수로 제거합니다.

핵심 과제는 LVLM 이 더 적은 수의 시각 토큰을 사용하면서도 매우 높은 정보 응집도를 가진 토큰을 통해 우수한 성능을 달성할 수 있도록 하는 것입니다.

방법론: VEN-VL

저자들은 "풍부하게 만든 후 압축 (enrich then compact)" 원칙을 따름으로써 성능과 효율성 간의 격차를 해소하도록 설계된 VEN-VL(Visual Ensemble MoE) 프레임워크를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 다면적 지식 앙상블 (Multi-Aspect Knowledge Ensemble, MKE)

목표: 정보 용량 풍부화.
단일 시각 스트림을 압축하는 대신, MKE 는 다양한 관점의 시각 표현을 통합하여 중복성을 억제하면서 의미론적 다양성을 증대시킵니다.

• 이중 스트림 추출: 의미론적 정렬 특징 ($F_{main}$) 을 위한 주 인코더 (예: CLIP) 와 세밀한 디테일 증폭 특징 ($F_{extra}$) 을 위한 보조 인코더를 활용합니다.
• 구조 인식 압축: 단순한 연결 대신, MKE 는 순차적 병합 전략을 사용합니다:
  • 공간 병합 (Spatial Merge): 두 스트림의 공간 축을 압축하여 국소성을 채널 차원으로 변환하고 2D 그리드 토폴로지를 보존합니다.
  • 자기/교차 병합 (Self/Cross-Merge): 불연속 특징 세트 간의 상위 $k$개 코사인 유사도를 식별하기 위해 이분형 병합 연산자를 사용하여, 매칭된 쌍을 가중 평균으로 집계합니다. 이는 중복성을 억제하고 전역적으로 의미를 보완합니다.
• 결과: 높은 정보 용량과 다양성을 유지하는 통합된 압축 시각 공간 ($V$).

2. 계층적 토큰 앙상블 (Hierarchical Token Ensemble, HTE)

목표: 정보 밀도 향상.
HTE 는 LLM 의 깊은 레이어 내에서 작동하며, MoE 의 고유한 특성을 활용하여 시각 분포를 점진적으로 정제합니다.

• 전문 시각 MoE: 이 프레임워크는 일반 추론 능력을 유지하는 글로벌 전문가 ($E_{global}$) 와 함께, 특정 시각 의미론을 포착하기 위해 시각 토큰 전용으로 활성화되는 경량 전문가 뱅크를 도입합니다.
• 적응형 라우팅: 상위 $k$개 게이트 메커니즘이 시각 토큰을 그 의미론적 내용에 기반하여 가장 적합한 전문가에게 동적으로 라우팅합니다.
• 감소 게이트 메커니즘: 거친 어텐션 맵에 의존하는 방법들과 달리, HTE 는 토큰의 중요도 (saliency) 측정에 라우팅 활성화 점수를 사용합니다. 높은 중요도 (지향적 처리가 필요한) 토큰은 유지되고, 낮은 점수 (사소한/중복된) 토큰은 가지치기됩니다.
• 결과: 레이어 전반에 걸친 정보 밀도의 점진적 증가로, 깊은 레이어 계산이 매우 응집된 토큰에만 집중하도록 보장합니다.

3. 구조 정보 보존 (Structure Information Preservation, SIP)

목표: 귀납적 안내 제공.
토큰 가지치기 중 구조 정보의 손실을 방지하기 위해, SIP 는 모델에 재구성 능력을 부여합니다.

• 의미론적 전파: 가지치기된 토큰 임베딩은 구조적 속성 (RoPE) 으로 재초기화됩니다. 나머지 응집된 토큰들은 공유 공간에서 수렴할 때까지 가지치기된 토큰으로 전체적 의미론을 반복적으로 전파합니다.
• 명시적 시각 감독: 재구성된 표현과 원래 입력 사이에 재구성 손실 ($\mathcal{L}_{qrec}$) 을 적용합니다. 중요한 점은, 모델이 사소한 패턴에 집중하는 결과를 초래할 수 있는 정확한 픽셀 값 회귀에 과도하게 의존하지 않도록 **양자화 (quantization)**를 사용하여 정확한 값을 저수준 표현으로 매핑한다는 것입니다.
• 결과: 유지된 토큰이 원래의 응집된 정보를 상당 부분 복원하도록 보장하여 선택 과정을 안내합니다.

주요 기여

1. 풍부하게 만든 후 압축 원칙: MKE 를 통해 시각 공간을 먼저 풍부하게 만든 후 HTE 를 통해 점진적으로 압축하는 설계 철학을 도입하여 정보 용량과 밀도를 공동으로 해결합니다.
2. VEN-VL 프레임워크: MKE, HTE, SIP 를 통합한 새로운 Visual Ensemble MoE 프레임워크로, LVLM 의 성능 - 효율성 격차를 효과적으로 해소합니다.
3. 구조 정보 보존 (SIP): 모델에 재구성 능력을 부여하여 토큰 선택에 대한 귀납적 안내를 제공하고, 감소 과정에서 구조적 무결성이 유지되도록 보장하는 메커니즘입니다.
4. 최첨단 성능: 이 프레임워크는 기존 표준 접근 방식이 요구하는 시각 토큰의 일부 (시각 토큰의 약 7.5%~10% 만 유지) 로 복잡한 다중 모달 작업에서 우수한 결과를 달성합니다.

실험 결과

저자들은 다양한 LLM 백본 (예: Qwen2.5, Qwen3) 을 사용하여 MMBench, TextVQA, MME, MMMU 등 여러 벤치마크에서 VEN-VL 을 평가했습니다.

• 성능 향상: 강력한 베이스라인인 TinyLLaVA(Qwen2.5-1.5B) 와 비교할 때, VEN-VL 은 시각 토큰의 약 10% 만 유지함에도 불구하고 TextVQA 에서 +8.1%, MMB 에서 +5.2%, MMBCN 에서 **+6.8%**의 상당한 개선을 달성했습니다.
• 효율성: 공정한 설정 (Qwen3-0.6B 백본) 하에서 다른 토큰 가지치기 방법 (예: PruMerge, FastV) 과 비교할 때, VEN-VL 은 토큰의 **7.5%**만 유지하면서도 그들을 현저히 능가했습니다. 예를 들어, 평균 점수가 PruMerge 의 40.9 에 비해 50.1을 기록했으며, 성능 향상에 비례하여 FLOPs 가 관리 가능한 수준으로 증가했습니다.
• 확장성: 이 설계는 기존 MoE 프레임워크 (예: Kimi-VL) 와의 강력한 호환성을 보여주었으며, 최소한의 성능 격차와 상당한 추론 속도 향상으로 더 큰 모델로 확장할 잠재력을 입증했습니다.
• 애블레이션 연구:
  • MKE 를 제거하면 평균 성능이 감소하여 다면적 풍부화의 필요성을 입증했습니다.
  • 얕은 레이어에서만 HTE 를 적용하거나 모든 레이어에 적용 (Dense) 하는 것은 최적의 결과를 낳지 못했으며, "후반부 (Second-Half, 깊은 레이어)" 적용이 가장 효과적이었습니다.
  • SIP 를 제거하거나 양자화된 손실 ($\mathcal{L}_{qrec}$) 대신 표준 MSE 재구성 손실 ($\mathcal{L}_{rec}$) 을 사용한 경우 성능 저하가 발생하여 토폴로지 기반 안내의 필요성을 확인했습니다.

중요성과 주장

이 논문은 VEN-VL 이 현재 효율적인 LVLM 의 정보 용량 및 밀도 병목 현상을 효과적으로 해결한다고 주장합니다. 다중 관점 시각 표현을 통합하고 적응형 MoE 라우터를 활용한 동적 토큰 선택을 통해, 이 프레임워크는 표준 접근 방식이 요구하는 시각 토큰의 일부만으로 복잡한 시각적 이해 작업을 수행할 수 있게 합니다.

저자들은 VEN-VL 을 확장 가능하고 효율적인 다중 모달 이해를 향한 중요한 단계로 위치시키며, 전문 앙상블 및 가지치기 메커니즘을 통해 정보 밀도와 구조적 무결성이 보존된다면 높은 성능이 반드시 높은 토큰 수를 필요로 하지 않는다는 것을 입증합니다. 그들은 알고리즘 최적화가 견고하지만, 이론적 FLOPs 감소를 실제 세계의 엔드 - 투 - 엔드 가속화로 전환하려면 커널 최적화와 같은 시스템 수준의 노력이 더 필요함을 인정합니다.