기술 요약: LLaVA-UHD v4

문제 제기

시각 인코딩은 고해상도 이미지를 처리할 때 특히 멀티모달 대규모 언어 모델 (MLLM) 에서 주요한 계산 병목 현상을 나타냅니다. 지배적인 패러다임은 전체 이미지를 비전 트랜스포머 (ViT) 에 직접 입력한 후, 대규모 언어 모델 (LLM) 에 들어가기 전에 토큰 시퀀스를 줄이기 위한 사후 ViT 압축을 수행하는 전역 인코딩을 포함합니다.

이 접근법은 두 가지 치명적인 비효율성을 겪습니다:

1. 이차적 어텐션 비용: 전역 인코딩은 어떤 축소도 발생하기 전에 ViT 가 이미지 면적에 비례하는 거대한 토큰 시퀀스 전체에 대한 완전한 자기 어텐션을 계산하도록 강제합니다.
2. 비효율적인 압축 타이밍: 사후 ViT 압축은 하류 LLM 의 부담만 완화할 뿐, 전체 인코더 계산이 이미 수행되었기 때문에 ViT 내부에서 발생하는 계산 비용을 줄이지 못합니다.

이미지 해상도가 증가함에 따라, 이러한 '토큰 폭발'은 현대 MLLM 에 있어 고해상도 시각 인코딩을 위한 핵심 효율성 장벽이 됩니다.

방법론

저자들은 인코딩 전략과 토큰 압축의 타이밍을 재고한 효율적인 시각 인코딩 scheme 인 LLaVA-UHD v4를 제안합니다. 이 방법론은 두 가지 핵심 기둥에 기반합니다:

1. 슬라이스 기반 인코딩 (SE) 대 전역 인코딩 (GE)

전역 인코딩이 컨텍스트 보존에 더 우월하다는 커뮤니티의 합의와 달리, 저자들은 슬라이스 기반 인코딩이 고해상도 입력에 대해 더 효과적임을 입증합니다.

• 메커니즘: 전체 이미지를 ViT 에 입력하는 대신, 이미지를 종횡비 인식 그리드 정책에 기반한 저해상도 썸네일과 고해상도 슬라이스 세트로 분해합니다. 이러한 뷰는 독립적으로 인코딩됩니다.
• 장점: 이 접근법은 인코더가 각 슬라이스 내의 세밀한 패턴에 집중할 수 있게 함으로써 국소적 세부 정보를 보존합니다. 특히, 전체 이미지에 대한 전역 자기 어텐션과 관련된 이차적 계산 폭주를 구조적으로 피합니다.

2. ViT 내부 조기 압축

ViT 내부의 나머지 계산 비용을 해결하기 위해, 저자들은 ViT 파이프라인 이후가 아닌 내부에 삽입된 매개변수 재사용 조기 압축기를 도입합니다.

• 배치: 압축기 ($D$) 는 ViT 의 특정 얕은 계층 (SigLIP 2 백본의 경우 $k=6$) 이후에 삽입됩니다.
• 아키텍처: 이 모듈은 다음으로 구성됩니다:
  1. 윈도우 어텐션: 토큰이 즉시 공간적 이웃과 상호작용할 수 있게 하는 $2 \times 2$ 비겹침 윈도우 어텐션 블록.
  2. 다운샘플링 및 퓨전: 토큰 수를 $4\times$ 줄이는 채널을 퓨전하는 MLP 를 따르는 $2 \times 2$ 픽셀 언셔플 (Pixel-Unshuffle) 연산.
• 초기화 전략: 사전 훈련된 시각 표현을 방해하지 않도록 압축기는 무작위로 초기화되지 않습니다. 대신, 이전 ViT 계층의 가중치 (특히 어텐션 프로젝션 및 FFN 가중치) 를 재사용합니다. 이 '웜 스타트'는 새로운 모듈이 첫 훈련 단계부터 원래 ViT 와 동일한 표현 매니폴드에서 작동하도록 보장합니다.

3. 2 단계 압축 파이프라인

최종 아키텍처는 2 단계 감소를 적용합니다:

1. ViT 내부: 인코더 초기 (6 계층 이후) 에 $4\times$ 감소가 발생하여, 이후 대부분의 ViT 계층이 원래 토큰 예산의 $25\%$만 사용하여 작동하도록 합니다.
2. 사후 ViT: LLM 이전에 표준 MLP 기반 커넥터 (픽셀 언셔플 사용) 가 추가 $4\times$ 감소를 수행하여, 전체 종단 간 압축 비율이 $16\times$가 됩니다.

주요 기여

1. 인코딩 패러다임 재검토: 이 논문은 슬라이스 기반 인코딩이 OCR 및 세밀한 지각 작업 등을 포함한 다양한 벤치마크와 데이터 규모에서 전역 인코딩을 일관되게 능가함을 경험적으로 입증하여, 고해상도 이해를 위해 전역 컨텍스트가 항상 필요하다는 가정에 도전합니다.
2. ViT 내부 압축 아키텍처: 저자들은 ViT 내부에서 토큰을 줄이는 새로운 조기 압축 모듈을 제안합니다. 윈도우 어텐션과 매개변수 재사용 초기화를 결합함으로써, 사전 훈련된 모델의 표현 능력을 희생하지 않고 막대한 계산 절감을 달성합니다.
3. LLaVA-UHD v4: 슬라이스 기반 인코딩과 ViT 내부 압축의 통합은 강력한 사후 ViT 기준선과 성능을 맞먹거나 능가하면서 시각 인코딩 FLOPs 를 55.75% 줄이는 시스템을 산출합니다.

실험 결과

저자들은 일반 VQA, 추론, 세밀한 지각 (예: OCRBench, MMMU, MathVista) 을 포괄하는 8 개의 벤치마크에 걸쳐 강력한 사후 ViT 기준선 (16× 사후 ViT MLP 압축기를 사용한 슬라이스 기반 인코딩) 에 대해 LLaVA-UHD v4 를 평가했습니다.

• 효율성: 제안된 방법은 단일 슬라이스에 대해 시각 인코딩 FLOPs 를 3555.1 G에서 1573.1 G로 줄입니다 (55.75% 감소).
• 성능: 4M 에서 64M 샘플에 이르는 훈련 데이터 규모 전반에 걸쳐 LLaVA-UHD v4 는 기준선 성능과 무시할 수 있는 오차 범위 내에서 일치합니다 (평균 편차 $-0.29$ 포인트).
• 애블레이션 연구:
  • 압축 타이밍: 압축기를 너무 일찍 (예: 3 계층) 삽입하면 성능이 파괴되는 반면, 너무 늦게 (예: 15 계층) 삽입하면 체감 효과가 감소합니다. 6 계층이 최적의 절충점으로 확인되었습니다.
  • 모듈 설계: 단순 병합 (평균 풀링) 이나 무작위 초기화는 기준선 정확도를 회복하지 못합니다. 윈도우 어텐션과 매개변수 재사용 초기화의 조합이 성능 유지를 위해 필수적입니다.
  • 커넥터 설계: 쿼리 기반 리샘플러보다 MLP 기반 공간 병합 커넥터가 특히 낮은 압축 비율에서 더 우수한 성능을 보입니다.

중요성 및 주장

이 논문은 "사후 ViT"에서 "ViT 내부"로 압축 패러다임을 전환함으로써 하류 성능을 희생하지 않고 시각 인코딩 효율성을 크게 개선할 수 있다고 주장합니다.

• 설계 방향: 이 연구는 효율적인 고해상도 MLLM 을 위한 실용적인 설계 방향을 제시하며, 공격적인 토큰 감소를 비전 인코더 내부에서 수행할 수 있음을 시사합니다.
• 확장성: ViT 내부의 계산 병목 현상을 줄임으로써, 초고해상도 입력을 처리할 수 있는 더 확장 가능한 멀티모달 기반 모델을 가능하게 합니다.
• 제한된 범위: 저자들은 현재 모듈이 고정된 균일한 다운샘플링 비율을 사용함을 인정합니다. 향후 작업은 동적이고 콘텐츠 인식 토큰 감소 메커니즘 (예: 텍스트가 밀집된 영역에 더 많은 토큰 할당) 을 탐구할 수 있으며, 최적 삽입 깊이는 다른 백본 아키텍처에 따라 달라질 수 있음을 지적합니다.

요약하자면, LLaVA-UHD v4 는 시각 토큰이 어디서 그리고 어떻게 압축되는지를 재고함으로써, 고급 멀티모달 작업에 필요한 세밀한 지각 능력을 유지하면서 상당한 계산 절감을 달성할 수 있음을 보여줍니다.