기술 요약: 결과 민감형 시각적 토큰 압축 (Consequence-Sensitive Visual Token Compression)

1. 문제 정의

시각-언어 모델(VLM)은 시각적 토큰에 의해 지배되는 상당한 추론 비용을 발생시킨다. 기존의 시각적 토큰 압축 방법(예: FastV, SparseVLM)은 어텐션, 중복성 또는 불확실성과 같은 입력 유도 신호에 기반하여 토큰을 제거함으로써 고정된 연산 예산 내에서 평균 정확도를 최대화하는 것을 목표로 한다.

그러나 이러한 방법들은 모든 예측 오류가 동일한 비용을 초환한다는 점을 암묵적으로 가정한다. 실제 다운스트림 애플리케이션(예: 문서 분석, 의료 영상)에서 오류의 결과는 매우 비대칭적이다. 송장 금액이나 거래 식별자를 잘못 읽는 것은 배경 색상이나 장식 요소를 잘못 분류하는 것보다 훨씬 더 큰 비용을 초래한다. 현재의 할당 전략은 질문 유형이나 작업 ID와 같은 추론 시 관찰 가능한 '결과(consequence)'에 관한 신호를 무시하고 오직 시각적 콘텐츠 특성에만 의존하기 때문에, 이러한 비대칭성을 활용할 수 없다.

본 논문은 다음과 같은 새로운 최적화 문제를 제기한다: 고정된 총 시각적 토큰 예산과 다양한 오류 비용($c_i$)을 가진 요청 세트가 주어졌을 때, 평균 정확도가 아닌 **비용 가중 오류(Cost-Weighted Error, CWE)**를 최소화하기 위해 예산을 어떻게 할당해야 하는가?

2. 방법론

저자들은 교정 후 할당(calibrate-then-allocate) 절차를 따르는 결과 민감형 시각적 토큰 압축 프레임워크를 제안한다.

2.1 프레임워크 개요

이 방법은 두 단계로 작동한다:

1. 오프라인 교정(Offline Calibration): 검증 세트를 사용하여 시스템은 티어별 오류-예산 곡선($e_t(b)$)을 추정한다. 샘플은 관찰 가능한 신호(질문의 키워드 또는 작업 메타데이터)를 기반으로 티어(예: 고위험 vs 저위험)로 그룹화된다. 시스템은 다양한 예산 할당을 평가하여 추정된 비용 가중 목적 함수를 최소화하는 정책을 찾는다.
2. 온라인 추론(Online Inference): 들어오는 각 요청에 대해, 시스템은 관찰 가능한 신호(예: 고정된 키워드 규칙 또는 작업 ID)를 사용하여 결과 티어를 할당한다. 사전 교정된 해당 티어의 예산이 VLM 추론 전에 입력에 적용된다.

2.2 최적화 정식화

목표는 비용 가중 오류 $J$를 최소화하는 것이다:
$$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$$
제약 조건:
$$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$$
여기서 $n_t$는 티어 $t$의 샘플 수, $c_t$는 결과 가중치, $e_t(b)$는 예산 $b$에서의 오류율이다.

토큰 예산의 이산적 특성(13개 포인트 그리드)과 비볼록(non-convex) 오류 곡선 때문에, 저자들은 연속적인 라그랑주 미분에 의존하기보다 가능한 예산 쌍에 대한 전수 탐색(exhaustive search)을 채택한다.

2.3 예산 실현 메커니즘

본 논문은 할당된 토큰 예산을 실현하기 위한 두 가지 메커니즘을 평가한다:

• 진정한 토인 삭제(True Token Deletion): 전체 해상도로 인코딩한 후, 고정된 선택기(예: 중복성)를 통해 토큰 순위를 매기고, 멀티모달 위치 인코딩의 무결성을 유지하기 위해 공간 좌표와 위치 ID를 보존하면서 선택되지 않은 토큰을 엄격히 삭제한다.
• 해상도 재할당(Resolution Reallocation): 입력 이미지를 리사이징하여 인코더가 자연스럽게 목표하는 토큰 수를 생성하도록 한다. 이 메커니즘은 모델 특정 코드가 필요 없으며 주요 배포 방법으로 사용된다.

2.4 평가 프로토콜

결과 정보와 콘텐츠 기반 신호를 분리하기 위해, 저자들은 **태스크 내 벤치마크(within-task benchmark)**를 도입한다. 고위험 및 저위험 질문은 동일한 밀집 문서 이미지 분포(예: DocVQA)에서 추출된다. 이는 티어 간의 시각적 콘텐츠가 동일하게 유지되도록 하여, 콘텐츠 기반 할당기가 시각적 민감도 차이를 이용하는 것을 방지한다.

3. 주요 기여

1. 새로운 정식화: 입력 콘텐츠뿐만 아니라 추론 시 관찰 가능한 결과 신호를 활용하여 비용 가중 오류를 최소화하도록 토큰을 할당하는 결과 민감형 시각적 토큰 압축을 도입하였다.
2. 통제된 평가: 고위험 및 저위험 질문이 동일한 이미지 분포를 공유하는 태스크 내 벤치마크 설계를 통해, 이득이 오직 결과 인식으로부터 기인함을 입증하였다.
3. 할당 경계 특성화: 저자들은 다음을 보여주는 할당 경계(allocation frontier)를 도출하였다:
   • 오류 비용이 대칭적($r=1$)일 때, 균등 할당이 최적이다.
   • 비용 비대칭성이 커짐에 따라, 최적의 전략은 고위험 샘플로 토큰을 이동시킨다.
   • 토큰 전이의 이점이 비용 격차와 함께 증가하는 전이 영역이 존재한다.
4. 일반화 및 불변성: 이 원칙은 토큰 선택 메커니즘(중복성, 어텐션, 돌출도)과 무관하며, 다양한 VLM 아키텍처(Qwen2.5-VL, LLaVA-OneVision) 및 예산 실현 방법론에 대해 견고하다.

4. 실험 결과

4.1 속성 및 태스크 내 성능

통제된 태스크 내 벤치마크(DocVQA)에서:

• 콘텐츠 기반 할당기(특징 중복성 사용)는 시각적 입력이 티어 간에 동일했기 때문에 균등 할당보다 나은 성능을 보이지 못했다.
• 결과 민감형 할당은 동일한 총 토큰 예산 하에서 고위험 오류를 0.300에서 0.133으로 감소시켰다(2.25배 감소).
• 이는 가중되지 않은 평균 정확도의 증가(0.488 vs 0.337)를 대가로 하며, 이는 본 방법이 특정 비용 가중 목적 함수를 최적화함을 확인시켜 준다.
• 역할당(anti-allocation) 전략(저위험 질문에 더 많은 토큰을 주는 방식)은 CWE를 크게 증가시켜, 접근 방식의 방향성을 검증하였다.

4.2 할당 경계

오류-예산 곡선 분석 결과, 고위험 및 저위험 질문은 통계적으로 구별 불가능한 토큰 민감도(기울기 0.00173 vs 0.00171)를 가졌다. 개선은 순수하게 비용 가중 덕분이다.

• 손익 분기점 비율: 결과 비율($r$)이 증가함에 따라 최적의 할당은 균등 할당에서 결과 편향적 할당으로 이동한다. DocVQA의 경우, 전환은 $r \approx 2.8$에서 발생한다.
• 일반화: 이 방법은 ChartQA 및 InfographicVQA로 일반화된다. InfographicVQA에서는 비용 비율이 낮을 때($r=0.7$)도 CWE를 감소시켰는데, 이는 밀집 정보 태스크가 결과 인식 할당으로부터 더 많은 이득을 얻음을 시사한다.

4.3 불변성 및 메커니즘

• 메커니즘: 이 이득은 진정한 토인 삭제를 사용하든 해상도 재할당을 사용하든 지속된다. Qwen2.5-VL의 학습 방식과 일치하는 해상도 재할당이 결과 인식 할당의 상대적 이득을 유지하면서도 더 나은 절대적 성능을 달起来했다.
• 모델: 아키텍처 차이에도 불구하고 LLaVA-OneVision에서도 이 원칙이 유효하다.
• 선택기: 할당 전략은 토큰 선택기와 직교한다. 이는 토큰이 중복성, 랜덤, 돌출도, FastV, SparseVLM 또는 VisionZip를 통해 선택되더라도 성능을 개선한다.

4.4 혼합 워크로드 및 효율성

현실적인 혼합 워크로드(DocVQA, TextVQA, VQAv2)에서:

• 결과 민감형 할당은 균등 할당에 비해 비용 가중 오류를 38% 감소시켰다.
• 전체 해상도 추론과 비교했을 때, 배포된 2단계 할당(해상도 재할당 사용)은 CWE를 줄이면서도 약 21% 낮은 지연 시간을 달성했다.

5. 의의 및 주장

본 논문은 시각적 토큰 압축이 평균 정확도를 얼마나 보존하는지뿐만 아니라, 어떤 오류를 방지하는지에 의해 평가되어야 한다고 주장한다.

• 직교성: 결과 민감형 할당은 기존의 콘텐츠 기반 프루닝(pruning)과 직교하는 축이다. 이는 토큰 선택 방법을 대체하는 것이 아니라, 다운스트림 위험에 따라 샘플에 얼마나 많은 토큰을 할당할지 결정함으로써 이를 보완한다.
• 실용성: 이 프레임워크는 가볍고 배포 지향적이다. 복잡한 온라인 최적화나 강화 학습 없이 추론 시 관찰 가능한 신호(태스크 ID 또는 질문 키워드)와 오프라인 교정만을 필요로 한다.
• 근본적 통찰: 본 연구는 오류 비용이 비대칭적일 때, 최적의 자원 할당 전략이 평균 성능을 보존하는 것에서 고위험 샘플을 우선시하는 것으로 근본적으로 변화함을 입증한다. 이는 해당 샘플들이 시각적으로 구별 불가능할 때도 마찬가지이다.

저자들은 다운스트림 결정이 불균등한 위험을 수반하는 시나리오에서, 결과 민감형 할당이 중요한 정확도를 희생하지 않으면서 VLM 효율성을 최적화하는 원칙적이고 효과적인 방법임을 결론짓는다.