기술 요약: 측정 수송으로서의 시각적 텍스트 압축

문제 제기

시각적 텍스트 압축 (VTC) 은 텍스트를 이미지로 렌더링하고 비전 - 언어 모델 (VLM) 을 통해 재인코딩함으로써 장기 컨텍스트 처리를 위한 전략으로 등장했습니다. 이 접근법은 종종 상당한 토큰 압축 (서브워드 토큰화 대비 3~20 배 적은 토큰) 을 달성합니다. 그러나 실증적 결과는 토큰 절감량이 하류 작업의 유용성을 예측하지 못함을 보여줍니다. 일부 작업 (예: 멀티홉 QA) 에서는 시각적 경로가 텍스트 전용 대규모 언어 모델 (LLM) 보다 우수한 성능을 보이는 반면, 다른 작업 (예: 논리적 추론, 클로즈 스타일 QA) 에서는 성능이 붕괴됩니다. 기존 벤치마크는 이러한 불안정성을 문서화하고 있지만, 시각적 인코딩이 언제 작업 관련 정보를 보존하고 언제 폐기하는지 예측할 수 있는 원칙적인 측정 기준은 부족합니다. 핵심 문제는 압축 비율이 단순한 효율성 통계일 뿐 정보 손실의 예측자가 아니라는 점입니다.

방법론

저자들은 VTC 를 측정 수송 (measure transport) 의 언어로 공식화했습니다. 텍스트 토큰과 시각적 토큰을 경험적 확률 측정으로 간주합니다. 렌더링 및 인코딩 파이프라인은 비전 트랜스포머 (ViT) 패치 인코더에 의해 유도된 푸시포워드 맵 (push-forward map, $T\#$) 으로 모델링됩니다. 이 맵은 국소화된 텍스트 단위를 더 거친 시각적 토큰 지지체로 변환하여 하류 추론이 발생하는 기하학적 구조를 변경합니다.

1. 수송 비용의 분해

본 논문은 푸시포워드 맵이 작업 관련 정보 손실을 유도하며, 이 손실이 두 가지 distinct 한 비용으로 분해된다고 주장합니다:

• 정밀도 비용 ($\Delta_{intra}$): 패치 내 집계 (within-patch aggregation) 에서 발생합니다. ViT 는 "2023" 대 "2024"와 같은 세밀한 어휘적 구분을 단일 패치 임베딩으로 병합하여 정확한 어휘 충실도가 필요한 작업을 해칩니다.
• 커버리지 비용 ($\Delta_{inter}$): 패치 간 분열 (cross-patch fragmentation) 에서 발생합니다. 서로 다른 패치나 페이지에 분산된 증거는 텍스트의 본래 1 차원 위치 구조 대신 2 차원 공간적 주의를 통해 재구성되어야 하므로, 장거리 증거 통합이 약화됩니다.

2. 하류 레이블 없는 대리 지표 ($C(x)$)

추론 중 하류 레이블이 필요하지 않도록 이 이론을 운영화하기 위해, 저자들은 대리 비용 함수 $C(x)$를 유도했습니다:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (정밀도 특징): 작업의 답변 형식 (예: 추출형 대 분류형) 에 기반한 토큰 수준 구분에 대한 민감도를 측정합니다. 데이터 레이블이 아닌 작업 사양에서 추정됩니다.
• $L(x)$ (커버리지 특징): 입력 전체에 분산된 작업 관련 증거의 분산도를 측정하며, 질문과 텍스트 세그먼트 간의 BM25 관련성 점수를 통해 추정됩니다.
• $TRR(x)$ (텍스트 중복률): gzip 압축 비율을 통해 추정하여 분열 손실을 완화하는 중복 정보를 할인합니다.
• $\alpha, \beta$: 합성된 하류 레이블 없는 프로브를 통해 추정된 모델별 스칼라입니다.

3. 수송 효율성 (TE) 및 라우팅

저자들은 정보 생존과 압축 이점 사이의 균형을 맞추기 위해 수송 효율성 (Transport Efficiency, TE) 점수를 정의했습니다:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: 시각적 압축 비율 (텍스트 토큰 / 시각적 토큰).
• $\gamma$: 평탄한 토큰 시퀀스로 표현할 수 없는 2 차원 레이아웃 (예: 표) 이 렌더링을 통해 보존되는 입력에 대한 구조적 형식 보너스입니다.
• 라우팅 규칙: $TE(x) \ge \tau$ (여기서 $\tau$는 고정 임계값) 일 경우 시각적 경로를 선택하고, 그렇지 않으면 텍스트 경로를 사용합니다. 이 결정은 하류 레이블을 참조하지 않고 이루어집니다.

4. 수송 기반 포베이션 (Foveation)

시각적 경로로 라우팅된 입력의 경우, 프레임워크는 고비용 지역을 국소적으로 수리하기 위해 포베이션을 적용합니다. 패치 수준 비용 $C_q$를 계산하고 고비용 패치를 더 높은 해상도로 선택적으로 재인코딩합니다. 이는 수복된 정보가 토큰 오버헤드를 상회할 때만 발동되는 푸시포워드 맵의 국소적 역함수 역할을 합니다.

주요 기여

1. 작업 의존적 불안정성 분석: VTC 성능이 NLP 벤치마크 전반에 걸쳐 매우 불균일하며, 압축 비율만으로는 유용성을 예측할 수 없음을 입증했습니다.
2. 측정 수송 공식화: ViT 기반 시각적 인코딩을 푸시포워드 맵으로 재해석하여 관찰된 불안정성을 설명하는 분해된 수송 비용 (정밀도 및 커버리지) 을 유도했습니다.
3. 레이블 없는 라우팅 및 포베이션: 완전히 하류 레이블이 없는 결정 기준 ($TE(x)$) 과 동일한 비용 모델에서 유도된 패치 수준 정제 메커니즘 (포베이션) 을 개발했습니다.
4. 실증적 검증: Qwen3-4B 백본을 사용하여 24 개 NLP 데이터셋에서 프레임워크를 검증했으며, 레이블 없는 규칙이 70.8% 의 데이터셋에서 각 데이터셋별 오라클과 일치하고, 토큰 사용량을 줄이면서 순수 LLM 베이스라인 대비 매크로 평균 점수를 향상시켰음을 보였습니다.

결과

Qwen3-4B 를 사용하여 24 개 NLP 벤치마크 (이해, 추론, 생성 포함) 에서 평가한 결과:

• 라우팅 성능: 레이블 없는 라우팅 규칙은 24 개 데이터셋 중 17 개 (70.8%) 에서 최적 경로 (텍스트 대 시각) 를 올바르게 선택하여, 진실을 알고 있는 감독 오라클의 성능과 일치했습니다.
• 성능 향상: 라우팅 전략은 순수 LLM 베이스라인 대비 매크로 평균 점수가 +1.5 점 증가 (+3.3% 상대적) 했습니다.
• 효율성: 라우팅 전략은 순수 LLM 베이스라인 대비 평균 입력 토큰을 10.3% 적게 사용했습니다.
• 포베이션: 국소적 포베이션은 시각적 경로 점수를 평균 +0.4 점 향상시켰으며, 이는 특정 고비용 지역이 중요한 증거를 담고 있는 작업 (예: 멀티홉 QA) 에서 집중적으로 나타났습니다.
• 크로스 스케일 및 크로스 아키텍처: 정성적 패턴은 4B, 8B, 32B 스케일 전반에 걸쳐 유지되었습니다. InternVL3.5 와의 크로스 아키텍처 검증을 통해 작업 의존적 시각 대 텍스트 간격은 특정 모델 계열의 인공물이 아닌 수송 과정의 구조적 속성임을 확인했습니다.

중요성 및 주장

본 논문은 VTC 성능의 모순이 압축 비율이 아닌 불균일한 수송 비용에서 비롯된다고 주장합니다. 시각적 인코더를 푸시포워드 맵으로 모델링함으로써 저자들은 다음과 같은 정보 손실에 대한 구조적 설명을 제공합니다:

• 설명력: 실패 모드를 정밀도 (패치 내) 및 커버리지 (패치 간) 비용으로 분해합니다.
• 운영성: 동일한 기본 비용 매개변수를 공유하는 실용적이고 레이블 없는 라우팅 규칙 및 정제 메커니즘 (포베이션) 을 산출합니다.
• 진단력: 시각적 압축이 신뢰할 수 있는 시점과 피하거나 수리해야 할 시점을 식별합니다.

저자들은 개별 벤치마크에서 최첨단 결과를 달성하거나 모든 VTC 시나리오에 대한 보편적 해결책을 제공한다고 명시적으로 주장하지 않습니다. 대신, 기여는 "얼마나 많은 토큰이 절약되었는가"에서 "어떤 작업 관련 정보가 손실되었는가"로 초점을 이동시키는 수송 기반 진단 프레임워크이며, 이는 시각적 텍스트 압축에 대한 향후 연구를 위한 원칙적인 출발점을 제공합니다. 이 프레임워크는 모든 텍스트 기반 처리를 대체하는 것이 아니라, VTC 의 트레이드오프를 진단하고 관리하기 위한 도구로 제시됩니다.