기술 요약: 비전 토큰은 얼마나 많은 정보를 담을 수 있는가?

문제 정의

대규모 언어 모델(LLM)에서 장기 문맥 이해에 대한 수요가 급증하고 있으나, 이는 셀프 어텐션 메커니즘의 이차 복잡도(quadratic computational complexity)로 인해 제약을 받고 있다. 문맥 압축 기술이 존재하지만, 텍스트 전용 모달리티에만 의존하는 것은 중요한 공간적 및 구조적 의미론(예: 표의 정렬, 계층적 레이아웃)을 버리는 결과를 초래한다. 최근 DeepSeek-OCR과 같은 비전 중심 접근 방식은 렌더링된 텍스트 이미지를 연속적인 비전 토큰으로 인코딩하여, 토큰 수를 줄이면서도 이러한 의미론을 보존한다.

그러나 비전 인코더를 유한한 용량을 가진 손실 압축 채널로 간주할 때, 근본적이고 아직 탐구되지 않은 질문이 제기된다: 비전 토큰에 압축될 수 있는 의미 정보의 상한선은 무엇인가? 이산적인 텍스트 토큰화(예: BPE)가 무손실 재구성을 보장하는 것과 달리, 비전 인코더는 계산 효율성(토큰 수 최소화)과 표현 능력 사이의 트레이드오프에 직면한다. 만약 토큰당 정보 밀도가 인코더의 한계를 초과하면 인식 실패가 발생한다. 본 논문은 이미지 내 정보량과 이를 인코딩하는 데 사용되는 비전 토큰 수 사이의 정량적 관계를 조사하여, 비전 토큰의 용량 한계를 식별하는 것을 목표로 한다.

방법론

실험 설정

저자들은 언어적 사전 지식으로부터 비전 토큰의 용량 한계를 격리하기 위해 통제된 스트레스 테스트를 설계했다:

• 데이터 합성: 여섯 가지 다양한 도메인(소설, 법률, 경제, 의학, 신문, 편지)의 텍스트를 수집했다. 블록 단위 셔플링(Block-wise Shuffling) 전략을 사용하여 텍스트를 블록으로 분할하고, 무작위로 샘플링하여 결합했다. 이는 모델이 의미적 문맥에 기반해 다음 토큰을 예측하는 대신 시각적 지각에 의존하도록 강제한다.
• 타이포그래피 제어: 다양한 밀도를 시뮬레이션하기 위해 타이포그래피 파라미터(폰트 크기, 행/문자 간격)를 조정했다. 동적 레이아웃 알고리즘을 통해 이미지가 0.9와 1.1 사이의 종횡비를 유지하도록 했다.
• 모델: 입력 해상도를 통해 비전 토큰 예산을 조절할 수 있는 능력을 갖춘 DeepSeek-OCR을 주요 모델로 선택했다. 일반화 가능성을 검증하기 위해, 연구는 또한 InternVL3.5-8B(타일 기반 고해상도 전략)와 Qwen2.5-VL-8B(네이티브 다이내믹/NaViT 전략)를 평가했다.
• 지표: 예측된 시퀀스와 실제 정답 사이의 **편집 거리(Edit Distance, ED)**를 사용하여 인식 품질을 측정했다.

실패 메커니즘 조사

저자들은 네 가지 해상도($R \in \{512, 640, 1024, 1280\}$)에 걸쳐 증가하는 텍스트 길이(정보량)에 따른 성능을 분석하여, 안정 상태에서 붕괴로 이어지는 전이 과정을 규명했다.

1. 공간 정렬 민감도 (Zone I): 오류가 비전 트랜스포머(ViT) 패치 미정렬로 인한 것인지 테스트하기 위해, 픽셀 이동 섭동(Pixel-Shift Perturbation) 실험을 수행했다. 이미지를 서브 패치 스트라이드만큼 이동시켜 최적의 정렬을 찾았다.
2. 용량 vs 가독성 (Zone II): 시각적 가독성 한계(문자가 너무 작아짐)와 정보 용량 한계를 구분하기 위해, 시각적 밀도 정렬(Visual Density Alignment) 실험을 수행했다. 안정 단계와 붕괴 단계의 이미지를 고정된 캔버스 크기로 재조정하여 동일한 문자 픽셀 밀도를 보장함으로써, 총 정보량이라는 변수만을 분리해 냈다.

확률적 스케일링 법칙

저자들은 평균 비전 토큰 부하($G$)(토큰당 문자 수)와 시각적 밀도($V$)(ViT 패치당 라인 수)를 잠재 난이도($Z$) 지표로 통합하는 모델을 공식화했다:
$$Z = w_0 + a \log V + \alpha \log G$$
혼합 모델(Mixture model)을 사용하여 $Z$에 기반해 "붕괴 메커니즘"에 진입할 확률을 예측하였으며, 이 전이를 확률적 과정으로 취급했다.

주요 결과

1. 상전이 현상

연구는 정보량이 증가함에 따라 인식 성능에서 나타나는 뚜렷한 세 가지 단계의 동작을 식별했다:

• 안정 단계 (Stable Phase): ED가 거의 0에 가깝다. 모델이 텍스트를 성공적으로 재구성한다.
• 불안정 단계 (Instability Phase): 동일한 텍스트 길이에 대해서도 ED가 급격히 변동하는 높은 분산의 영역이다.
• 붕괴 단계 (Collapse Phase): ED가 갑자기 급증(>0.6)하는 "하드 월(Hard Wall)"로, 콘텐츠 재구성에 완전히 실패했음을 나타낸다.

2. 실패 메커니즘

• 불안정성은 가역적이다: 픽셀 이동 실험을 통해 불안정 단계의 오류가 ViT 패치 분할에서의 공간 정렬 민감도에 의해 발생함을 확인했다. 이미지를 이동시켜 문자를 패치 경계에 맞추면 성능이 다시 거의 0의 에러 수준으로 회복되었다.
• 붕괴는 비가역적이다: 시각적 밀도 정렬 실험은 "시각적 가독성 가설"을 반박했다. 문자를 동일한 시각적 규모로 렌더링하더라도, 붕괴 단계의 샘플은 실패한 반면 안정 단계의 샘플은 성공했다. 이는 붕의 붕괴가 단순한 시각적 흐림이나 정렬 문제가 아니라, 고정된 수의 비전 토큰이 의미적 페이로드를 인코딩하지 못하는 정보 용량 한계에 의해 발생함을 확인시켜 준다.

3. 보편적 스케일링 법칙

• 해상도 독립성: 불안정 단계의 폭은 해상도와 관계없이 일관되게 텍스트 길이의 약 2.2배 범위를 차지하며 스케일 불변성을 보였다.
• 부하 지배력: 토큰 부하의 스케일링 지수($\alpha \approx 5.53$)는 시각적 밀도의 지수($a \approx 2.91$)보다 거의 두 배 높았으며, 이는 전체 텍스트 길이(정보량)가 국소적 문자 밀도보다 실패를 예측하는 더 강력한 변수임을 나타낸다.
• 일반화 가능성: DeepSeek-OCR에서 도출된 고정된 스케일링 지수를 가진 확률적 스케일링 법칙은 InternVL3.5-8B와 Qwen2.5-VL-8B의 상전이를 성공적으로 예측했다. 이는 이러한 한계가 현재의 ViT 기반 비전 토큰화의 본질적인 특성임을 시사한다.

의의 및 주장

본 논문은 비전 토큰의 정보 용량 한계에 대한 최초의 체계적인 연구임을 주장한다. 주요 기여는 다음과 같다:

1. "하드 월(Hard Wall)"의 정의: 비전 토큰이 유한한 정보 용량을 가지며, 이를 넘어서면 단순한 시각적 흐림이나 정렬 문제를 넘어 인식이 돌이킬 수 없이 붕괴된다는 점을 확립했다.
2. 메커니즘적 구분: ViT 그리드 미정렬로 인한 가역적 오류와 용량 고갈로 인한 비가역적 오류를 구분했다.
3. 실무적 가이드라인: 제안된 확률적 스케일링 법칙은 비전 토큰 예산이 처리할 수 있는 최대 정보량을 추정하는 도구를 제공한다. 이를 통해 문서 밀도에 따라 토큰 예산이나 해상도를 동적으로 조정하여 효율성과 정확도 사이의 트레이드오프를 최적화하는 "콘텐츠 인식형(content-aware)" 추론이 가능하다.

저자들은 비전 중심 압축이 장기 문맥 모델링을 위한 유망한 패러다임이지만, 향후 VLM 아키텍처에서 명시적으로 모델링하고 최적화해야 할 내재적 정보 한계에 묶여 있다고 결론지었다. 또한 본 연구가 영어 텍스트와 ViT 기반 아키텍처에 집중되어 있다는 한계를 언급하며, 문자 밀도가 더 높거나 근본적으로 다른 토큰화 메커니즘을 가진 언어는 용량 한계가 달라질 수 있음을 시사했다.