기술 요약: 통합 픽스 토큰 및 단어 토큰 생성 언어 모델

1. 문제 제기

저자들은 CLIP 또는 SigLIP 과 같은 대비 학습 (contrastive methods) 을 통해 사전 훈련된 비전 트랜스포머 (ViT) 를 비전 인코더로 사용하는 최신 오픈소스 멀티모달 모델 (예: LLaVA, Kimi-2.5, Qwen-2.5-VL) 에 있어 치명적인 한계를 식별했습니다. 이 논문은 해당 아키텍처가 다음과 같은 네 가지 주요 문제를 겪고 있다고 주장합니다:

1. 세부 정보 손실: ViT 는 이미지를 텍스트와 유사한 특징 벡터로 인코딩하는데, 이는 이미지 내의 작은 텍스트나 숫자와 같은 미세한 세부 사항을 표현하지 못할 수 있습니다.
2. 불안정성 (연쇄 반응): 이미지의 미세한 변화 (예: 번호판 숫자가 1 에서 6 으로 변경됨) 가 인코딩된 특징 내의 모든 부동 소수점 숫자를 변경시켜 불안정한 표현을 초래합니다.
3. "가짜" 토큰 임베딩: ViT 는 패치 (patching) 를 통해 토큰 임베딩을 생성합니다. 이러한 임베딩은 실제로 조정 가능한 매개변수가 부족하여 대형 언어 모델 (LLM) 의 단어 토큰에 비해 표현력이 제한적입니다.
4. 지도 학습의 한계: CLIP 과 SigLIP 은 제한된 데이터셋을 활용한 지도 학습에 의존하므로, 분포 외 (out-of-distribution) 시나리오에서 잠재적인 결함이 발생할 수 있습니다.

2. 방법론

이 논문은 별도의 ViT 인코더가 필요 없도록 이미지 픽셀을 단어와 유사한 1 급 토큰으로 취급하는 통합 픽스 토큰 및 단어 토큰 생성 언어 모델을 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 픽스 토큰 임베딩

패치 방식 대신, 이 모델은 단일 픽셀마다 고유하고 학습 가능한 토큰 임베딩을 할당합니다.

• 토큰 계산: RGB 값 $(r, g, b)$을 가진 픽셀은 $TokenValue = r + g \times L + b \times L^2$ 공식을 사용하여 고유 토큰 값으로 매핑됩니다. 여기서 $L$은 색상 채널 길이 (기본값 256) 입니다.
• 임베딩 공간: 이는 약 1,670 만 ($256^3$) 개의 토큰으로 구성된 어휘를 생성합니다. 각 토큰은 단어 토큰과 유사한 조정 가능한 매개변수를 허용하는 차원 $d$의 독립적인 학습 가능 임베딩 벡터를 가집니다.
• 손실 없는 전처리: RGB 값을 부동 소수점 숫자로 정규화하여 잘림 오류를 발생시키는 전통적인 방법과 달리, 이 방법은 정수 기반 토큰화를 사용하여 손실 없는 데이터 전처리를 보장합니다.

2.2 컬러 폴딩 (Color Folding)

1,670 만 개의 어휘 크기로 인한 계산상의 비현실성을 해결하기 위해 저자들은 컬러 폴딩을 도입했습니다.

• 개념: "폴딩 인자 (Folding Factor)"($f$) 가 색상 채널 길이를 $L$에서 $L/f$로 줄입니다. 새로운 색상 값은 $(R//f, G//f, B//f)$가 됩니다.
• 근거: 저자들은 인간의 눈이 미세한 색상 차이 (예: 8 비트 채널에서 8 단위 변화) 를 구별하지 못한다고 주장합니다. 색상 공간을 줄이는 것 (예: 폴딩 인자 16 사용) 은 시각적 충실도를 유지하면서 토큰 어휘 크기 ( $f=16$ 일 때 4,096 으로 감소) 와 계산 부하를 극적으로 줄입니다.

2.3 통합 모델 아키텍처

이 모델은 단어 토큰과 픽스 토큰을 단일 생성 시퀀스로 통합합니다.

• 전역에서 지역으로의 윈도우 근사: 긴 픽셀 시퀀스에 대한 전역 자기 주의 (global self-attention) 의 $O(N^2)$ 복잡성을 피하기 위해, 모델은 전역 픽셀 시퀀스를 로컬 윈도우 배치로 변환합니다.
• 로컬 윈도우 주의: 각 윈도우 내에서 마스크된 멀티헤드 자기 주의가 수행됩니다.
• 전역 조건부 주의 근사: 모델은 각 로컬 윈도우에서 마지막 토큰 임베딩을 추출합니다. 이러한 임베딩은 단어 토큰 임베딩과 결합된 후 후속 트랜스포머 디코더를 통과합니다. 저자들은 입력이 주어졌을 때 출력 $Y$의 확률이 집계된 로컬 윈도우 표현을 기반으로 한 확률로 근사되므로, 이것이 전역 조건부 주의를 근사한다고 주장합니다.
• 예측 전략: 모델은 다음 토큰을 예측하며, 이는 단어 토큰이거나 다음 로컬 윈도우의 첫 번째 픽셀 토큰일 수 있습니다.

3. 주요 기여

1. 진정한 픽셀 단위 토큰화: ViT 의 "가짜" 패치 기반 임베딩과 대조적으로, 모든 픽셀이 독립적이고 학습 가능한 임베딩을 갖는 "픽스 토큰 임베딩" 제안.
2. 컬러 폴딩: 인간 시각 지각 한계를 기반으로 색상 공간을 양자화하여 픽셀 토큰화의 계산 복잡성을 줄이는 새로운 기법으로, 비지도 픽셀 단위 학습을 실현 가능하게 함.
3. 통합 아키텍처: 텍스트와 이미지 토큰을 단일 시퀀스로 통합하여 모델이 두 모달리티에 대해 동시에 자기 주의 및 토큰 예측을 수행할 수 있게 하는 생성 모델.
4. 이미지 비지도 사전 훈련: GPT-3 의 텍스트 사전 훈련 성공을 모방하여, 지도 레이블 없이 방대한 이미지 데이터에서 직접 패턴을 학습할 수 있는 프레임워크.

4. 실험 결과

저자들은 제한된 컴퓨팅 자원 때문에 이미지 비지도 사전 훈련에 중점을 둔 실험을 수행했습니다.

• 설정: 1 억 2 천만 개의 매개변수를 가진 소형 모델을 llava-cc3m-pretrain-595k 데이터셋의 100,000 개 샘플 (약 50 억 픽셀 토큰) 로 훈련했습니다. 이미지 크기는 224x224 이며 컬러 폴딩 인자는 16 이었습니다.
• 결과:
  • 훈련 및 검증 손실 곡선은 GPT-3 의 텍스트 사전 훈련과 유사하게 수렴했으나, 처리된 픽셀 토큰 수에 비례하여 더 빠른 수렴을 보였습니다.
  • 모델은 적은 매개변수 수와 제한된 데이터로도 픽셀 토큰 시퀀스의 패턴을 학습할 수 있음을 입증했습니다.
• 한계: 저자들은 자원 제약으로 인해 대규모 모델 테스트나 혼합 텍스트 - 이미지 사전 훈련을 수행할 수 없었다고 명시적으로 밝혔습니다.

5. 중요성 및 주장

이 논문은 해당 아키텍처가 멀티모달 학습의 근본적인 전환을 나타낸다고 주장합니다:

• 확장성: 저자들은 이 모델이 **스케일링 법칙 (scaling law)**을 준수한다고 믿습니다. 모델 매개변수와 훈련 데이터가 증가함에 따라 성능은 계속 향상되어 현재 ViT 기반 접근법을 능가할 가능성이 있습니다.
• 견고성: 픽셀 변화를 전체 특징 벡터를 변경하는 대신 특정 토큰 임베딩으로 격리함으로써, 모델은 미세한 이미지 교란에 더 견고합니다.
• 미래 잠재력: 저자들은 이 방법이 생산 환경에서 CLIP/SigLIP 파이프라인을 대체하여 더 상세하고 안정적이며 확장 가능한 시각 이해 접근법을 제공할 수 있다고 가정합니다. 충분한 컴퓨팅 자원이 있다면 이 모델의 잠재력이 인류 전체에 혜택을 줄 수 있기를 희망한다고 표명했습니다.

이 논문은 제안된 모델이 픽셀과 단어 토큰을 성공적으로 통합하여 손실 없는 전처리와 비지도 사전 훈련을 가능하게 함으로써, 현재 대비 학습 기반 비전 인코더의 고유한 한계를 해결했다고 결론지었습니다.