Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model

이 논문은 기존 이미지 토큰화의 양방향 의존성과 autoregressive 모델의 단방향성 간의 불일치를 해결하기 위해, 의미적 풍부함과 순방향 의존성을 동시에 확보하는 정렬된 토크나이저 'AliTok'을 제안하며, 이를 통해 확산 모델보다 10 배 빠른 속도로 SOTA 성능을 달성한 경량 autoregressive 이미지 생성 모델을 제시합니다.

핵심

🎨 핵심 비유: "레고 조립의 비밀"

생각해 보세요. 우리가 레고로 성을 만들 때, **한 장의 그림 (이미지)**을 **작은 레고 블록 (토큰)**으로 분해해서 나열한다고 가정해 봅시다.

1. 기존 방식의 문제점 (혼란스러운 지시)

   • 기존에는 그림을 분해할 때, **"앞쪽 블록을 만들려면 뒤쪽 블록의 모양도 미리 봐야 해!"**라고 지시했습니다.
   • 예를 들어, 성의 '지붕'을 만들려면 '벽'을 먼저 봐야 하는데, 벽을 만들려면 '지붕'의 모양을 미리 알아야 하는 식입니다.
   • 결과: 인공지능이 "다음 블록은 뭐지?"라고 예측할 때, 미래 (아직 안 만든 부분) 를 봐야 한다는 모순 때문에 매우 혼란스러워합니다. "아직 안 만든 걸 어떻게 알지?"라며 예측이 엉망이 되고, 그림을 그리는 속도가 느려집니다.

2. 이 논문의 해결책: 'AliTok' (정렬된 지시)

   • 저자들은 "왜 미래의 정보를 미리 봐야 해? 앞에서부터 순서대로만 만들 수 있게 블록을 재배열하자!"라고 생각했습니다.
   • AliTok이라는 새로운 도구를 만들어, 그림을 분해할 때 앞의 블록이 뒤의 블록에 의존하지 않도록 설계했습니다.
   • 비유: 마치 책을 읽을 때, 앞 페이지를 읽지 않고 뒤 페이지를 볼 수 없듯이, 이미지 블록도 순서대로만 정보를 담도록 만든 것입니다.

---

🚀 어떻게 작동할까요? (3 단계 프로세스)

이 새로운 도구 (AliTok) 는 세 가지 단계로 작동합니다.

1 단계: "미래를 보지 않는 훈련" (인과적 디코더)

• 그림을 분해하는 기계 (인코더) 는 원래 모든 것을 한눈에 보며 블록을 만듭니다. 하지만 이 기계가 만든 블록을 다시 조립할 때, 오직 앞쪽 블록만 보고 뒤쪽을 보지 못하게 제한합니다.
• 효과: 기계는 어쩔 수 없이 "앞쪽 블록만 보고도 뒤쪽을 완벽하게 설명할 수 있도록" 블록을 만들게 됩니다. 이렇게 되면 인공지능이 다음 블록을 예측할 때 훨씬 수월해집니다.

2 단계: "첫 줄을 위한 보조 대역" (프refix 토큰)

• 문제는 **첫 번째 줄 (이미지의 맨 위)**입니다. 앞쪽이 없으니 예측하기 너무 어렵습니다.
• 그래서 **맨 위 줄을 위한 '비밀 노트 (프refix 토큰)'**를 따로 만들어서, 첫 줄이 시작될 때 필요한 정보를 미리 주입해 줍니다.
• 비유: 연극을 시작할 때 배우가 무대에 오르기 전에 대본을 미리 받아보는 것과 같습니다.

3 단계: "고퀄리티 복원" (2 단계 학습)

• 위 1, 2 단계를 거치면 인공지능이 그림을 그리는 속도는 빨라졌지만, 원래 그림의 디테일이 조금 흐릿해질 수 있습니다.
• 그래서 인공지능이 그림을 그리는 과정 (인코더) 은 그대로 둔 채, 그림을 다시 복원하는 기계 (디코더) 만을 다시 훈련시켜 원래 그림처럼 선명하게 만들게 합니다.
• 결과: 빠른 속도와 고화질을 동시에 잡았습니다.

---

🏆 이 기술이 가져온 놀라운 성과

이 방법을 쓰자마자 기존 기술들과 비교해 압도적인 결과가 나왔습니다.

• 속도: 기존에 가장 빠르다고 알려진 '확산 모델 (Diffusion)'보다 10 배 더 빠릅니다. (마치 10 분 걸리는 일을 1 분 만에 끝내는 것)
• 품질: 적은 양의 컴퓨터 자원 (파라미터) 으로도 가장 최신 기술보다 더 선명하고 아름다운 이미지를 만듭니다.
• 간단함: 복잡한 새로운 알고리즘을 만들지 않고, **기존에 쓰던 '순차 예측' 방식 (GPT 처럼 한 글자씩 예측하는 방식)**만으로도 최고의 성능을 냈습니다.

💡 한 줄 요약

"그림을 분해할 때, '미래를 미리 봐야 한다'는 복잡한 규칙을 버리고, '앞에서부터 순서대로'만 읽을 수 있도록 블록을 재배열했습니다. 그 결과, 인공지능이 그림을 그리는 속도가 10 배 빨라지고 화질은 더 좋아졌습니다."

이 연구는 인공지능이 이미지를 생성할 때, 데이터 (이미지) 를 모델 (인공지능) 이 이해하기 쉽게 맞춰주는 것이 얼마나 중요한지 보여줍니다. 마치 번역가가 복잡한 원문을 독자가 이해하기 쉬운 문체로 바꾸어주는 것과 같습니다.

기술 요약

AliTok: 토크나이저와 자기회귀 모델 간의 시퀀스 모델링 정렬을 위한 기술 요약

이 논문은 ICLR 2026 에 제출된 **"Towards Sequence Modeling Alignment Between Tokenizer and Autoregressive Model"**으로, 이미지 생성 분야에서 자기회귀 (Autoregressive, AR) 모델의 성능 한계를 극복하기 위해 제안된 새로운 토크나이저 AliTok을 소개합니다.

1. 문제 정의 (Problem)

기존의 자기회귀 이미지 생성 모델은 자연어 처리 (NLP) 의 GPT 스타일 아키텍처에서 영감을 받아, 래스터 스캔 (raster-scan) 순서로 토큰을 순차적으로 예측하는 방식을 사용합니다. 그러나 이미지 생성에는 다음과 같은 근본적인 불일치 (Misalignment) 가 존재합니다.

• 양방향 의존성 vs 단방향 예측: 이미지는 본질적으로 공간적 연속성을 가지며, 패치 간의 의존성이 양방향 (이전과 이후 컨텍스트 모두) 입니다. 반면, 표준 자기회귀 모델은 단방향 (과거 컨텍스트만) 으로만 다음 토큰을 예측합니다.
• 기존 토크나이저의 한계: 기존 VQ-VAE 나 VQ-GAN 과 같은 토크나이저는 재구성 (Reconstruction) 품질을 극대화하기 위해 모든 토큰이 전역적으로 협력하여 정보를 압축합니다. 이는 토큰 표현이 '미래'의 컨텍스트 (이미지 패치 순서상 뒤쪽) 에 의존하게 만듭니다.
• 결과: AR 모델이 학습해야 할 조건부 확률 분포 $p(x_i | x_{<i})$가 본질적으로 고엔트로피 (high-entropy) 가 되어 학습이 매우 어렵고, 생성 품질이 낮아집니다. 즉, 모델이 보지 못한 미래 정보를 기반으로 토큰이 인코딩되어 있기 때문입니다.

2. 방법론 (Methodology)

저자들은 모델 구조를 복잡하게 변경하는 대신, 데이터 (토큰 시퀀스) 의 의존성 구조를 AR 모델에 맞춰 조정하는 새로운 토크나이저 AliTok을 제안합니다.

핵심 아이디어: 인과적 제약 하의 양방향 인코더

AliTok 은 **양방향 인코더 (Bidirectional Encoder)**와 **인과적 디코더 (Causal Decoder)**를 결합한 독특한 아키텍처를 사용합니다.

1. 인과적 디코더 (Causal Decoder) 의 역할:

   • 인코더는 여전히 양방향 어텐션을 사용하여 전역적인 의미 정보를 효율적으로 압축합니다.
   • 그러나 디코더는 **인과적 (Causal)**으로만 작동합니다. 즉, $i$번째 패치를 재구성할 때 $i$번째 이전의 토큰 정보만 사용할 수 있습니다.
   • 이 제약은 인코더에게 강력한 정규화 (Regularizer) 역할을 합니다. 인코더는 제한된 시야 (과거 컨텍스트) 만으로 재구성이 가능하도록 토큰을 인코딩해야 하므로, 필요한 컨텍스트 정보를 각 토큰의 인과적 역사 (Causal History) 안에 조직화하게 됩니다.
   • 결과적으로 생성된 토큰 시퀀스는 의미적으로 풍부하면서도 AR 모델이 예측하기 쉬운 (높은 예측 가능성) 구조를 갖게 됩니다.

2. 프refix 토큰 (Prefix Tokens) 과 보조 손실 (Auxiliary Loss):

   • 인과적 디코더는 첫 번째 행 (이미지 시작 부분) 에 대한 선행 컨텍스트가 부족하여 재구성 품질이 떨어지는 문제가 발생합니다.
   • 이를 해결하기 위해 첫 번째 행의 패치 16 개에 대응하는 16 개의 프refix 토큰을 도입합니다.
   • 이 토큰들은 별도의 **보조 손실 (Auxiliary Loss)**을 통해 최적화되어, 첫 번째 행의 재구성을 위한 컨텍스트 사전 지식 (Contextual Priors) 을 제공합니다.

3. 2 단계 학습 전략 (Two-Stage Training):

   • 1 단계: 인과적 디코더를 사용하여 생성 친화적인 (Generation-friendly) 인코더와 코드북을 학습합니다.
   • 2 단계: 학습된 인코더와 코드북을 고정 (Freeze) 한 후, 별도의 양방향 디코더를 재학습하여 디테일과 시각적 연속성을 극대화합니다. 이를 통해 생성 품질을 희생하지 않으면서 재구성 품질 (rFID) 을 높입니다.

3. 주요 기여 (Key Contributions)

1. 근본적인 문제 규명: 기존 토크나이저가 인코딩된 토큰 내에 양방향 의존성을 형성하여, AR 모델의 단방향 예측 패러다임과 충돌함을 실증적으로 규명했습니다.
2. AliTok 제안: 인과적 디코더로 양방향 인코더를 제약함으로써, 재구성 품질을 유지하면서도 AR 모델이 쉽게 학습할 수 있는 토큰 시퀀스를 생성하는 간단하고 효과적인 디자인을 제안했습니다.
3. SOTA 성능 달성: 제안된 토크나이저를 기반으로 한 표준 디코더 전용 AR 모델이 ImageNet 벤치마크에서 최첨단 확산 (Diffusion) 모델들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

ImageNet-256 및 ImageNet-512 에서의 실험 결과는 다음과 같습니다.

• ImageNet-256 (256x256):
  • AliTok-XL (662M 파라미터): gFID 1.28, IS 306.3 을 기록하여, 675M 파라미터의 최첨단 확산 모델인 LightningDiT (gFID 1.35) 보다 우수한 성능을 보였습니다.
  • 샘플링 속도: 확산 모델에 비해 10 배 이상 빠른 샘플링 속도를 달성했습니다 (KV-Cache 활용).
  • AliTok-L (318M 파라미터): gFID 1.38 로 기존 모든 AR 기반 모델 (RAR-XXL 등) 을 능가했습니다.
• ImageNet-512 (512x512):
  • AliTok-L (318M) 이 gFID 1.39를 기록하여 512 해상도에서도 SOTA 성능을 달성했습니다.
• 재구성 품질: 2 단계 학습을 통해 rFID 0.86 을 달성하여, 대용량 코드북을 사용하는 GigaTok 등 기존 토크나이저와 경쟁력 있는 재구성 품질을 유지했습니다.
• 학습 효율성: AliTok 을 사용하면 AR 모델의 학습 정확도가 기존 방법 (5.4%) 대비 약 2 배 이상 (10.5% 이상) 향상되어 학습이 훨씬 수월해졌습니다.

5. 의의 및 결론 (Significance)

이 논문은 **데이터와 모델 패러다임의 정렬 (Alignment)**이 생성 모델의 성능을 결정하는 핵심 요소임을 보여줍니다.

• 모델 복잡도 감소: 기존 AR 기반 생성 모델들이 양방향 어텐션이나 복잡한 마스킹 전략을 도입해야 했던 필요성을 없애고, 단순한 디코더 전용 (Decoder-only) AR 모델로도 최첨단 성능을 낼 수 있음을 증명했습니다.
• 효율성: 확산 모델에 비해 훨씬 빠른 추론 속도와 적은 파라미터로 고품질 이미지를 생성할 수 있어, 멀티모달 생성 모델의 통합 및 상용화에 중요한 기여를 합니다.
• 미래 전망: AliTok 은 이미지뿐만 아니라 비디오 및 텍스트 - 이미지 생성과 같은 다른 멀티모달 작업에서도 표준 AR 아키텍처의 잠재력을 극대화할 수 있는 강력한 토크나이저 프레임워크로 평가됩니다.

요약하자면, AliTok 은 "데이터를 모델에 맞추는 것"이 아니라 "모델이 잘 학습할 수 있도록 데이터를 재설계한다"는 관점에서, 자기회귀 이미지 생성의 새로운 지평을 열었습니다.