기존의 AI 모델들은 고해상도 이미지를 컴퓨터가 이해할 수 있는 작은 조각들 (토큰, Token) 로 잘게 나누어 저장합니다. 마치 거대한 모자이크 그림을 작은 타일 조각들로 표현하는 것과 비슷하죠.
하지만 기존 방식은 이 타일 조각들을 만들 때 **"원래 그림과 똑같이 복원하는 것"**에만 집중했습니다.
비유: 만약 누군가에게 "고양이" 그림을 설명하라고 했을 때, 기존 방식은 "귀가 3 각형이고 털이 갈색이야" 같은 세부적인 외형만 나열했습니다. 하지만 "이건 고양이야!"라는 핵심 개념은 제대로 전달되지 않았죠.
결과: AI 가 그림을 그릴 때, "고양이"라는 개념을 잊어버리고 엉뚱한 동물을 그리거나, 세부적인 털 하나하나를 그리느라 시간이 너무 오래 걸립니다.
💡 2. 해결책 1: SMAP (의미 있는 '접두어'를 붙이다)
저자들은 이 문제를 해결하기 위해 SMAP이라는 새로운 방법을 개발했습니다. 핵심 아이디어는 **"이미지를 설명할 때, 가장 중요한 '개념'을 맨 앞에 먼저 말하게 한다"**는 것입니다.
🏷️ 비유: "요리 레시피의 제목과 재료"
기존 방식: 레시피를 쓸 때 "계란 2 개, 밀가루 1 컵, 설탕..." 순서로 적다가 마지막에 "아, 이건 케이크 만드는 거야"라고 적는 거예요.
SMAP 방식: 레시피 맨 앞에 **"케이크"**라고 크게 적고, 그 다음에 "계란, 밀가루..."를 적어요.
SMAP 의 두 가지 핵심 기술:
의미 주입 (Semantic Injection):
이미지의 '카테고리' (예: 고양이, 자동차) 정보를 **맨 앞 (Prefix)**에 고정된 정보로 넣습니다.
비유: 그림을 그릴 때, 화가에게 "오늘 그릴 건 고양이야"라고 먼저 알려주는 거죠. 화가는 이제 '고양이'라는 틀 안에서만 그림을 그리게 됩니다.
꼬리 자르기 전략 (Tail Token Dropping):
훈련할 때, 뒤에 있는 세부 정보 (꼬리) 를 일부러 지워버리는 연습을 시킵니다.
비유: 화가에게 "맨 앞의 '고양이' 정보만 보고 대략적인 윤곽을 그려봐. 나머지 세부 묘사는 나중에 해"라고 하는 거예요.
효과: 이렇게 하면 화가 (AI) 는 반드시 '고양이'라는 개념을 먼저 이해하고 그림을 그려야만 합니다. 결과적으로 AI 는 '고양이'라는 핵심 개념을 가장 중요한 정보로 저장하게 되죠.
🚀 3. 해결책 2: CARD (새로운 화가)
이렇게 똑똑하게 만들어진 '언어 (토큰)'를 이용해 그림을 그리는 새로운 화가 CARD를 만들었습니다.
비유: SMAP 이 만든 언어는 **"개념 (Prefix) + 세부 묘사 (나머지)"**로 나뉘어 있습니다.
CARD 는 먼저 **"개념"**을 보고 전체적인 구도를 잡습니다 (예: "고양이니까 귀가 있고 꼬리가 있겠지").
그 다음에 **"세부 묘사"**를 채워 넣으며 디테일을 완성합니다.
장점: 이렇게 하면 **적은 정보량 (짧은 토큰)**으로도 훨씬 더 선명하고 정확한 그림을 빠르게 그릴 수 있습니다.
📊 4. 결과: 더 작고, 더 똑똑한 그림
실험 결과, 이 방법 (SMAP + CARD) 은 다음과 같은 성과를 냈습니다.
복원 능력 향상: 원본 이미지를 다시 만들 때 훨씬 더 선명하고 정확합니다.
생성 능력 향상: 적은 정보량 (128 개의 작은 조각) 만으로도 다른 거대한 모델들보다 더 좋은 그림을 그립니다.
핵심 통찰: "단순히 그림을 똑같이 복사하는 것"이 아니라, **"그림의 의미 (고양이, 자동차 등) 를 먼저 이해하고 저장하는 것"**이 AI 가 그림을 잘 그리게 하는 비결이었습니다.
🌟 한 줄 요약
"기존 AI 는 그림의 '세부 묘사'만 외웠지만, 이 새로운 방법 (SMAP) 은 그림의 '핵심 개념'을 맨 앞에 적어두고, 세부 묘사는 나중에 채우게 훈련시켜서, 적은 정보로도 훨씬 더 똑똑하고 아름다운 그림을 그리게 만들었습니다."
이 기술은 앞으로 AI 가 더 적은 전산 자원으로 더 높은 퀄리티의 영상을 만들 수 있는 길을 열어줄 것으로 기대됩니다.
1. 연구 배경 및 문제 정의 (Problem)
배경: 최근 이미지 생성 모델 (확산 모델, 자기회귀 모델 등) 은 고차원 픽셀 공간을 컴팩트한 잠재 공간 (latent space) 으로 매핑하는 비주얼 토크나이저 (Visual Tokenizer) 에 의존합니다.
문제점:
기존 토크나이저들은 주로 재구성 (reconstruction) 에 중점을 둔 목적 함수로 훈련됩니다. 이로 인해 학습된 잠재 표현이 고수준 의미 (high-level semantics) 와 약하게만 연결되는 경향이 있습니다.
최근 연구들은 의미 정렬 (semantic alignment) 을 개선하려 시도하지만, 이를 부가적인 정규화 (auxiliary regularization) 로만 취급합니다. 즉, 의미 신호가 표현 학습에 필수적인 기능적 역할을 하도록 강제하지는 않습니다.
결과적으로, 재구성은 잘 되더라도 생성 모델 (generator) 이 고수준 구조와 개념을 효율적으로 활용하기 어렵고, 제한된 토큰 예산 (token budget) 하에서 성능이 저하될 수 있습니다.
2. 제안 방법론 (Methodology)
저자들은 SMAP (SeMantic-Aware Prefix tokenizer) 과 이를 기반으로 한 CARD (hybrid Causal AutoRegressive–Diffusion generator) 를 제안합니다.
A. SMAP: 의미 인식 접두사 토크나이저
SMAP 은 쿼리 기반 (query-based) 1D 토크나이저 아키텍처를 기반으로 하며, 두 가지 핵심 메커니즘을 도입합니다.
명시적 의미 주입 (Explicit Semantic Injection):
클래스 레벨의 조건 (예: '개', '자동차' 등) 을 인코더와 디코더의 시퀀스 요소로 직접 주입합니다.
시각적 패치 토큰과 학습 가능한 잠재 쿼리 사이에 조건 임베딩을 삽입하여, 시각적 내용과 의미적 단서가 자기 주의 (self-attention) 를 통해 상호작용하도록 합니다.
이는 의미가 단순한 보조 신호가 아니라, 토큰 형성 및 재구성에 필수적인 요소가 되도록 합니다.
꼬리 토큰 드롭 전략 (Tail Token Dropping Strategy):
훈련 과정에서 잠재 토큰 시퀀스의 꼬리 (tail) 부분을 무작위로 잘라냅니다.
토큰 예산이 줄어들수록 (예: 토큰 수 0 개), 디코더는 오직 조건 임베딩 (C) 과 마스크 토큰만으로 이미지를 재구성해야 합니다.
이 전략은 의미 조건과 초기 잠재 접두사 (prefix) 가 점점 더 많은 구조적 책임을 지도록 강제합니다. 결과적으로 의미 정보는 접두사에 고정되고, 이후 토큰들은 인스턴스별 세부 사항을 담당하는 정보 순서화 (information-ordered) 된 표현을 학습하게 됩니다.
B. CARD: 하이브리드 생성 모델
SMAP 이 학습한 의미 기반 잠재 공간을 활용하기 위해 CARD 를 제안합니다.
구조: 자기회귀 (Autoregressive) 모델과 확산 (Diffusion) 모델의 하이브리드입니다.
자기회귀 모듈: 잠재 토큰 간의 고수준 구조적 의존성을 모델링하여 거시적 구조를 생성합니다.
확산 기반 정제 모듈: Flow Matching 을 사용하여 조건 분포를 정제하고 세부 사항을 추가합니다.
공유된 의미 조건 (Semantic Condition Sharing): 생성기 (CARD) 가 토크나이저 (SMAP) 훈련 시 학습한 동일한 클래스 임베딩을 조건으로 재사용합니다. 이는 토크나이저와 생성기 간의 의미 일관성을 극대화합니다.
3. 주요 기여 (Key Contributions)
기존 훈련 파이프라인의 한계 지적: 기존 방법론이 의미를 '부정합적 정렬 (loose alignment)'로만 다룬 점을 지적하고, 의미 정보를 재구성에 필수적인 기능적 구성 요소로 만드는 것이 핵심임을 강조했습니다.
SMAP 제안: 의미 조건을 접두사 불변량 (prefix-preserved invariant) 으로 포함하고, 토큰 절단을 통해 의미 의존성을 강제함으로써, 의미 기반의 정보 순서화 및 길이 적응형 토큰 시퀀스를 학습합니다.
CARD 개발 및 검증: SMAP 기반의 하이브리드 생성기를 개발하여, 의미 기반 토크나이저가 재구성 품질뿐만 아니라 제한된 토큰 예산 하에서도 우수한 생성 성능을 보장함을 실험적으로 입증했습니다.
4. 실험 결과 (Results)
데이터셋: ImageNet-1K (256x256).
재구성 성능 (Reconstruction):
SMAP 은 이산 (VQ) 및 연속 (KL, SoftVQ) 토크나이저 설정 모두에서 기존 1D 토크나이저 (TiTok 등) 보다 일관되게 우수한 재구성 FID(rFID) 를 기록했습니다.
특히 꼬리 토큰 드롭 전략을 적용했을 때, 적은 토큰 수 (예: 32 개, 64 개) 에서도 재구성 품질이 크게 향상되었습니다.
생성 성능 (Generation):
SMAP(KL) + CARD (1.1B 파라미터) 모델은 128 개의 토큰 예산으로 gFID 1.85 (CFG 사용 시) 를 달성했습니다.
이는 256~4096 개의 토큰을 사용하는 기존 최첨단 모델 (LDM, DiT, MAR 등) 과 비교해도 경쟁력 있는 성능이며, 훨씬 적은 토큰으로 고품질 생성이 가능함을 보여줍니다.
분석:
의미 조건 (C) 만으로는 카테고리 수준의 구조와 대략적인 레이아웃이 재구성되며, 잠재 토큰 (Z) 이 추가될 때 세부 사항이 보충됨을 시각화 (Figure 1, 4) 로 확인했습니다.
생성기에서 토크나이저의 의미 임베딩을 공유할 때 추가적인 성능 향상이 있었습니다.
5. 의의 및 결론 (Significance)
표현 학습의 패러다임 전환: 잠재 공간 학습에서 의미를 단순한 보조 신호가 아닌, 표현 학습의 필수적인 기능적 구성 요소로 통합해야 함을 주장합니다.
효율성: 의미 기반 접두사 학습을 통해 토큰 수를 줄여도 (Token-Efficient) 고수준 구조와 세부 사항을 모두 포착할 수 있는 잠재 공간을 구축할 수 있음을 입증했습니다.
실용성: SMAP 과 CARD 는 재구성과 생성 모두에서 뛰어난 성능을 발휘하며, 특히 컴팩트한 토큰 예산 하에서 고품질 이미지 생성을 가능하게 하는 새로운 아키텍처를 제시했습니다.
요약하자면, 이 논문은 의미 정보를 토큰 시퀀스의 필수적인 접두사로 강제 학습시킴으로써, 적은 토큰으로도 구조와 세부 사항을 모두 잘 표현할 수 있는 효율적인 이미지 생성 시스템을 제안한 연구입니다.