🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

이 논문은 데이터 독립적인 교차 길이 표현 정렬을 가능하게 하는 학습 가능한 글로벌 병합(global merging)을 채택함으로써, 기존의 절단 기반 방식에 내재된 의미론적 불일치 문제를 극복하고 디퓨전 트랜스포머(Diffusion Transformers)를 위한 우수한 품질-연산 효율성 트레이드오프를 달성하는 새로운 가변 길이 토크나이저를 소개한다.

원저자: Dong Hoon Lee, Seunghoon Hong

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dong Hoon Lee, Seunghoon Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고화질 영화를 친구에게 보내려고 한다고 상상해 보세요. 압축하지 않은 상태 그대로 보내면 다운로드하는 데 시간이 너무 오래 걸리고 엄청난 양의 데이터를 사용하게 됩니다. 그렇다고 너무 많이 압축하면 화면이 흐릿하고 픽셀이 깨져 보입니다.

오랫동안 AI 이미지 생성기(텍로 이미지를 만드는 것과 같은)는 정확히 이 문제에 직면해 있었습니다. 이들은 이미지를 **토큰(token)**이라고 불리는 작은 조각들로 분해하는 번역기인 '토크나이저(tokenizer)'를 사용합니다.

높은 압축률 (적은 수의 토큰) = 빠르고 저렴하지만, 이미지 품질이 떨어짐.
낮은 압축률 (많은 수의 토큰) = 품질은 훌륭하지만, 느리고 비용이 많이 듦.

이전에는 속도와 품질 사이의 다른 균형을 맞추고 싶다면, 각 설정에 맞는 완전히 다른 AI 모델을 새로 학습시켜야 했습니다. 이는 마치 시속 10km로 더 천천히 달리기 위해 자동차 엔진 자체를 통째로 바꿔야 하는 것과 같았습니다.

"자르기(Cutting)"의 문제점

일부 연구자들은 '가변 길이(variable-length)' 토크나이저를 만들어 이 문제를 해결하려고 시도했습니다. 그들의 아이디어는 간단했습니다. "공간을 아끼고 싶다면 토큰 목록의 끝부분을 그냥 잘라버리자."

이것은 마치 중요한 줄거리는 1페이지에 있고 아주 세부적인 내용은 100페이지에 있는 책과 같습니다. 만약 짧은 버전을 원한다면, 마지막 50페이지만 찢어내면 됩니다.

함정: 하지만 이렇게 하면 이야기가 바뀝니다. "짧은" 버전은 큰 그림에만 집중하는 반면, "긴" 버전은 아주 세밀한 디테일까지 포함합니다. 내용 자체가 완전히 달라지기 때문에 AI는 혼란에 빠집니다. 이는 학생에게 짧은 단편 소설과 긴 장편 소설을 가르치려는데, 사용하는 교과서의 챕터가 서로 완전히 다른 것과 같습니다. AI는 두 가지를 동시에 배우는 데 어려움을 겪으며, 결과적으로 이미지가 흐릿하거나 이상하게 나옵니다.

해결책: "자르기" 대신 "병합하기(Merging)"

이 논문의 저자들은 자르는 대신 병합하는 더 똑똑한 방법을 제안합니다.

100명의 사람(토큰)이 줄을 서 있다고 상상해 보세요.

기존 방식 (자르기): 인원이 적게 필요하다면, 그냥 마지막 50명에게 집에 가라고 말하는 것입니다. 남은 50명은 여전히 정확히 같은 자리에 서 있습니다.
새로운 방식 (병합하기): 인원이 적게 필요하다면, 비슷하게 생긴 사람들에게 서로 모여서 하나의 "슈퍼 인물"을 형성하라고 요청하는 것입니다. 빨간 셔츠를 입은 두 사람이 있다면, 그들은 그 그룹을 대표하는 한 명으로 합쳐집니다.

왜 이것이 더 나은가요?

일관성: 100명이 있든 10명의 "슈퍼 인물"이 있든, 그 그룹들은 동일한 근본 구조를 나타냅니다. "빨간 셔츠 그룹"은 여전히 존재하며, 다만 응축되었을 뿐입니다. 이 덕분에 토큰을 얼마나 사용하든 상관없이 AI를 위한 "이야기"가 일관되게 유지됩니다.
정렬(Alignment): 그룹이 단순히 위치가 아닌 유사성을 바탕으로 형성되기 때문에, AI는 긴 목록과 짧은 목록 모두에서 완벽하게 작동하는 단일 모델을 학습할 수 있습니다.

핵심 비결: "학습 가능한 전역 병합(Learnable Global Merging)"

여기에는 한 가지 큰 장애물이 있었습니다. 보통 누구와 누가 병합할지 결정하려면 특정 이미지를 살펴봐야 합니다 (예: "이 두 픽셀은 고양이 귀처럼 생겼으니, 이들을 병합하자"). 하지만 AI가 무에서 유를 창조하며 새로운 이미지를 생성하고 있을 때는, 아직 이미지를 가지고 있지 않습니다! 이미지를 보고 어떻게 병합할지 결정할 수 없는 것이죠.

저자들은 학습 가능한 전역 병합으로 이 문제를 해결했습니다.
이것을 미리 정해진 규칙이나 "마스터 플랜"이라고 생각하세요. AI가 이미지를 보고 병합 여부를 결정하는 대신, 고정된 학습 패턴(예: "토큰 1은 항상 토큰 2와 병합한다, 토큰 3은 토큰 4와 병합한다")을 사용하여 최종 이미지가 무엇인지와 관계없이 작동하도록 합니다.

이 규칙책은 고정되어 있지만(이미지에 따라 변하지 않음), AI는 훈련 과정에서 이를 매우 잘 학습하여 자연스럽게 유사한 것들을 그룹화하게 됩니다. 이를 통해 AI는 이미지를 생성하기 전부터 "병합된" 토큰들을 어떻게 다뤄야 할지 정확히 알 수 있게 됩니다.

결과

연구진은 ImageNet(방대한 이미지 데이터베이스)에서 이 방법을 테스트했습니다. 그 결과는 다음과 같습니다:

이 방법은 단일 AI 모델이 재학습 없이도 다양한 속도와 품질로 이미지를 생성할 수 있게 해줍니다.
단순히 토큰을 "자르는" 기존 방식보다 이미지가 더 뛰어나며 수학적으로도 더 효율적입니다.
또한, 아주 작은 "미세 조정(fine-tuning)" 단계(LoRA라는 기술 사용)를 추가하여, 추가 비용 거의 없이 특정 토큰 수에 대해 AI를 더욱 정교하게 만들 수 있었습니다.

요약하자면: 그들은 AI 이미지 생성기를 유연하게 만드는 방법을 찾아냈습니다. "빠른" 모델과 "좋은" 모델 중 하나를 강제로 선택하게 하는 대신, 유사한 부분을 지능적으로 그룹화하여 이미지 데이터를 줄이거나 늘릴 수 있는 하나의 똑똑한 번역기를 구축했습니다. 이를 통해 품질은 높게 유지하면서 비용은 낮출 수 있게 되었습니다.

기술 요약: 확산 트랜스포머(Diffusion Transformers)를 위한 학습 가능한 전역 병합 기반의 가변 길이 토큰화

1. 문제 정의

잠재 확산 모델(Latent Diffusion Models, LDMs)은 이미지를 잠재 공간으로 압축하기 위해 토크나이저에 의존하며, 이는 생성 품질과 계산 비용 사이의 트레이드오프를 발생시킨다. 기존의 토크나이저들은 고정된 압축 비율을 사용하므로, 다양한 계산 예산이나 품질 요구 사항을 수용하기 위해 여러 모델 변형을 필요로 한다.

**가변 길이 토크나이저(Variable-Length Tokenizers, VLTs)**는 특정 조건(예: 계산 예산)에 따라 토큰 수를 적응적으로 조정함으로써 이 문제를 해결하기 위해 제안되었다. 지배적인 방법인 **중첩 드롭아웃(nested dropout)**은 정렬된 시퀀스의 꼬리 부분 토큰을 제거하도록 모델을 학습시켜, 초기 토큰에는 고수준의 의미론적 정보를, 후기 토큰에는 저수준의 세부 정보를 배치한다.

그러나 저자들은 중첩 드롭아웃을 확산 트랜스포머(Diffusion Transformers, DiTs)에 적용할 때 발생하는 결정적인 결함을 식별하였다:

길이 변화에 따른 이동(Cross-Length Shift): 정렬된 시퀀스를 절단하면 잠재 공간의 쌍별 유사도 구조(표현 정렬)가 변한다. 짧은 시퀀스는 핵심 의미론에 집중하는 반면, 긴 시퀀스는 잔여 세부 사항을 포함한다.
분포 불일치(Distributional Mismatch): 이러한 이동은 잠재 분포와 그에 따른 스코어 함수(score function)가 토큰 길이에 따라 크게 달라지게 만든다. 결과적으로, 다양한 길이에 대해 공동 학습된 단일 확산 모델은 효과적으로 일반화되지 못하며, 종종 특정 길이에 맞춰 학습된 모델보다 성능이 떨어지게 된다.
기존 솔루션의 한과계: 표준적인 표현 정렬 손실(representation alignment losses)은 토큰 차원이 일치(N = M)해야 하지만, 카디널리티(cardinality)가 서로 다른 가변 길이 설정에서는 이는 불가능하다.

2. 방법론

본 논문은 토큰을 절단하는 대신 결합함으로써 길이를 조절하는 새로운 병합 기반 가변 길이 토크나이저를 제안한다. 핵심 혁신은 **학습 가능한 전역 병합(Learnable Global Merging, LGM)**이며, 이는 서로 다른 토큰 수 사이에서 표현 정렬을 보장하면서 생성 모델과 호환되도록 설계되었다.

A. 병합 기반 길이 조절
토큰을 드롭하는 대신, 이 방법은 할당 행렬 $\Gamma$ 를 기반으로 토큰을 병합한다.

비례 어텐션(Proportional Attention): 병합된 토큰을 처리하기 위해, 디코더와 확산 트랜스포머는 각 병합된 토큰의 유효 클러스터 크기( $m_j$ )에 의해 어텐션 점수가 조정되는 비례 어텐션을 사용한다.
전체 길이 등가 표현(Full-Length Equivalent Representation): 저자들은 비례 어텐션을 사용하여 조절된 잠재 변수를 처리하는 것이 표준 어텐션을 사용하여 투영된 전체 길이 잠재 변수($Wz $)를 처리하는 것과 수학적으로 동일함을 입증하였다. 이 등가성을 통해 원래의 잠재 변수($ z $)와 병합된 잠재 변수($ Wz$) 사이의 차이를 직접 측정하고 최소화함으로써, 유사한 토큰의 병합을 유도하여 표현 이동을 효과적으로 최소화할 수 있다.

B. 학습 가능한 전역 병합 (LGM)
표준 병합(예: 응집형 클러스터링)은 입력 이미지에 의존하여 데이터로부터 병합 패턴을 도출하기 때문에 문제가 발생한다. 이는 타겟 이미지를 사용할 수 없는 확산 생성 과정과는 호환되지 않는다.

데이터 독립성: 저자들은 입력 데이터와 독립적인 **학습 가능한 전역 임베딩( $e$ )**을 도입한다. 이 임베딩은 주어진 목표 축소량에 대한 병합 패턴을 결정한다.
최적화: 병합 패턴은 학습 가능한 임베딩에 대한 응집형 클러스터링을 통해 도출된다. 클러스터링은 이산적인 연산을 포함하므로, 임베딩의 경사 기반 최적화를 가능하게 하기 위해 **스트레이트-스루 트릭(straight-through trick)**이 적용된다.
정렬 손실(Alignment Loss): 학습 가능한 전역 임베딩( $e$ )의 유사도 구조가 실제 잠재 토큰( $z$ )의 유사도 구조와 일치하도록 보장하기 위해 정렬 손실( $L_{align}$ )이 도입된다. 이는 전역 병합 패턴이 유사한 토큰을 그룹화하도록 유도하여, 병합 목적 함수에 정의된 표현 이동을 최소화한다.

C. 확산 트랜스포머 통합

위치 임베딩(Positional Embeddings): 이 방법은 집계된 토큰의 위치 정보를 처리하기 위해, 잠재 변수와 동일한 방식으로 계산된 병합된 위치 임베딩을 사용한다.
사후 학습(Post-Training): 다양한 길이에 걸쳐 공동 학습을 마친 후, 특정 토큰 수에 모델을 더욱 적응시키기 위해 매우 적은 오버헤드로 몇 에포크 동안 수행되는 경량 LoRA(Low-Rank Adaptation) 사후 학습 단계가 도입된다.

3. 주요 기여

병합 기반 토큰화: 원래의 잠재 변수와 병합된 잠재 변수 사이의 이동을 최소화함으로써 서로 다른 토큰 수 사이에서 직접적인 표현 정렬을 가능하게 하는 새로운 VLT 아키텍처를 제시한다.
학습 가능한 전역 병합: 데이터 의존적 병합과 확산 생성 간의 불호환성을 해결하는 데이터 독립적 병합 메커니즘을 제공하여, 추론 시에도 병합 패턴을 사용할 수 있도록 보장한다.
개선된 품질-연산 트레이드오프: 이 토크나이저를 확산 트랜스포머와 결합하여 기존 VLT 방법들보다 생성 품질(gFID)과 계산 비용 사이의 균형 측면에서 우수한 성능을 달성한다.

4. 실험 결과

실험은 ImageNet 256×256 클래스 조건부 생성을 대상으로 수행되었다.

표현 정렬: 제안된 방법은 다양한 토큰 길이에 대해 중첩 드롭아웃보다 현저히 높은 중심 커널 최근접 이웃 정렬(CKNNA) 점수를 달的是. 특히, 정렬도는 독립적으로 학습된 고정 길이 토크나이저보다 높은 경우가 많다.
공동 학습 성능:
- 중첩 드롭아웃: 여러 길이에 대해 공동 학습된 모델과 별도로 학습된 모델 사이에 큰 성능 격차(0.8–1.7 gFID)를 보인다.
- 제안된 방법: 이 격차를 0.3 gFID 미만으로 줄인다. LoRA 사후 학습을 적용하면, 공동 모델은 별도로 학습된 모델과 0.05 gFID 이내의 성능을 달성한다.
시스템 수준 비교:
- 이 방법은 gFID-연산량 트레이드오프 측면에서 기존 VLT(Semanticist, FlexTok) 및 고정 길이 베이스라인(SoftVQ, MAETok)보다 뛰어난 성능을 보인다.
- 일부 베이스라인과 달리 확산 기반 토크나이저 디코더를 필요로 하지 않으면서도 높은 압축률(예: 32 토큰)에서 경쟁력 있는 생성 품질을 달성한다.
재구성 품질: 토크나이저는 다양한 토큰 길이에 대해서도, 특히 높은 압축률에서 강력한 재구성 지표(rFID, PSNR, SSIM)를 유지한다.

5. 의의 및 주장

본 논문은 효과적인 가변 길이 확산 모델의 주요 장벽이 기존의 절단 방식에 의한 **잠재 분포의 교차 길이 이동(cross-length shift)**이라고 주장한다. 데이터 독립적이고 학습 가능한 패턴을 가진 병합 기반 접근 방식으로 전환함으로써, 저자들은 표현 정렬을 성공적으로 유지할 수 있었다.

이 연구의 의의는 단일 확산 모델이 다양한 토큰 수에 걸쳐 효과적으로 작동할 수 있게 하여, 여러 모델 변형 없이도 유연한 품질-연산 제어를 가능하게 한다는 점에 있다. 저자들은 이를 다양한 계산 제약 상황에서 생성 모델을 효율적으로 배포하기 위한 단계로 규정하며, 1D와 2D 토크나이저 사이에 여전히 격차가 존재하지만 본 방식이 하이브리드 아키텍처를 위한 유망한 방향을 제시한다고 언급하였다. 이 작업은 새로운 생성 능력보다는 효율성 개선의 관점에서 프레임화되었으며, 윤리적 문제에 대한 주장은 없다.