🤖 machine learning

JLT: Clean-Latent Prediction in Latent Diffusion Transformers

본 논문은 저변이 방향을 더 잘 처리하고 ImageNet 256x256 생성 품질 (FID 2.50) 을 향상시켜 잠재 공간에서 속도 예측보다 깨끗한 잠재 예측이 더 우수함을 보여주는 잠재 확산 Transformer 인 JLT 를 소개하며, 이는 예측 대상이 상호 교환 가능한 대수적 매개변수화가 아닌 표현에 의존하는 기하학적 선택임을 시사합니다.

원저자: Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

게시일 2026-05-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 고양이 그림을 그리도록 로봇을 가르치려 한다고 상상해 보세요. 완성된 사진을 보여주는 대신, 흐릿하고 잡음이 섞인 고양이 버전을 보여주고 "이 모든 정적 아래에 있는 깨끗한 고양이는 어떻게 생겼을까?"라고 물어봅니다.

오랫동안 AI 연구자들은 그 질문을 어떻게 던져야 할지 논쟁해 왔습니다. 로봇이 제거해야 할 "잡음"을 추측하게 해야 할까요? 이미지가 변하는 "속도"를 추측하게 해야 할까요? 아니면 그냥 최종적인 깨끗한 그림을 직접 추측하게 해야 할까요?

이 논문, 제목은 JLT입니다. 이 논문은 로봇이 이미지의 압축되고 단순화된 버전 (잠재 공간이라고 함) 으로 작업할 때조차 최종 깨끗한 그림을 직접 추측하는 것이 최선의 방법이라고 주장합니다.

간단한 비유를 사용하여 그들의 발견을 다음과 같이 정리해 보겠습니다:

1. 설정: "압축된" 스케치패드

일반적으로 AI 모델은 원시 픽셀 (수백만 개의 작은 colored 점) 로 작업합니다. 이는 고해상도의 거대한 캔버스에 걸작을 그리려는 것과 같습니다. 느리고 지저분합니다.

속도를 높이기 위해 연구자들은 이미지를 더 작고 단순화된 코드, 즉 "스케치패드"로 변환하는 "압축기 (VAE)"를 사용합니다. AI 는 이 스케치패드에서 그리기를 배우고, 그 다음 디코더가 스케치를 완전한 사진으로 다시 변환합니다.

저자들이 던진 큰 질문은 이것입니다: 우리가 이 단순화된 스케치패드에서 작업할 때, AI 에게 무엇을 예측하게 하느냐는 여전히 중요할까요?

2. 경쟁자들: 잡음 대 깨끗한 이미지

저자들은 두 가지 유형의 AI 모델 간에 공정한 경기를 마련했습니다. 그들은 정확히 같은 "스케치패드", 정확히 같은 뇌 크기 (Transformer 아키텍처), 그리고 정확히 같은 훈련 시간을 사용했습니다. 유일한 차이는 그들에게 부여된 목표였습니다:

"속도" 주자 (DiT): 이 모델은 "최종 그림을 걱정하지 마. 이미지가 그곳으로 가려는 방향과 속도만 말해."라고 지시를 받았습니다. 이는 운전자에게 "얼마나 빠르게 가속하고 있니?"라고 묻는 것과 같습니다.
"깨끗한" 주자 (JLT): 이 모델은 "속도를 무시해. 지금 최종적이고 깨끗한 그림이 어떻게 생겼는지 말해."라고 지시를 받았습니다. 이는 운전자에게 "목적지는 어디니?"라고 묻는 것과 같습니다.

3. 경기 결과

결과는 명확했습니다: "깨끗한" 주자 (JLT) 가 압도적인 차이로 승리했습니다.

"깨끗한" 모델이 고양이를 그리려 할 때, 결과는 날카롭고 사실적이었습니다 (점수 2.50).
"속도" 모델이 시도했을 때, 결과는 더 흐릿하고 정확도가 낮았습니다 (점수 6.56).

수학적으로 "속도" 답변을 "깨끗한 그림" 답변으로 변환할 수 있음에도 불구하고 이 일이 발생했습니다. 저자들은 AI 가 질문에 답하는 방식이 최종 그림의 품질을 변화시킨다는 것을 발견했습니다.

4. 왜 "깨끗한" 주자가 승리했을까요? (비유)

이 논문은 "잡음"과 "신호"를 포함하는 교묘한 수학적 설명을 사용합니다.

"스케치패드"에 고양이 귀 모양처럼 매우 중요한 방향들과 작은 먼지 알갱이처럼 무작위 정적일 뿐인 방향들이 있다고 상상해 보세요.

"속도" 접근법은 모든 방향을 동일하게 취급합니다. 모든 것에 일정한 "바닥" 잡음을 추가합니다. 이는 우연히 작고 무작위인 먼지 알갱이들을 증폭시켜 시끄럽고 산만하게 만듭니다. 이는 배경 잡음까지 포함해 모든 것의 볼륨을 높이는 마이크와 같습니다.
"깨끗한" 접근법은 더 영리합니다. 일부 방향 (무작위 먼지 알갱이) 은 실제 데이터에 "신호"가 거의 없다는 것을 깨닫습니다. 따라서 자연스럽게 그 약한 방향들의 볼륨을 낮춥니다. 중요한 부분 (귀, 눈) 에 에너지를 집중하고 정적을 무시합니다.

간단히 말해: "깨끗한" 모델은 잡음을 무시하는 법을 배우는 반면, "속도" 모델은 우연히 잡음을 더 크게 만듭니다.

5. 결론

저자들은 AI 이미지 생성 세계에서 질문을 어떻게 구성하느냐가 그것을 답하는 뇌만큼이나 중요하다고 결론 내립니다.

이미지의 압축되고 단순화된 버전으로 작업하더라도, AI 에게 "변화의 속도를 예측하라"고 묻는 것보다 "깨끗한 결과를 예측하라"고 묻는 것이 기하학적으로 우월합니다. 이는 단순히 같은 수학을 다른 방식으로 쓰는 것이 아니라, 훨씬 더 좋은 그림으로 이어지는 근본적으로 다른 학습 방식입니다.

요약: 최고의 AI 예술을 원한다면 AI 를 더 똑똑하게 만들기만 하지 말고, AI 에게 그곳에 도달하는 과정이 아닌 최종 그림을 추측하도록 하세요.

기술 요약: JLT: 잠재 확산 트랜스포머에서의 클린-잠재 예측

문제 제기

소음 제거 확산 모델은 전통적으로 부패 과정을 역전시키지만, 신경망이 예측하도록 훈련된 구체적인 목표는 아키텍처마다 다릅니다. 일반적인 목표로는 소음 ( $\epsilon$ ), 속도 ( $v = x - \epsilon$ ), 또는 클린 데이터 ( $x$ ) 가 있습니다. 이러한 목표들은 고정된 부패 시간에서 대수적으로 변환 가능하지만, 최근 연구 (예: JiT) 는 유한한 네트워크 용량과 유한한 데이터 하에서 예측 목표의 선택이 회귀 문제의 난이도에 상당한 영향을 미친다고 시사합니다. 구체적으로, 클린 데이터를 예측하는 모델은 주변 공간의 오프-매니폴드 소음을 재구성하는 대신 구조화된 저차원 매니폴드 변화에 집중할 수 있습니다.

본 논문이 다루는 핵심 질문은 모델이 원시 픽셀 공간이 아닌 압축된 잠재 공간에서 작동할 때 이러한 "클린 예측"의 이점이 유지되는지 여부입니다. 잠재 확산에서는 변분 오토인코더 (VAE) 가 이미 원시 픽셀의 변동성을 상당 부분 제거합니다. 저자들은 표현 공간이 고정되고 압축되었을지라도 예측 목표 ( $x$ 대 $v$ ) 의 기하학적 속성이 여전히 결정적인 요인인지 조사합니다.

방법론

저자들은 고정된 잠재 공간 내에서 예측 목표의 효과를 분리하도록 설계된 통제된 실험 프레임워크인 JLT(Joint Latent Transformer) 를 도입합니다.

아키텍처 및 설정:
- 백본: JiT-B/16 구성을 반영하는 12 개 블록, 은닉 차원 768, 12 개 어텐션 헤드를 가진 베이스 규모 트랜스포머 (1 억 3 천만 파라미터).
- 표현: 모델은 고정된 FLUX.2 VAE 잠재 코드로 작동합니다. 이는 비교되는 모든 변형에서 표현 공간이 동일하도록 보장합니다.
- 훈련: ImageNet 256 $\times$ 256 에서 25 만 스텝 (200 에포크) 동안 모델을 훈련합니다.
- 통제 변수: 연구는 표현 (FLUX.2 VAE), 아키텍처 규모, 옵티마이저 설정, 배치 크기, 샘플링 프로토콜을 엄격하게 일정하게 유지합니다.
실험적 비교:
저자들은 동일한 설정 하에서 두 가지 주요 변형을 비교합니다.
- JLT(클린-잠재 예측): 네트워크가 클린 잠재 벡터 $x$ 를 직접 예측하도록 지도 학습됩니다.
- DiT(속도 예측): 네트워크가 속도 벡터 $v = x - \epsilon$ 를 예측하도록 지도 학습되는 매칭된 베이스라인입니다.
- 변형: 실험은 /1 및 /2 로 표시되는 두 가지 VAE-그리드 패치 크기에서 수행됩니다 (예: JLT-B/1 대 DiT-B/1).
이론적 분석:
논문은 경험적 격차를 설명하기 위해 국소 가우스 분석을 제공합니다. 잠재 데이터 분포 ( $x \sim \mathcal{N}(0, \Sigma)$ ) 와 독립적인 소음 ( $\epsilon \sim \mathcal{N}(0, I)$ ) 에 대한 국소 선형 - 가우스 근사를 가정합니다.
- 공분산 구조: 속도 목표의 공분산은 $Cov(y_v) = \Sigma + I$ 인 반면, 클린 목표는 $Cov(y_x) = \Sigma$ 입니다. 이는 속도 예측이 모든 방향에 **등방성 단위 바닥 (isotropic unit floor)**을 추가함을 의미합니다. 클린 데이터가 낮은 분산을 가지는 방향 (매니폴드에 의해 약하게 지지되는 방향) 에서 속도 예측은 모델이 단위 분산 목표를 학습하도록 강제하여 해당 방향의 소음을 실제로 증폭시킵니다.
- 조건부 모호성: 분석에 따르면, 속도 예측의 베이즈 잔차 분산은 클린 예측에 비해 $1/(1-t)^2$ 배로 스케일링됩니다. 데이터 공분산의 고유값 $\lambda_i$ 가 0 에 가까워질수록 클린 예측의 계수는 0 으로 수렴하여 해당 방향을 감쇠시키는 반면, 속도 계수는 $-1/(1-t)$ 로 수렴하여 해당 방향을 증폭시킵니다.

주요 결과

ImageNet 256 $\times$ 256 에 대한 실험은 클린-잠재 예측을 우세하게 하는 일관되고 유의미한 성능 격차를 보여줍니다.

정량적 성능:
- JLT-B/1(클린) 은 분류기 없는 가이드 (classifier-free guidance) 로 FID-50K 2.50을 달성한 반면, 매칭된 DiT-B/1(속도) 은 6.56을 기록했습니다.
- JLT-B/2(클린) 은 FID-50K 14.81을 달성한 반면, DiT-B/2는 28.71을 기록했습니다.
- 인셉션 점수 (IS) 또한 상당한 개선을 보였습니다 (예: /1 변형의 경우 232.51 대 132.12).
훈련 역학: 훈련 곡선은 클린-잠재 모델이 더 일찍 (약 10 만 스텝 부근) 저 FID 영역에 진입하며 훈련 내내 속도 모델보다 명확한 마진을 유지함을 나타냅니다.
강건성: 이 이점은 다양한 토큰화 세분성 (/1 및 /2) 에서 유지되므로, 이 이득이 특정 패치 크기의 인공물이 아님을 시사합니다.

의의 및 주장

논문은 잠재 확산에서의 예측 목표 선택이 단순한 대수적 파라미터화가 아닌 기하학적 모델링 선택이라고 주장합니다.

압축보다 목표 기하학: 결과는 잠재 압축만으로는 잠재 확산의 효율성을 설명할 수 없다는 관념을 반박합니다. 성능 격차는 동일한 고정된 잠재 공간 내부에 존재하므로, "목표 기하학"(지도 신호의 분포) 이 "표현 기하학"(VAE 토크나이저) 과는 구별되는 요인임을 입증합니다.
개선 메커니즘: 저자들은 클린 예측이 우월한 이유는 종종 소음이거나 약하게 지지된 매니폴드 특징인 저분산 잠재 방향을 감쇠시키기 때문이며, 반면 속도 예측은 등방성 공분산 바닥을 상속받아 이러한 방향을 증폭시킨다고 주장합니다.
주장의 범위: 저자들은 이론적 주장에 대해 겸손합니다. 그들은 클린 예측이 모든 토크나이저, 소음 스케줄, 또는 샘플러에 대해 전역적으로 최적이라고 단정하지 않습니다. 대신, 측정된 경험적 격차와 일치하는 국소 가우스 메커니즘을 제시합니다. 이 연구는 새로운 백본 아키텍처 제안이나 모든 확산 목적 함수를 대체하는 보편적 대안으로 제시되기보다는, 목표 효과를 분리하기 위한 통제된 절단 실험으로 제시됩니다.

결론적으로, 본 논문은 압축된 잠재 공간에서도 직접 클린 잠재 상태를 예측하는 것이 속도 예측보다 기하학적 이점을 제공하여 ImageNet 에서 훨씬 더 높은 생성 품질로 이어진다는 것을 확립합니다.