기술 요약: JoLT – 컨텍스트 가이드형 고해상도 타일 생성력을 위한 결합된 잠재 궤적(Joint Latent Trajectories)

1. 문제 정의

FLUX.2와 같은 최첨단 아키텍처를 포함한 현재의 텍-투-이미지(T2I) 생성 모델들은 전역적 일관성(global coherence)을 유지하면서 밀도 높은 세부 사항을 가진 고해상도(HR) 이미지를 생성하는 데 어려움을 겪고 있습니다. 이러한 모델들은 저해상도에서 미학적으로 뛰어난 구도를 생성하는 데는 탁월하지만, 대형 출력물(예: 인쇄물, 벽화)에 필요한 복잡한 국소적 디테일을 렌더링하는 데는 종종 실패합니다.

기존의 솔루션은 일반적으로 다음과 같은 저해상도-고해상도 패러다임을 채택합니다:

1. 저해상도(LR) 이미지를 생성한다.
2. LR 이미지를 업샘플링하고 이를 고정된 조건으로 사용하여 HR 디테일을 생성한다.

저자들은 이러한 순차적 접근 방식의 두 가지 결정적인 결함을 지적합니다:

• 풍부함의 한계: LR 이미지가 먼저 생성되기 때문에, 이는 기본 모델의 내재된 복잡성 한계에 묶이게 됩니다. 이후의 정밀화 단계는 기본 이미지에 질감의 풍부함이 부족할 경우 이를 유의미하게 향상시킬 수 없습니다.
• 일관성 트레이드오프: LR 이미지가 일단 생성되면, HR 정보에 의해 영향을 받을 수 없습니다. 이는 미세한 요소들을 전역적 레이아웃에 매끄럽게 통합하는 것을 어렵게 만들어, 국소적 디테일과 전역적 장면 일관성 사이의 트레이드오프를 야기합니다.

2. 방법론: 결합된 잠재 궤적 (JoLT)

JoLT는 학습이 필요 없는(training-free), 두 개의 스트림(two-stream) 패러다임을 제안하며, 이는 순차적 생성에서 저해상도와 고해상도의 동시 생성으로 전환하는 것입니다. 이 방법은 전역 LR 궤적과 타일형 HR 궤적을 결합하여, 매 샘플링 단계마다 양방향으로 정보를 교환하도록 합니다.

핵심 아키텍처

시스템은 사전 학습된 Flow-Matching 모델(특히 FLUX.2 Klein-9B)을 활용하며, 잠재 공간(latent spaces)에서 작동합니다.

• 초기화: 공유된 가우시안 노이즈 샘플이 HR 잠재 캔버스($\bar{x}_0$)를 초기화합니다. 이는 일관된 분포에서 두 스트림이 시작되도록 하기 위해 무작위로 서브샘플링되어 LR 잠재값($x_0$)을 생성합니다.
• 이중 스트림:
  • LR 스트림: 전역 구도와 레이아웃을 유지하기 위해 "마스터 프롬프트"($c$)를 기반으로 전체 장면을 디노이징합니다.
  • HR 스트림: 국소적인 복잡성을 합성하기 위해 중첩되는 공간 윈도우(타일 확산)를 기반으로 "디테일 프롬프트"($\bar{c}$)에 따라 디노이징합니다.

양방향 정보 교환

JoLT의 참신함은 두 스트림 사이의 지속적인 피드백 루프에 있습니다:

1. LR $\to$ HR 컨디셔닝 (결합된 사전 정보):

   • 각 단계 $t$에서, LR 스트림은 깨끗한 잠재값($\hat{x}_1$)에 대한 "원샷(one-shot)" 추정치를 계산합니다.
   • 이 추정치는 픽셀 공간으로 디코딩되고, 업샘플링된 후 다시 인코딩되어 **결합된 사전 정보(Joint Prior, $\bar{r}_t$)**를 형성합니다.
   • 이 사전 정보는 HR 스트림을 위한 인-컨텍스트 참조 역할을 합니다. HR 모델은 타일의 현재 노이즈 상태와 업샘플링된 LR 사전 정보의 해당 크롭본($F_i(\bar{r}_t)$) 모두에 컨디셔닝하여 각 타일을 처리합니다. 이는 국소적 디테일이 진화하는 전역 레이아웃과 일치하도록 보장합니다.

2. HR $\to$ LR 컨디셔닝 (피드백):

   • HR 스트림이 잠재값($\bar{x}_{t+\Delta t}$)을 업데이트한 후, 주변 분포를 보존하기 위해 무작위로 서브샘플링됩니다.
   • 이 서브샘플링된 HR 데이터는 강도 파라미터 $\alpha$를 사용하여 LR 업데이트와 선형적으로 혼합됩니다.
   • LR 잠재값의 통계적 특성이 일관되게 유지되도록 분산 매칭 보정(variance-matching correction)이 적용됩니다.
   • 이 메커니즘을 통해 LR 스트림은 생성된 미세한 디테일을 "보고" 이를 통합하여 전역 레이아웃을 동적으로 정밀화할 수 있습니다.

제어 메커니즘

• 복잡도 강도 ($\alpha$): LR 스트림에 주입되는 HR 정보의 가중치를 $[0, 1]$ 사이의 스칼라 값으로 조절합니다. $\alpha$가 높을수록 더 밀도가 높고 복잡한 이미지가 생성됩니다.
• 디테일 프롬프트 ($\bar{c}$): 마스터 구도를 변경하지 않으면서 특정 질감, 사물 또는 스타일 요소를 추가하도록 HR 스트립을 안내하는 보조 텍text 프롬프트입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 새로운 결합 잠재 패러다임: JoLT는 표준적인 저해상도-고해상도 생성 파이프라인을 동시 프로세스로 변환하여, LR과 HR 브랜치가 순차적이 아닌 함께 진화할 수 있게 합니다.
2. 양방향 잠재 정보 교환: 저자들은 현대적인 디퓨전 트랜스포머의 인-컨텍스트 능력과 분산 매칭 잠재 서브샘플링을 활용한 교차 해상도 피드백 메커니즘을 도입했습니다.
3. 제어 가능한 고밀도 합성: 이 방법은 모델의 미세 조정(fine-tuning) 없이도 시각적 복잡성($\alpha$)과 국소적 내용/스타일(프롬프트 $\bar{c}$를 통해)에 대한 명시적인 사용자 제어를 가능하게 합니다.

4. 실험 결과

저자들은 200개의 의미론적으로 밀도가 높은 프롬프트를 사용하여 4단계 증류된 FLUX.2 백본을 바탕으로 강력한 베이스라인(DemoFusion, SEGA, ResDiT)과 JoLT를 비교 평가했습니다.

정량적 성능

• 복잡도: JoLT는 복잡도 지표에서 모든 베이스라인을 크게 능가합니다. 가장 강력한 베이스라인인 DemoFusion과 비교했을 때, JoLT는 DCT 에너지에서 50%의 이득(613 대 920)과 JPEG 비율에서 26%의 이득(0.104 대 0.131)을 달了했습니다. 또한 IC9600에서도 5%의 이득을 보였습니다.
• 텍스트 정렬: JoLT는 경쟁력 있는 텍스트 정렬 점수를 유지합니다. LMM4LMM 대응 점수(0.367)는 선두 베이스라인과 0.004 차이로, 보정 후 통계적으로 유의미하지 않은 수준입니다. 저자들은 디테일 프롬프트가 마스터 프롬프트 이상의 그럴듯한 내용을 의도적으로 추가하기 때문에 엄격한 분해론적 정렬 지표가 때때로 JoLT에 불리하게 작용할 수 있다고 언급했습니다.
• 미학 및 품질: JoLT는 QIB 품질 및 LMM4LMM 인지 점수에서 가장 높은 평균 점수를 기록하여, 복잡성 증가가 시각적 품질을 저하시키지 않음을 입증했습니다.

인간 선호도 조사

2,700건의 쌍체 비교 판단을 통한 사용자 연구 결과는 다음과 같습니다:

• 디테일 및 복잡도: 사용자들은 시각적 디테일과 복잡도 측면에서 모든 베이스라인보다 JoLT를 현저히 선호했습니다.
• 프롬프트 일치: JoNT는 SEGA 및 ResDiT보다 프롬프트 준수 측면에서 선호되었으며, DemoFusion과는 유의미한 차이가 없었습니다.
• 예술적 매력: JoLT는 SEGA 및 ResDiT보다 선호되었습니다. DemoFusion은 일부 지표에서 대등했으나, JoLT는 구조적 밀도 측면에서 일관되게 더 높은 평가를 받았습니다.

전역-국소 일관성

주변 장면 내에 국소 크롭이 적절히 속하는지를 평가하기 위해 Qwen3.6-27B 심사위원을 사용한 결과, JoLT는 SEGA 및 ResDiT보다 유의미하게 선호되었으며 DemoFusion과 대등한 성능을 보여, 추가된 디테일이 전역 장면을 파편화하지 않음을 확인했습니다.

5. 의의 및 주장

본 논문은 JoLT를 대형 포맷 예술 창작을 위한 실용적인 도구로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 고해상도 합성의 재정의: 고해상도 합성을 저해상도-고해상도 캐스케이드보다 두 개의 결합된 궤적으로 취급하는 것이 밀도 높고 고충실도의 이미지를 얻는 데 더 효과적임을 입증했습니다.
• 명시적 제어: 암묵적인 모델 행동을 명시적인 제어로 변환합니다. 예술가는 $\alpha$를 통해 시각적 밀도를 조절하고, 디테일 프롬프트를 통해 언어만으로 고정된 구도를 재스타일링할 수 있습니다.
• 학습이 필요 없는 효율성: 이 방법은 베이스 모델의 미세 조정을 요구하지 않고 대신 추론 파이프라인의 아키텍처 혁신에 의존하여 이러한 결과를 달성합니다.

저자들은 한계점에 대해서도 겸허하게 언급하며, 이 방법이 원샷 추정에 의존한다는 점(짧은 샘플링 스케줄을 가진 증류 모델으로 제한됨)과 극단적인 디테일 밀도가 때때로 장면의 가독성을 떨어뜨릴 수 있다는 점을 인정했습니다. 또한 텍스트 정렬 지표 간의 일치도가 크게 다르다는 점을 들어, 복잡한 장면에서의 프롬프트 준수를 평가하는 데 있어 여전히 인간의 판단이 골드 스탠다드임을 시사했습니다.