기술 요약: 궤적 강제화 (Trajectory Forcing, TF)

1. 문제 정의

현재의 확산(diffusion) 및 흐름 기반(flow-based) 생성 모델들은 고품질 이미지를 생성하는 데 탁월하지만, "종단점 중심(endpoint-centric)" 시스템으로 작동한다. 사용자는 조건(예: 클래스 레이블)을 지정하고 최종 결과물을 받게 되는데, 이 과정에서 중간 생성 역학(generative dynamics)은 숨겨져 있거나 구조화되지 않은 채 계산적으로 불투명한 상태로 남는다. 최근의 방법론들이 생성 순서를 활용하여 샘样本 품질을 개선하기도 했으나, 이들은 중간 상태를 인간이 검사하거나 개입할 수 있는 의미론적 객체가 아닌, 단순히 내부적인 계산 부산물(예: 주파수 성분 또는 토큰 완성)로 취급한다.

이는 전역적인 구도를 먼저 설정한 후 국소적인 세부 사항을 정교화하는 '거친 단계에서 세밀한 단계로(coarse-to-fine)'의 워크플로를 따르는 인간의 시각적 창작 방식과 대조된다. 인간의 작업에서는 각 중간 단계가 검사 가능하고 수정 가능하며, 본 논문은 생성 궤적 자체를 해석 가능하고, 의미론적으로 구조화되며, 편집 가능하게 만들 수 있다고 주장한다. 즉, 초점을 최종 이미지에서 생성 경로(generative path)로 전환하는 것이다.

2. 방법론: 궤적 강제화 (Trajectory Forcing, TF)

궤적 강제화는 이미지 합성을 전역 레이아웃에서 객체, 부분, 그리고 세부 사항 수준의 표현으로 진행되는 의미론적으로 구조화된 단계들의 시퀀스로 조직하는 궤적 중심 프레임워크이다.

2.1 표현 공간 및 계층 구조 구축

기하학적 구조가 의미론적 구조와 일치하지 않을 수 있는 가공되지 않은 픽셀 공간이나 표준 잠재 공간(VQ-VAE 등)에서 작동하는 대신, TF는 사전 학습된 시각 인코더인 DINOv2의 특징 공간(feature space)에서 작동한다.

• 교사 계층 (Teacher Hierarchy): 이 프레임워크는 비지도 학습 방식을 통해 DINOv2 잠재 토큰을 클러스터링함으로써 거친 단계에서 세밀한 단계로 이어지는 계층을 도출한다.
  • 객체/배경: K-means ($K=2$)를 사용하여 중심 사전 확률(center prior)을 바탕으로 이미지를 객체와 배경으로 분리한다.
  • 부분 및 하위 부분: 결합된 의미-공간 거리 메트릭($\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$)을 사용하는 응집형 클러스터링(Agglomerative clustering)을 통해 객체를 부분 및 하위 부분으로 분해한다.
• 레벨 캔버스 (Level Canvases): 이러한 클러스터들은 "레벨 캔버스"($z^{(l)}$)를 정의한다. 더 거친 레벨($l=0$)은 영역의 조각별 상수 평균 특징(piecewise-constant mean features)을 나타내며, 더 세밀한 레벨($l=L-1$)은 전체 해상도의 잠재 특징을 나타낸다.

2.2 계층 조건부 원스텝 플로우 매칭 (Hierarchy-Conditioned One-Step Flow Matching)

진보적인 다단계 확산($L \times T$)의 높은 추론 비용을 피하기 위해, TF는 계층 조건부 원스텝 플ow-매칭 모델을 채택한다.

• 아키텍처: 모든 계층 레벨에 대해 단일 공유 네트워크(DiT)를 학습시킨다.
• 조건화 (Conditioning): 각 학습 단계에서 레벨 $l$이 샘플링된다. 네트워크는 다음을 수신한다:
  1. 노이즈가 섞인 현재 레벨의 캔버스 $z^{(l)}(t)$.
  2. 이전 레벨의 캔버스 $z^{(l-1)}$ (공간적 조건으로서 채널 결합 및 투영을 통해 융합됨).
  3. 표준 전역 조건 (클래스 레이블, 시간 간격, 가이던스 스케일).
• 학습 목적 함수: 모델은 다음이 결합된 손실을 최소화한다:
  • 플로우 손실 (Flow Loss): 원스텝 생성을 가능하게 하는 MeanFlow (iMF) 기반의 $v$-loss 목적 함수를 사용하여 $x$-예측(노이즈가 제거된 잠재 변수 예측)을 수행한다.
  • 구조적 손실 (Structural Loss): 예측된 영역 내의 토큰들이 해당 영역의 실제 평균 특징과 정렬되도록 보장하는 코사인 거리 패널티를 부여하여 구조적 일관성을 강제한다.

2.3 계층적 샘플링 및 편집

• 추론: 생성은 $l=0$에서 $L-1$까지 순차적으로 진행된다. 각 레벨은 단 한 번의 네트워크 함수 호출(NFE)만을 필요로 하므로, 총 비용은 $L$-NFE(예: $L=4$일 때 4 NFE)가 된다. 모든 중간 출력은 공유된 표현 오토인코더(RAE) 디코더를 통해 시각적 이미지로 디코딩될 수 있다.
• 대화형 편집: 사용자는 임의의 레벨 $l^*$에서 디코딩된 이미지를 검사하고, 캔버스를 수정(특징 교체 또는 형태/영역 재할당을 통해)한 후, 후속 레벨을 다시 생성할 수 있다. 프로세스의 마르코프적 특성 덕분에, $l^*$에서의 편집은 더 세밀한 레벨로 전파되지만 더 거친 레vel에는 영향을 주지 않아 수정 범위를 제어할 수 있다.

3. 주요 기여

1. 궤적 중심 프레임워크: 합성을 구조화되고 해석 가능한 거친 단계에서 세밀한 단계의 궤적으로 모델링하여, 모든 의미론적 레벨에서 검사와 편집이 가능한 TF를 제안한다.
2. 계층 조건부 원스텝 플로우: 레벨별 조건화와 구조적 일관성 감독을 통해 원스텝 생성을 다단계 궤적으로 확장하였으며, $L$-NFE만으로 경쟁력 있는 품질을 달면한다.
3. 궤적 인식 메트릭: FID를 넘어 국소 불변성(Local Invariance)(편집이 편집되지 않은 영역에 미치는 영향)과 구례적 일관성(Structural Consistency)(부모와 자식 영역 간의 일관성)을 측정하는 메트릭을 도입한다.
4. 실증적 검증: ImageNet 상에서 TF가 일관된 중간 상태를 드러내고 국소적 편집을 지원하면서도 경쟁력 있는 샘플 품질(FID)을 달성함을 입증한다.

4. 실험 결과

실험은 DINOv2 특징과 ViT-XL 디코더를 사용하여 $256 \times 256$ 해상도의 ImageNet에서 수행되었다.

• 샘플 품질: TF는 경쟁력 있는 FID 점수를 달수를 기록한다. 예를 들어, TF-L/16+FD-loss 변형 모델은 단 80 에포크의 학습과 4 NFE만으로 2.02의 FID와 259.3의 IS를 달성하였으며, 이는 수백 에포크와 많은 NFE를 요구하는 다단계 베이스라인들과 대등한 수준이다.
• 효율성: NVG(약 184 NFE 필요)와 같은 계층적 베이스라인과 달리, TF는 단 $L=4$ NFE만을 필요로 한다.
• 궤적 메트릭:
  • 국소 불변성 점수 (LIS): 거친 레벨(객체/배경)에서의 편집은 최종 이미지에 더 강력하게 전파되는 반면, 세밀한 레벨(하위 부분)에서의 편집은 국소적으로 유지됨을 보여준다.
  • 부모 오경로율 (Parent Misrouting Rate, PMR): 공간적 및 특징적 PMR 모두 낮게 유지되어, 자식 영역이 부모 영역 내에 공간적으로 포함되어 있으며 의미론적 일관성을 유지함을 나타낸다.

5. 의의 및 주장

본 논문은 초점을 최종 이미지가 아닌 생성 경로로 전환함으로써, TF가 제어 가능하고 궤적을 인식하는 이미지 합성으로 가는 길을 열었다고 주장한다.

• 해석 가능성: 표준 확산 모델과 달리 중간 상태를 버리지 않고, TF는 모든 중간 상태를 시각적으로 디코딩하고 의미론적으로 유의미하게 만든다.
• 편집 가능성: 사용자가 특정 의미론적 입도(전역 레이아웃 vs 국소적 세부 사항)에서 개입하여 최종 출력에 예측 가능한 효과를 줄 수 있게 한다.
• 효율성: 고품질의 구조화된 생성이 모든 레벨에서 비용이 많이 드는 다단계 반복적 디노이징을 요구하지 않음을 입로, 원스텝 플로우 매칭을 활용하여 증명한다.

저자들은 한계점 또한 인정하는데, 계층 구조가 중심 사전 확률을 사용하는 비지도 클러스터링에 의존한다는 점(중심에서 벗어난 객체 처리에 어려움이 있을 수 있음)과 현재 결과가 초기 학습 에포크(40~80)를 기준으로 하고 있어 추가적인 스케일링 분석이 필요하다는 점을 언급하였다. 그러나 핵심적인 기여는 생성 궤적 자체가 사용자 인터페이스 역할을 하는 프레임워크를 구축했다는 점에 있다.