기술 요약: TAG: 환각에 강한 샘플링을 위한 접선 증폭 안내

1. 문제 제기

확산 모델은 이미지 생성 분야에서 최첨단 성능을 달성했지만, 빈번히 환각으로 고통받습니다. 이는 데이터 분포의 의미론적 불일치나 위반 (예: 여분의 손가락과 같은 해부학적 불가능성, 또는 뒤섞인 객체) 으로 정의됩니다. 최근 연구는 이러한 오류가 데이터 분포의 서로 다른 모드 사이의 저밀도 계곡을 통과하는 샘플링 궤적을 특징으로 하는 모드 보간에서 비롯된다고 시사합니다. 이로 인해 속성 불일치와 구조적 불일치가 발생합니다.

기존의 추론 시 안내 방법들, 예를 들어 분류기 없는 안내 (CFG) 와 그 변형들은 일반적으로 조건부 및 무조건부 분기 간의 잔차 스케일링에 의존합니다. 효과적이기는 하지만, 이러한 방법들은 대부분 기하학적 무감각합니다. 데이터 분포의 국부적 방향 구조를 고려하지 않고 잔차에 단일 스칼라 배율을 적용합니다. 이는 불필요하게 탈노이즈 궤적을 왜곡시켜 매니폴드 밖으로의 이탈이나 과도한 평활화를 초래할 수 있습니다. 또한, 많은 기존 솔루션들은 외부 신호, 아키텍처 수정, 또는 추가적인 탈노이즈 평가를 요구하여 상당한 계산 오버헤드를 추가합니다.

2. 방법론: 접선 증폭 안내 (TAG)

저자들은 궤적 신호만으로 작동하는 훈련 불필요, 아키텍처 무관, 플러그앤플레이 안내 방법인 **접선 증폭 안내 (TAG)**를 제안합니다. TAG 는 샘플링 업데이트 단계의 기하학적 분해에 기반합니다.

핵심 개념

Tweedie의 항등식과 가우스 원환체 정리에 영감을 받아, 저자들은 손상된 분포의 고확률 영역이 얇은 구형 껍질 (노이즈가 있는 데이터 매니폴드, $M_k$) 에 위치함을 관찰합니다. 샘플링 업데이트는 다음과 같이 분해될 수 있습니다:

1. 반경 (법선) 성분: 노이즈 스케줄에 의해 결정된 반경 방향으로 상태를 이동시킵니다.
2. 접선 성분: 반경을 유지하면서 의미론적 구조를 정제하기 위해 매니폴드를 따라 상태를 이동시킵니다.

저자들은 접선 성분이 풍부한 구조적 및 의미론적 정보를 담고 있는 반면, 법선 성분은 대부분 비구조화된 노이즈라고 가정합니다. 접선 성분을 증폭하면 반경 진행을 변경하지 않고도 데이터 매니폴드의 고밀도 영역으로 궤적을 유도할 수 있습니다.

알고리즘

시간 단계 $k+1$에서 기본 솔버 증가분 $\Delta_{k+1}$ (예: DDIM 에서 유래) 이 주어졌을 때:

1. 투영: 업데이트는 현재 상태 $x_{k+1}$에 대한 반경 방향 ($P_{M_{k+1}}$) 과 직교 접선 방향 ($P^\perp_{M_{k+1}}$) 에 대한 프로젝터를 사용하여 분해됩니다.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. 증폭: 접선 성분은 인자 $\eta \ge 1$만큼 증폭되는 반면, 반경 성분은 변경되지 않습니다.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

이론적 근거

이 논문은 접선 성분을 증폭하는 것이 1 차 로그 가능도 증가를 단조 증가시킨다는 1 차 테일러 분석을 제공합니다. 구체적으로, 정리 4.1 은 $\eta$를 증가시키는 것이 샘플링 궤적을 모델 밀도가 더 높은 영역으로 유도하여 매니폴드 밖의 아티팩트 (환각) 를 줄이는 동시에 적절한 탈노이즈에 필요한 반경 보정을 유지함을 증명합니다.

CFG 로의 확장

분류기 없는 안내 (CFG) 의 경우, 저자들은 조건부 및 무조건부 예측 간의 불일치를 해결합니다. 그들은 조건부 예측을 접선 잔차 (접선 공간에 투영된 조건부 및 무조건부 점수 간의 차이) 와 정렬할 것을 제안합니다. 이러한 조화는 표준 CFG 에서 생성 품질을 저하시키는 불일치를 줄여줍니다.

3. 주요 기여

• 기하학적 통찰: 이 논문은 점수 함수의 고유 기하학과 샘플 품질 사이의 구체적인 연결을 확립하여, 접선 성분을 증폭하는 것이 샘플링을 분포 내 매니폴드로 유도함을 증명합니다.
• TAG 알고리즘: 이 기하학적 원리를 실현하는 이론적으로 근거가 있고, 계산적으로 경량이며, 아키텍처 무관한 알고리즘을 소개합니다. 재학습, 추가 네트워크 평가, 아키텍처 변경이 필요하지 않습니다.
• 플러그앤플레이 호환성: TAG 는 업데이트 벡터에 대한 후처리 단계로 기존 솔버 및 안내 방법 (예: PAG, SEG, SSG) 과 원활하게 통합되도록 설계되었습니다.

4. 실험 결과

저자들은 COCO 2014 데이터셋과 T2I-CompBench 를 사용하여 다양한 Stable Diffusion 백본 (v1.5, v2.1, XL, 3) 과 현대적 모델 (Qwen-Image, Wan2.2 비디오) 에 대해 TAG 를 평가했습니다.

• 정량적 개선:
  • 무조건부 생성: TAG 는 함수 평가 횟수 (NFEs) 를 증가시키지 않고 모든 백본에서 FID (예: SD v1.5: 58.41 $\to$ 46.20) 와 CMMD 를 일관되게 개선했습니다.
  • 조건부 생성: TAG 는 SD v1.5, v2.1, XL, 3 에서 샘플 충실도 및 프롬프트 정렬 (ImageReward, CLIP-Score) 을 개선했습니다.
  • 환각 감소: T2I-CompBench (공간 및 복잡 하위 집합) 에서 TAG 는 구성적 충실도 지표를 개선하여 단순한 지각적 스타일 전환이 아닌 구조적 환각 (예: 잘못된 객체 배치 또는 관계) 의 감소를 나타냈습니다.
  • 비디오 생성: Wan2.2 에 적용된 TAG 는 동적 정도, 이미지 품질, 시간적 일관성을 개선하고 복잡한 장면에서 구조적 아티팩트를 줄였습니다.
• 효율성:
  • TAG 는 경량 벡터 투영만 포함하므로 기준선 대비 계산 오버헤드가 무시할 만합니다 (약 +9.4% 지연).
  • 반면, Perturbed Attention Guidance (PAG) 와 같은 방법은 추가 UNet 평가로 인해 지연이 거의 두 배 (+112.8%) 가 됩니다.
• 호환성: 기존 안내 방법 (PAG, SEG, SSG) 위에 TAG 를 적층하면 FID 및 인간 선호도 점수에서 추가적인 개선이 이루어져 잔차 기반 안내와의 직교성을 입증했습니다.

5. 중요성 및 주장

이 논문은 TAG 가 환각에 대한 기하학적 관점을 제공하며, 이를 모드 보간 중 데이터 매니폴드에 머무르지 못하는 실패로 규명한다고 주장합니다. 업데이트의 접선 성분을 분리하고 증폭함으로써 TAG 는 고밀도 영역으로 샘플링 궤적을 효과적으로 교정합니다.

저자들은 TAG 가 기존 솔버를 대체하는 것이 아니라 보완적 정제임을 강조합니다. 최소한의 계산 비용으로 샘플 품질을 개선하고 환각을 줄여 기존 파이프라인에 통합하기에 적합합니다. 논문은 이론적 분석이 전체 샘플링 과정에 대한 역방향 궤적의 행동을 완전히 특징짓지는 않지만 국부적 1 차 가능도 증가를 확립한다고 겸손하게 지적합니다. 향후 작업은 적응형 스케일링과 더 복잡한 국부적 매니폴드 기하학 추정을 탐구하는 것이 제안됩니다.