TC-Padé: Trajectory-Consistent Padé Approximation for Diffusion Acceleration

이 논문은 확산 모델의 저단계 샘플링 단계에서 발생하는 오차 누적을 해결하고 고품질 생성을 유지하면서 가속도를 획기적으로 개선하기 위해, 유리함수를 기반으로 한 '궤적 일관성 Padé 근사 (TC-Padé)' 프레임워크를 제안합니다.

핵심

이 논문은 **'TC-Padé'**라는 새로운 기술을 소개합니다. 이 기술은 인공지능이 그림이나 영상을 그릴 때 걸리는 시간을 획기적으로 줄여주면서도, 그림의 질은 그대로 유지해줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎨 1. 문제: "그림 그리는 AI 는 너무 느려!"

생각해 보세요. AI 가 그림을 그릴 때는 마치 어두운 방에서 천천히 그림을 수정해 나가는 화가와 같습니다.

• 기존 방식: AI 는 그림을 완성하기 위해 50 번, 100 번이나 같은 작업을 반복합니다. (예: "이게 좀 어두우니까 밝게, 또 조금 더 밝게...") 이렇게 하면 그림은 아주 예쁘지만, 시간이 너무 오래 걸립니다.
• 빠르게 그리려는 시도 (기존 기술): 사람들은 "아, 20 번만 반복해도 되겠지?"라고 생각하며 횟수를 줄였습니다. 하지만 횟수를 줄이면 AI 는 어떤 부분을 수정해야 할지 헷갈려서 그림이 뭉개지거나 색이 이상해지는 문제가 생겼습니다.
  • 비유: 100 걸음 걸을 때 한 걸음씩 확인하며 가던 사람이, 갑자기 20 걸음으로 줄이려고 하면 어디서 넘어질지 모르고 엉덩방아를 찌르는 것과 같습니다.

🚀 2. 해결책: "TC-Padé (트랙-일관성 파데 근사)"

이 논문은 "AI 가 그리는 흐름 (궤적) 을 예측해서, 불필요한 수고를 덜어주는" 새로운 방법을 제안합니다.

🍳 비유 1: 요리사의 '맛보기' vs '계산'

• 기존 방법 (테일러 급수): 요리사가 국물을 끓일 때, 매번 숟가락으로 떠서 맛을 보고 "조금 더 짜다, 덜 짜다"라고 계산합니다. 횟수가 적어지면 (20 번만 맛본다면) 맛이 급격하게 변하는 순간을 놓쳐서 국물이 짜거나 싱거워집니다.
• TC-Padé 방법: 이 기술은 **유리잔 (분수)**을 사용합니다.
  • 수학적으로 '다항식 (폴리노미얼)'은 곡선을 그릴 때 한쪽 끝으로 갈수록 엉뚱한 방향으로 날아가버리는 문제가 있습니다. 하지만 TC-Padé 는 '분수 (나눗셈)' 형태를 써서, 곡선이 어떻게 변할지 훨씬 더 정확하게 예측합니다.
  • 비유: 요리사가 국물의 변화를 직관적으로 예측해서, "아, 지금 이 정도면 다음엔 이렇게 변할 거야"라고 미리 계산해버리는 것입니다. 그래서 맛을 볼 횟수를 줄여도 국물 맛이 일관되게 유지됩니다.

🛤️ 비유 2: 고속도로와 산길 (적응형 주행)

AI 가 그림을 그리는 과정은 고속도로와 구불구불한 산길이 섞여 있습니다.

• 초반 (산길): 그림의 큰 구조 (얼굴, 몸통) 가 잡히는 시기입니다. 여기서 AI 는 급하게 변합니다.
• 중반/후반 (고속도로): 디테일을 다듬는 시기입니다. 여기서 AI 는 조금씩만 변합니다.

TC-Padé 의 핵심 전략:

1. 상황 파악 (TSI): AI 가 지금 "산길 (불안정)"을 달리는지, "고속도로 (안정)"를 달리는지 실시간으로 감지합니다.
2. 스마트 주행:
   • 안정 구간 (고속도로): "여기는 안전하니까 계산 안 해도 돼!"라고 계산을 건너뛰고 미리 예측된 값으로 넘어갑니다. (가속!)
   • 불안정 구간 (산길): "여기는 위험하니까 꼼꼼히 계산해야 해!"라고 정말 계산을 수행합니다. (안전!)

이렇게 하면 계산 횟수는 줄이면서 (빠름), 중요한 순간은 놓치지 않아서 (퀄리티 유지) 그림이 망가지지 않습니다.

🌟 3. 이 기술의 놀라운 성과

이론만 좋은 게 아니라, 실제로 테스트해 보니 다음과 같은 결과가 나왔습니다.

• FLUX.1-dev (고급 이미지 생성 모델): 기존에 20 번 그리던 것을 2.88 배 더 빠르게 그렸습니다. (약 3 배 빠름!)
• Wan2.1 (영상 생성 모델): 영상 생성 속도도 1.72 배 빨라졌습니다.
• 화질: 속도는 3 배 빨라졌지만, 그림의 선명도나 색감은 거의 떨어지지 않았습니다. (기존 빠른 방법들은 그림이 뭉개졌는데, 이 방법은 선명하게 유지함)

💡 요약

TC-Padé는 AI 가 그림을 그릴 때 **"무작정 반복하는 것"**을 멈추게 하고, "흐름을 예측해서 지혜롭게 건너뛰는" 기술을 개발했습니다.

• 기존: "한 걸음 한 걸음 꼼꼼히 걸어가자." (느림)
• 기존의 빠른 방법: "뛰어보자!" (빠르지만 넘어짐)
• TC-Padé: "평지는 뛰어가고, 언덕은 천천히 가자." (빠르면서도 넘어지지 않음)

이 기술 덕분에 앞으로 우리가 AI 로 그림이나 영상을 만들 때, 기다리는 시간이 획기적으로 줄어들고 더 많은 창작물을 빠르게 즐길 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 은 이미지 및 비디오 생성 분야에서 최첨단 (SOTA) 성능을 보이지만, 반복적인 샘플링 과정으로 인해 막대한 계산 비용이 소요됩니다. 이를 해결하기 위해 기존에는 특징 캐싱 (Feature Caching) 기법이 도입되었습니다.
• 현재의 한계:
  • 저단계 (Low-step) 환경에서의 성능 저하: 기존 캐싱 기법 (DeepCache, TeaCache 등) 은 50 단계 이상의 높은 단계 수에서는 효과적이지만, 산업 현장에서 주로 사용하는 20~30 단계의 낮은 단계 수에서는 성능이 급격히 떨어집니다.
  • 궤적 이탈 (Trajectory Drift): 단계 간격이 커질수록 특징의 유사도가 지수적으로 감소하여, 기존 재사용 (Reuse) 기반 방법은 캐시된 활성화 값이 현재 상태와 맞지 않아 심각한 궤적 이탈을 일으킵니다.
  • 예측 오차 누적: TaylorSeer 와 같은 다항식 기반 예측 방법은 국소적 근사 (Taylor 급수) 에 의존하므로, 큰 시간 간격에서는 수렴 반경의 한계로 인해 오차가 누적되고 궤적이 왜곡됩니다.
  • 동적 특성 무시: 기존 방법들은 전체 디노이싱 (Denoising) 과정을 동일한 전략으로 처리하여, 초기 (구조 형성), 중기, 후기 (세부 조정) 단계마다 다른 역동적 특성을 반영하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 TC-Padé (Trajectory-Consistent Padé Approximation) 를 제안하여, 큰 시간 간격에서도 품질을 유지하면서 효율적인 가속을 달성합니다.

2.1. 핵심 아이디어: Padé 근사 기반 잔차 예측

• Padé 근사 활용: Taylor 급수 대신 Padé 근사 (두 다항식의 비율로 표현되는 유리 함수) 를 사용합니다. Padé 근사는 극점 (poles) 이나 점근적 거동, 급격한 비선형 전이를 더 정확하게 모델링할 수 있어, 확산 모델의 복잡한 특징 진화를 다항식보다 잘 포착합니다.
• 잔차 (Residual) 기반 예측: 직접적인 특징 (Feature) 을 예측하는 대신, 레이어 간의 잔차 (Residual) 를 예측합니다.
  • 실험 결과, 원본 특징보다 잔차의 시간적 유사도 (Cosine Similarity) 가 훨씬 높게 유지됨을 확인했습니다.
  • 예측된 잔차에 이전 단계의 출력을 더하여 최종 출력을 재구성합니다.

2.2. 적응형 계수 조절 (Adaptive Coefficient Modulation)

• 궤적 안정성 지표 (TSI): 현재 단계의 잔차 변화를 기반으로 궤적이 안정적인지 불안정한지 판단합니다.
  • TSI ≥ θ (안정적): 계산을 생략하고 Padé 예측을 수행.
  • TSI < θ (불안정): 전체 계산을 수행하여 품질 저하 방지.
• 동적 계수: Padé 근사의 계수들을 고정된 값이 아닌, 최근 잔차 변화의 크기에 따라 적응적으로 조절하는 안정성 인자 (σ_stab) 를 도입하여 수치적 안정성을 확보합니다.

2.3. 디노이싱 단계 인식 전략 (Step-aware Prediction)

디노이싱 과정을 세 단계로 나누어 서로 다른 예측 전략을 적용합니다:

1. 초기 단계 (High Noise, $t > 0.7T$): 구조 형성이 급격히 일어나므로, 최근 두 잔차의 가중 합으로 단순 예측.
2. 중기 단계 ($0.2T \le t \le 0.7T$): 장거리 의존성을 활용하기 위해 전체 Padé 근사 적용.
3. 후기 단계 (Low Noise, $t < 0.2T$): 미세한 세부 사항 조정이 필요하므로 Padé 예측에 1 차 미분 항 (속도 변화) 을 추가하여 정밀도 향상.

3. 주요 기여 (Key Contributions)

1. Padé 영감 특징 예측: Taylor 기반 방법이 갖는 수렴 반경의 한계를 극복하고, 비선형적이고 위상 의존적인 특징 역학을 정확하게 모델링하는 TC-Padé 프레임워크를 처음 도입했습니다.
2. 단계 인식 예측 전략: 디노이싱의 초기, 중기, 후기 단계에 맞춰 최적화된 예측 전략을 설계하여, 큰 시간 간격에서도 안정적인 예측을 가능하게 했습니다.
3. 광범위한 실험 검증: 텍스트 - 이미지 (FLUX.1-dev), 텍스트 - 비디오 (Wan2.1), 클래스 조건부 이미지 (DiT-XL/2) 생성 등 다양한 모델과 작업에서 기존 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

모든 실험은 20 단계 샘플링 환경에서 수행되었으며, 기존 방법들과 비교하여 다음과 같은 성과를 거두었습니다.

• FLUX.1-dev (텍스트 - 이미지):
  • 가속비: 2.88 배 (기존 20 단계 기준).
  • 품질: FID 점수 손실은 3% 미만에 그쳤으며, PSNR, SSIM, LPIPS 등 픽셀 수준 및 지각적 품질 지표에서 TaylorSeer 등 기존 예측 기반 방법보다 월등히 우수했습니다.
• Wan2.1 (텍스트 - 비디오):
  • 가속비: 1.72 배 (지연 시간 기준).
  • 품질: VBench-2.0 점수가 60.38% 로, 20 단계 베이스라인 (64.16%) 과 매우 근접한 품질을 유지했습니다.
• DiT-XL/2 (클래스 조건부 이미지):
  • 가속비: 1.46 배.
  • 품질: FID 6.93, IS 185.12 로 재사용 기반 방법 (ToCa, $\Delta$-DiT) 보다 훨씬 높은 품질을 유지했습니다.
• 배포 효율성: 양자화 (Quantization) 기술과 결합 시, FLUX.1-dev 에서 약 6 배의 지연 시간 감소와 2.5 배의 처리량 (Throughput) 향상을 달성했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가속 솔루션: 기존 캐싱 기법이 저단계 (20~30 단계) 환경에서 겪는 품질 저하 문제를 해결하여, 실제 산업 응용 (지연 민감형 애플리케이션) 에 고화질 확산 모델을 배포할 수 있는 실용적인 길을 열었습니다.
• 수학적 접근의 혁신: 단순한 특징 재사용이나 다항식 예측을 넘어, Padé 근사라는 수학적 도구를 확산 모델의 잔차 역학에 적용함으로써 궤적 일관성 (Trajectory Consistency) 을 유지하는 새로운 패러다임을 제시했습니다.
• 확장성: 모델 아키텍처 (U-Net, DiT) 나 작업 (이미지, 비디오) 에 구애받지 않는 범용적인 가속 프레임워크로, 향후 고비용 생성 모델의 효율성 향상에 중요한 기여를 할 것으로 기대됩니다.

요약하자면, TC-Padé는 "큰 시간 간격에서도 궤적이 일관되게 유지되도록 Padé 근사와 적응형 전략을 결합한 차세대 확산 모델 가속 기술"입니다.