1. 문제 정의 (Problem)

최근 텍스트-이미지 생성 분야에서 Diffusion Transformer (DiT) 아키텍처 (Stable Diffusion 3, FLUX 등) 가 표준으로 자리 잡았습니다. 그러나 DiT 는 동일한 구조의 블록들이 연속적으로 쌓여 있는 구조임에도 불구하고, 각 블록이 생성 과정에 기여하는 정도가 균일하지 않다는 문제가 발견되었습니다.

• 비효율적인 가중치: 기존 연구 (Stable Flow 등) 는 특정 레이어를 제거하거나 비활성화했을 때 오히려 생성 품질이 향상되는 '생존 레이어 (vital layers)'와 '유해 레이어'가 존재함을 보였습니다.
• 과도한 계산 비용: 기존 모델 정렬 (Alignment) 방법 (RLHF, DPO, DDPO 등) 은 전체 모델의 파인튜닝을 요구하여 막대한 계산 비용과 파라미터 수를 소모합니다.
• 추론 단계의 비효율: 고품질 이미지를 생성하기 위해 많은 추론 단계 (Inference Steps) 가 필요하여 속도가 느립니다.

이러한 배경 하에서, 최소한의 파라미터 수정만으로 DiT 의 생성 품질을 극대화하고 추론 효율을 높이는 방법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 Calibri라는 새로운 파라미터 효율적 (Parameter-Efficient) 정렬 기법을 제안합니다. 핵심 아이디어는 DiT 블록의 출력을 단일 학습된 스칼라 (scaling parameter) 로 재가중치 (re-weighting) 하는 것입니다.

2.1. 핵심 통찰 (Motivation)

• 블록 제거 실험: 특정 DiT 블록을 생략 (ablation) 했을 때 이미지 품질이 향상되는 경우가 있음을 발견.
• 스케일링 실험: 각 블록의 출력에 스칼라 계수 ($s$) 를 곱하여 조절했을 때, 원래 모델 ($s=1$) 보다 특정 계수 ($s \neq 1$) 에서 더 높은 품질을 보임을 확인. 이는 DiT 의 기본 가중치가 최적화되지 않았음을 시사합니다.

2.2. Calibri 알고리즘

• 문제 정의: 모델의 출력 품질을 측정하는 보상 함수 (Reward Function, $R$) 를 최대화하는 최적의 스케일링 파라미터 벡터 $c^*$를 찾는 블랙박스 최적화 문제로 정의합니다.
  $$c^* = \arg \max_{c} R(c)$$
• 검색 공간 (Search Space):
  1. Block Scaling: 하나의 블록 내 Attention 과 MLP 레이어에 동일한 스케일링 계수 적용.
  2. Layer Scaling: 블록 내 개별 레이어마다 다른 계수 적용 (더 세밀한 조절).
  3. Gate Scaling: MM-DiT 와 같은 멀티모달 아키텍처에서 시각/텍스트 토큰별 게이트에 독립적인 계수 적용.
• 최적화 알고리즘: **CMA-ES (Covariance Matrix Adaptation Evolution Strategy)**를 사용합니다. 이는 그래디언트가 필요 없는 진화 전략으로, 약 100 개 내외의 파라미터 ($\sim 10^2$) 만을 조정하여 최적의 스케일링 계수를 탐색합니다.
• Calibri Ensemble: 여러 개의 서로 다른 Calibri 모델 (또는 동일한 모델의 다른 파라미터 설정) 을 앙상블하여 추론 시 가중 평균을 내는 방식입니다. 이는 Classifier-Free Guidance (CFG) 와 자연스럽게 통합됩니다.

3. 주요 기여 (Key Contributions)

1. 파라미터 효율성: 전체 모델 파라미터의 극히 일부 (약 100 개 수준) 만을 조정하여 성능을 향상시킵니다. 기존 RLHF 기반 방법 (수백만~수천만 파라미터 수정) 에 비해 계산 비용이 압도적으로 낮습니다.
2. 블랙박스 최적화 접근: DiT 블록의 기여도를 분석하여, 복잡한 파인튜닝 없이 단순한 출력 스케일링만으로도 생성 품질을 획기적으로 개선할 수 있음을 증명했습니다.
3. 추론 효율성 증대: Calibri 를 적용하면 고품질 생성을 위해 필요한 추론 단계 (NFE) 를 크게 줄일 수 있습니다 (예: 3050 단계 $\rightarrow$ 1015 단계).
4. 범용성 및 호환성: FLUX, Stable Diffusion 3.5, Qwen-Image 등 다양한 최신 DiT 모델에서 효과적이며, 기존 정렬 방법 (Flow-GRPO 등) 과 결합하여 추가적인 성능 향상을 이끌어냅니다.

4. 실험 결과 (Results)

• 성능 향상 (Quantitative):
  • FLUX 모델: HPSv3 점수가 11.41 에서 13.48로 향상되었으며, 추론 단계는 30 에서 15로 반감되었습니다.
  • SD-3.5M 및 Qwen-Image: 모든 모델에서 HPSv3, ImageReward, Q-Align 등 주요 지표에서 일관된 개선을 보였습니다.
  • Layer Scaling: Block Scaling 대비 더 일관된 성능 향상을 보였으나, Gate Scaling 은 특정 지표에서 더 높은 점수를 기록했습니다.
• 사용자 평가 (Human Evaluation):
  • 200 명의 사용자를 대상으로 한 평가에서 Calibri 는 전체 선호도 (Overall Preference) 와 텍스트 정렬 (Text Alignment) 모두에서 기존 모델 대비 51~54% 의 승리율을 기록했습니다. 이는 보상 모델의 인공물 (artifact) 이 아닌 실제 지각적 개선을 의미합니다.
• 정렬 방법과의 결합:
  • Flow-GRPO 로 이미 정렬된 모델에 Calibri 를 적용하면, 추가적인 파라미터 수정 없이도 PickScore, GenEval 등 다양한 지표를 추가로 향상시킬 수 있었습니다.
  • Flow-GRPO 는 약 1,878 만 개의 파라미터를 수정하는 반면, Calibri 는 216 개만 수정하여 유사하거나 더 좋은 성능을 달성했습니다.
• 계산 비용:
  • Calibri 자체의 오프라인 보정 비용은 H100 GPU 기준 32~356 시간으로, 일회성 비용에 불과합니다. 이는 추론 시 2 배 이상의 속도 향상을 가져옵니다.

5. 의의 및 결론 (Significance)

Calibri 는 Diffusion Transformer 의 잠재력을 극대화하는 경량화 및 효율화의 새로운 패러다임을 제시합니다.

• 실용성: 대규모 모델의 파인튜닝 없이도, 소수의 파라미터 조정만으로 고품질 생성과 빠른 추론을 동시에 달성할 수 있어 실제 응용 환경 (실시간 생성 등) 에 매우 적합합니다.
• 이론적 통찰: DiT 아키텍처의 내부 블록들이 균일하게 작동하지 않으며, 단순한 스케일링만으로도 복잡한 구조적 변경 없이 성능을 최적화할 수 있음을 규명했습니다.
• 미래 방향: Calibri Ensemble 및 다양한 스케일링 전략은 생성 모델의 정렬 (Alignment) 과 효율성 문제를 해결하는 강력한 도구로 자리 잡을 것으로 기대됩니다.

요약하자면, Calibri는 **"적은 파라미터로 더 빠르고 더 좋은 이미지를 만든다"**는 명제를 성공적으로 입증한 획기적인 연구입니다.