기술 요약: FID 로터리(The FID Lottery): 생성 모델 평가에서의 숨겨진 무작위성 정량화

문제 정의

프레셰 인셉션 거리(Fréchet Inception Distance, FID)는 이미지 생성 모델을 평가하는 사실상의 표준 역할을 하고 있습니다. 그러나 커뮤니티는 일반적으로 단일 훈련된 모델과 단일 샘플링 시드(seed)로부터 도출된 단일 FID 수치만을 보고합니다. 본 논문은 이러한 단일 수치 보고가 훈련 및 생성 파이프라인에 내재된 무작위성으로 인한 상당한 "재현성 격차(reproducibility gap)"를 은폐한다고 주장합니다.

저자들은 FID 수치에 변동성을 도입하는 두 가지 뚜렷한 "로터리(lottery, 복권/운)"를 식별했습니다:

1. 훈련 로터리(The Training Lottery): 무작위 가중치 초기화, 데이터 순서(미니배치 셔플링), 플로우 매칭 손실(flow-matching loss)에 의해 주입되는 단계별 가우시안 노이즈, 그리고 하드웨어 비결정성(멀티 GPU 실행 시의 비트 단위 드리프트)에 의해 발생하며, 훈련 실행당 한 번 발생합니다.
2. 생성 로터리(The Generation Lottery): 각 생성 이미지에 대해 사용되는 무작위 초기 노이즈($x_T \sim \mathcal{N}(0, I)$)에 의해 발생하며, 샘플링 중에 발생합니다.

전통적인 관행은 여러 샘플링 시드를 평균 내어 생성 로터리를 완화하려 노력하지만, 훈련 로터리는 무시합니다. 본 논문은 동일한 레시피로 모델을 재훈련할 때 발생하는 변동성이 고정된 모델에서 재샘플링할 때 발생하는 변동성보다 훨씬 크며, 따라서 단일 시드 기반의 FID 주장은 잠재적으로 결론을 내리기에 불충분하다고 상정합니다.

방법론

저자들은 FID를 $N$개의 독립적인 훈련 시드와 $K$개의 샘플링 시드라는 2축 패널 상의 확률 변수로 취급합니다.

• 실험 설정: 연구는 조건부 플로우 매칭을 사용하는 클래스 조건부 ImageNet (256×256) 상의 Scalable Interpolant Transformers (SiT)를 활용합니다.
• 규모: 실험은 네 가지 모델 크기(S, B, L, XL)와 최대 200만 스텝의 훈련 예산에 걸쳐 수백 개의 SiT 네트워크를 대상으로 수행됩니다.
• 변동성 분해: 저자들은 한 번에 하나의 원인만 변하도록 제어된 조건(예: 초기화만 변경, 데이터 순서만 변경, 또는 단계별 훈련 노이즈만 변경)을 만들어 변동성을 체계적으로 격리합니다.
• 지표:
  • $\sigma_{within}$: 고정된 훈련 모델에 대한 샘플링 시드 간의 변동성.
  • $\sigma_{between}$: 서로 다른 훈련 시드의 평균값들 사이의 변동성.
  • 변동 계수(Coefficient of Variation, CoV): 서로 다른 FID 크기(예: 가이드 유무에 따른 차이)에 대해 변동성을 정규화하기 위해 사용되는 $\sigma/\mu$.
• GS-FID 프로토콜: 저자들은 각 (훈련 시드, 샘플링 시드) 쌍마다 FID를 최소화하기 위해 황금 분할 탐색(golden-section search)을 사용하여 개별적으로 CFG 스케일을 튜닝하는 "골든 섹션 FID(Golden-Section FID)" 프로토콜을 도입합니다.

주요 결과

1. 훈련 변동성이 평가 변동성을 지배함

모델을 다른 시드로 재훈련하는 것은 고정된 네트워크에서 샘플을 다시 그리는 것보다 FID 점수를 3.2배 더 많이 변화시킵니다.

• SiT-B/2 실험에서, 시드 간 표준 편차($\sigma_{between} \approx 0.44$)는 시드 내 표준 편차($\sigma_{within} \approx 0.14$)보다 3.2배 더 컸습니다.
• 훈련 시드의 CoV는 약 **1.3%**인 반면, 샘플링 시드의 CoV는 약 0.4%에 불과했습니다.
• 샘플링 예산(더 많은 $K$)을 늘리면 시드 내 지터(jitter)는 줄어들지만, 지배적인 시드 간 엔벨로프(envelope)는 그대로 유지됩니다.

2. 훈련 변동성의 원인

훈련 로터리는 세 가지 주요 요인에 의해 구동되며, 변동성 기여도는 다음과 같습니다:

1. 단계별 훈련 노이즈: 플로우 매칭 손실에 의해 매 그래디언트 단계마다 주입되는 새로운 가우시안 노이즈가 가장 큰 기여자입니다 (기초 변동성의 77%를 재현).
2. 무작위 초기화: 상당 부분 기여합니다 (기초 변동성의 67%).
3. 데이터 순서: 기여도가 가장 낮지만 독특한 분포 형태(좁은 본체와 긴 상단 꼬리)를 도입하며, 이는 지속적인 변동성보다는 간헐적인 "나쁜 실행(bad runs)"을 시사합니다.

• 하드웨어 비결정성: 멀티 GPU 실행 시의 비트 단위 드리프트는 변동성에 미치는 영향이 미미하여, 샘플링 로터리 자체보다도 적은 변동성을 보였습니다.

3. 1–2%의 CoV 하한선은 규모 불변적임

컴퓨팅 자원(훈련 스텝)이나 모델 크기(S에서 XL까지)를 늘려도 변동성은 제거되지 않습니다.

• CoV는 모든 모델 크기와 훈련 체크포인트에 걸쳐 1–2% 대역(중앙값 1.30%) 내에서 안정적으로 유지됩니다.
• 더 큰 모델이라고 해서 비례하여 더 좁은 FID 분포를 갖지는 않습니다. 즉, 상대적인 노이즈 하한선은 규모가 아닌 메트릭과 손실 함수의 특성입니다.
• 순위 안정성(시간 경과에 따른 시드 순위의 상관관계)은 약 1M 스텝 이전에는 약하며, 이는 초기 체크포인트의 순위가 최종 성능의 좋은 예측 인자가 아님을 의미합니다.

4. 분류기 없는 가이던스(CFG)의 영향

• GS-FID: 각 시드 쌍에 대해 CFG를 개별 튜닝하면(GS-FID), 상대적 퍼짐이 절반으로 줄어듭니다 (CoV가 1.26%에서 0.67%로 감소).
• 순위 재편성(Rank Reshuffling): 그러나 이 튜닝은 최적의 성능을 보이는 시드를 바꿉니다. 가이드가 없는 상태와 최적화된 가이던스 상태 사이의 스피어먼 상관관계(Spearman correlation)는 0.73에 불과합니다. 가이드 없는 FID를 통해 "최고"로 선택된 시드가 최적화된 가이던스 하에서도 반드시 최고인 것은 아닙니다.
• 학습률(LR) 윈도우: GS-FID 하에서 최적의 LR은 단일 지점이 아니라, 인접한 LR들이 구별할 수 없는 FID 점수를 생성하는 평탄한 "윈도우"(약 1.7배 넓음) 형태를 띱니다.

5. "운의 차이 (The Luck of the Draw)"

훈련 시드의 선택은 효율성에 큰 영향을 미칩니다. "운이 좋은" 시드는 "운이 나쁜" 시드보다 동일한 FID 목표에 도달하는 데 최대 2배 적은 컴퓨팅 자원을 사용할 수 있습니다 (예: 운이 나쁜 시드가 2M 스텝에서 도달하는 목표를 운이 좋은 시드는 1M 스텝에서 달성). 이는 단일 시드로 속도 향상을 주장하는 논문들이 실제로는 구조적 개선이 아닌 유리한 시드의 혜택을 받은 것일 수 있음을 시사합니다.

의의 및 권고 사항

본 논문은 단일 FID 수치를 보고하는 현재의 관행이 엄격한 평가에 불충분하다고 결론짓습니다. 저자들은 새로운 평가 프로토콜을 제안합니다:

1. 오차 막대(Error Bars) 보고: 단일 수치 대신, 훈련 로터리를 포착할 수 있도록 여러 훈련 시드(예: 5~10개)에 대한 FID를 보고하십시오.
2. 결론 불충분 임계값: 어떤 FID 격차가 경험적으로 측정된 ~1.3% CoV(또는 안전하게 ~2%) 미만이라면 결론을 내릴 수 없는 것으로 간주하십시오. 개선에 대한 주장은 이 노이즈 하한선을 초과해야 실질적인 것으로 간주됩니다.
3. 셀별 최적화: CFG를 사용할 때는 시드 순위를 바꿀 수 있음을 인지하고, 전역적인 고정 값이 아닌 셀별 최적 가이던스(GS-FID)를 사용하십시오.
4. 체리 피킹 방지: 대규모 풀에서 단일 최적 시드를 선택하는 행위가 단순히 시드 로터리에 의한 통계적 아티팩트(artifact)로서 헤드라인을 장식하는 성과를 만들어낼 수 있음을 인식하십시오.

저자들은 이러한 발견이 SiT/플로우 매칭/ImageNet/Inception-V3 조합에 특화된 것이지만, "1–2% 하한선"이 현대 생성 모델 평가 메트릭의 일반적인 특성일 수 있음을 강조하며, 커뮤니티가 더 견고한 통계적 보고 표준을 채택할 것을 촉구합니다.