Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation

이 논문은 확산 모델의 조건부 생성 성능 평가에서 기존 인간 선호도 모델이 큰 안내 스케일 (guidance scale) 에 편향되어 있다는 치명적인 평가 함정을 규명하고, 이를 해결하기 위한 공정한 평가 프레임워크 (GA-Eval) 와 새로운 방법론을 제안하여 해당 분야의 평가 패러다임 재고를 촉구합니다.

핵심

🎨 1. 문제의 발견: "화려한 색감"에 속아넘어간 심사위원들

최근 AI 가 그림을 그릴 때, **"가이드 (CFG)"**라는 조절 장치를 많이 씁니다. 이 장치는 AI 에게 "내가 말한 대로 그려줘!"라고 더 강하게 명령하는 역할을 합니다.

• 비유: 그림을 그리는 화가에게 "빨간색을 더 강하게 칠해!"라고 외치는 것 같습니다.
• 현실: 연구자들은 이 '명령 강도 (가이드 스케일)'를 높이면 AI 가 그림을 더 잘 그릴 거라고 믿었습니다. 실제로 점수 (평가 지표) 는 높아졌습니다.
• 하지만! 점수가 오르는 진짜 이유는 그림이 더 잘 그려져서가 아니라, 색상이 너무 과하게 진해지고 (과포화), 선이 날카로워져서였습니다.
• 핵심 문제: 우리가 사용하는 AI 평가 프로그램 (심사위원) 들이 "색이 화려하고 선명한 그림"을 무조건 더 좋아해서 점수를 높게 줍니다. 마치 "화려한 조명만 켜진 무대"를 보고 "연기가 훌륭하다"고 착각하는 것과 같습니다.

🕵️‍♂️ 2. 새로운 실험: "진짜 실력"을 가려내는 도구 (GA-Eval)

저자들은 "혹시 새로운 방법들이 그림을 잘 그리는 게 아니라, 단순히 '색을 더 진하게 칠하는' 기술만 배운 건 아닐까?"라고 의심했습니다.

그래서 **GA-Eval (가이드 인식 평가)**이라는 새로운 도구를 만들었습니다.

• 비유: 새로운 요리사가 만든 요리를 평가할 때, 단순히 "양념을 더 많이 뿌린 요리"와 "새로운 레시피로 만든 요리"를 비교하는 것이 아니라, "양념을 똑같은 양만 썼을 때" 누가 더 맛있는지 비교하는 것입니다.
• 결과: 놀랍게도, 기존에 "최고의 기술"로 칭송받던 많은 방법들은, 양념 (가이드) 을 똑같이 줄였을 때 평범한 기본 요리 (일반 CFG) 보다 훨씬 못 하는 것으로 드러났습니다. 즉, 진짜 실력이 아니라 '화려한 양념'에 의존했던 것입니다.

🎭 3. 장난감 같은 방법 (TDG): 점수는 높지만 실상은 허수아비

저자들은 이 문제를 증명하기 위해, **TDG (초월 확산 가이드)**라는 가상의 방법을 만들었습니다.

• 이 방법의 특징: AI 에게 "약간 망가진 명령어"를 섞어서 주면, AI 가 더 열심히 노력해서 (검색 공간을 넓혀서) 점수가 뚝뚝 오릅니다.
• 결과: 기존 평가 방식에서는 이 방법이 천재처럼 보였지만, GA-Eval 로 다시 보니 그냥 "명령을 더 강하게 주는 것"과 다를 바 없었습니다. 이는 "점수 조작"이 얼마나 쉬운지 보여주는 예시입니다.

📉 4. 결론: 우리는 무엇을 배워야 할까?

이 논문의 결론은 매우 명확합니다.

1. 점수 조작의 위험: 우리가 믿고 있는 '최고의 AI 평가 지표'들은 사실 색이 화려한 그림을 선호하는 편견이 있습니다.
2. 진짜 혁신은 드물다: 최근 발표된 많은 '고급 기술'들은 단순히 가이드 강도를 높여서 점수를 올린 것뿐이며, 실제로는 기존 기술보다 못 할 수도 있습니다.
3. 새로운 기준 필요: AI 개발자들은 이제부터 "화려한 색감"에 속지 않고, 진짜 그림의 질과 명령을 얼마나 잘 따르는지를 보는 새로운 평가 방식을 써야 합니다.

💡 한 줄 요약

"AI 가 그리는 그림이 예뻐진 게 아니라, AI 가 '화려한 색'을 더 많이 칠해서 심사위원 (평가 프로그램) 을 현혹했을 뿐이다. 이제 우리는 그 속임수를 깨고 진짜 실력을 평가해야 한다."

이 연구는 AI 커뮤니티에 **"잠깐 멈추고, 우리가 정말로 발전한 건지 다시 한번 생각해보자"**라고 경종을 울리는 중요한 논문입니다.

기술 요약

1. 문제 제기 (Problem)

최근 텍스트 - 이미지 생성 (Text-to-Image, T2I) 분야에서 확산 모델 (Diffusion Models) 의 성능을 평가할 때, **클래스프리 가이드 (Classifier-Free Guidance, CFG)**의 스케일 (guidance scale, $\omega$) 을 단순히 증가시키는 것만으로도 기존 인간 선호도 기반 평가 지표 (Human Preference Models) 에서 높은 점수를 얻는 **치명적인 평가 함정 (Evaluation Pitfall)**이 존재함을 발견했습니다.

• 현상: CFG 스케일을 높이면 이미지의 의미적 정합성 (Semantic Alignment) 은 향상되지만, 과도한 채도 (Oversaturation) 와 아티팩트 (Artifacts) 로 인해 실제 이미지 품질은 저하됩니다.
• 평가 지표의 편향: HPS v2, ImageReward, PickScore 와 같은 최신 인간 선호도 모델들은 훈련 데이터에 포함된 고채도 이미지와 유사한 특성을 가진, CFG 스케일이 큰 이미지들을 선호하는 경향이 있습니다.
• 결과: 이로 인해 새로운 가이드 방법론들이 실제로는 CFG 스케일 증가와 유사한 효과만 내거나, 오히려 기존 CFG 보다 성능이 떨어지더라도 높은 평가 점수를 받는 왜곡된 결과가 발생합니다.

2. 방법론 (Methodology)

가. 유효 가이드 스케일 (Effective Guidance Scale, $\omega_e$) 정의

저자들은 다양한 가이드 방법론이 실제로 CFG 의 효과를 얼마나 활용하는지 분리하기 위해 유효 가이드 스케일 개념을 도입했습니다.

• 수학적 접근: 각 시간 단계 $t$에서 업데이트된 노이즈 $\tilde{\epsilon}^*_t$를 무조건부 노이즈 ($\epsilon^{uncond}_t$) 와 조건부 노이즈 ($\epsilon^{cond}_t$) 의 차이인 $\Delta\epsilon$ 방향으로의 **평행 성분 ($\epsilon^\parallel_t$)**과 **수직 성분 ($\epsilon^\perp_t$)**으로 분해합니다.
• 계산: 평행 성분의 크기를 $\Delta\epsilon$의 크기로 나눈 값을 해당 시간 단계의 유효 가이드 스케일 $\omega_{e,t}$로 정의하고, 전체 샘플링 경로를 평균하여 최종 $\omega_e$를 구합니다.
  $$\omega_e = \frac{\|\epsilon^\parallel_t\|}{\|\Delta\epsilon\|}$$
• 의미: 만약 어떤 방법론의 성능이 단순히 CFG 스케일 증가에서 기인한다면, 그 방법론의 $\omega_e$는 기존 CFG 의 스케일보다 훨씬 클 것입니다.

나. 가이드 인식 평가 프레임워크 (GA-Eval)

기존 평가의 편향을 보정하기 위해 GA-Eval (Guidance-Aware Evaluation) 프레임워크를 제안합니다.

• 동작 원리: 비교 대상 방법론 ($X^*$) 과 **동일한 유효 가이드 스케일 ($\omega_e$) 을 적용한 CFG (e-CFG)**를 생성하여 경쟁시킵니다.
• 승률 (Winning Rate) 분석:
  • $\eta_{CFG}$: 방법론 vs 일반 CFG 의 승률
  • $\eta_{e-CFG}$: 방법론 vs 유효 스케일 CFG 의 승률
  • 감소량 ($\Delta\eta = \eta_{CFG} - \eta_{e-CFG}$): 만약 $\Delta\eta$가 크다면, 해당 방법론은 CFG 스케일 증가 효과에 의존하고 있음을 의미합니다.

다. 초월 확산 가이드 (Transcendent Diffusion Guidance, TDG)

평가 함정을 증명하기 위해, 기존 방법론들이 사용하는 '약한 조건 (Weak Condition)' 생성 방식을 모방한 TDG를 설계했습니다.

• 구현: 텍스트 프롬프트의 토큰을 무작위로 빈 토큰 ($\emptyset$) 으로 대체하여 약화된 프롬프트 $c^*$를 생성하고, 이를 통해 약한 조건부 노이즈 $\epsilon^{weak}$를 추출합니다.
• 목적: CFG 의 선형 검색 공간 (Line) 을 초월하여 2 차원 초평면 (Hyperplane) 검색 공간을 확장함으로써, 기존 평가 지표에서는 성능이 좋아 보이지만 실제 품질 향상은 미미한 '가짜' 방법론을 만들어냅니다.

3. 주요 기여 (Key Contributions)

1. 평가 함정 규명: 인간 선호도 모델 (HPS v2, ImageReward 등) 이 CFG 스케일 증가에 강한 편향을 가지고 있음을 최초로 규명했습니다. 단순히 스케일을 키우는 것만으로도 이미지 품질이 손상되어도 평가 점수가 상승하는 모순을 지적했습니다.
2. GA-Eval 프레임워크 제안: CFG 효과와 직교/평행 효과를 분리하여 공정한 비교를 가능하게 하는 새로운 평가 체계를 제시했습니다.
3. TDG 방법론 개발: 평가 지표만 조작할 수 있는 (실제 품질 향상은 없는) 방법론을 설계하여, 기존 평가 체계의 취약점을 극명하게 보여줍니다.
4. 광범위한 실험 검증: 8 가지 최신 확산 가이드 방법론 (Z-Sampling, CFG++, PAG, SAG, SEG, FreeU, APG, TDG) 을 기존 프레임워크와 GA-Eval 에서 비교 평가했습니다.

4. 실험 결과 (Results)

• 기존 평가 vs GA-Eval:
  • 기존 평가 (HPS v2 등) 에서는 대부분의 방법론이 CFG 보다 높은 승률을 보였습니다.
  • GA-Eval 적용 후: 대부분의 방법론이 승률이 급격히 하락하여, 기존 CFG (특히 $\omega_e$를 적용한 e-CFG) 보다 성능이 낮거나 비슷해졌습니다.
  • 예시: CFG++, SAG, TDG, Z-Sampling 등의 HPS v2 승률 감소폭 ($\Delta\eta$) 이 15% 이상 발생했습니다.
• 예외 사례 (Z-Sampling, CFG++):
  • Z-Sampling 은 일부 방법론들 중 유일하게 e-CFG 대비 여전히 높은 승률 (약 60~70%) 을 유지했습니다. 이는 단순히 스케일 증가가 아닌, 실제 CFG 와 직교하는 유효한 개선 요소가 있음을 시사합니다.
  • 반면, APG 는 과포화 (Over-saturation) 를 억제하여 채도가 낮은 이미지를 생성하므로, 채도를 선호하는 평가 지표 (HPS v2 등) 에서는 불리하게 평가받았으나, 실제 품질 측면에서는 다른 의미를 가질 수 있음을 보였습니다.
• TDG 의 성과: TDG 는 기존 평가에서는 CFG 대비 높은 승률을 보였으나, GA-Eval 에서는 승률이 크게 떨어지며 실제 품질 향상 효과가 없음을 증명했습니다.
• 다른 모델 및 데이터셋: Stable Diffusion 2.1, 3.5, DiT-XL/2 등 다양한 모델과 데이터셋 (Pick-a-Pic, DrawBench, HPD 등) 에서도 동일한 경향이 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 AIGC(생성형 AI) 커뮤니티에 **중요한 경고 (Wake-up Call)**를 보냅니다.

• 평가 패러다임의 재고: 단순히 인간 선호도 모델 점수만 높이는 것이 진정한 성능 향상이 아님을 지적하며, **채도 편향 (Saturation Bias)**을 제거한 새로운 평가 기준이 필요함을 강조합니다.
• 실제 혁신의 식별: GA-Eval 프레임워크를 통해 단순히 CFG 스케일을 조작하는 가짜 방법론을 걸러내고, 실제로 확산 모델의 샘플링 경로나 조건부 생성 메커니즘을 개선한 진정한 혁신 (예: Z-Sampling 의 일부 요소) 을 식별할 수 있는 도구를 제공합니다.
• 미래 방향: 향후 연구는 단순히 점수를 높이는 것이 아니라, 이미지 품질과 의미적 정합성을 동시에 개선하며 평가 지표의 편향에 영향을 받지 않는 견고한 방법론 개발에 집중해야 함을 시사합니다.