AdaGen: Learning Adaptive Policy for Image Synthesis

본 논문은 기존 이미지 생성 모델의 고정된 단계별 스케줄링 한계를 극복하기 위해 강화학습과 적대적 보상 설계를 도입하여 각 샘플에 맞춰 적응적으로 생성 과정을 최적화하는 'AdaGen' 프레임워크를 제안하고, 다양한 생성 패러다임에서 성능 향상과 추론 비용 절감을 입증합니다.

핵심

🎨 아다젠 (AdaGen): 그림을 그리는 AI 에게 '스마트한 화가'를 입히다

이 논문은 **AI 가 그림을 그릴 때, 어떻게 하면 더 빠르고 더 잘 그릴 수 있을까?**에 대한 해답을 제시합니다. 기존 AI 들은 정해진 규칙만 따라 그렸는데, 아다젠은 그림 하나하나의 특성에 맞춰 **스스로 결정하는 '스마트한 화가'**를 만들어냈습니다.

상상해 보세요. 그림을 그리는 과정을 거대한 캔버스에 그림을 완성해 나가는 작업이라고 생각합시다.

---

1. 기존 방식: "모두에게 똑같은 지시사항" (The Rigid Script)

지금까지의 AI 그림 그리기 기술 (마스크깃, 확산 모델 등) 은 마치 엄격한 지시서를 가진 조교와 같습니다.

• 상황: AI 는 그림을 한 번에 완성하지 못하고, 여러 단계 (예: 16 단계, 32 단계) 에 걸쳐 조금씩 완성해 나갑니다.
• 문제: 각 단계마다 "얼마나 많은 부분을 수정할까?", "얼마나 노이즈를 제거할까?" 같은 **규칙 (스케줄)**을 정해야 합니다.
• 한계: 기존 방식은 모든 그림에 똑같은 규칙을 적용했습니다.
  • 예시: "1 단계에서는 50% 를 수정하고, 2 단계에서는 40% 를 수정하라"는 식입니다.
  • 비유: 마치 모든 학생에게 똑같은 시험 문제를 주고, 똑같은 시간 제한을 주는 것과 같습니다. 쉬운 문제 (단순한 고양이 그림) 에는 시간이 너무 남고, 어려운 문제 (복잡한 풍경화) 에는 시간이 부족해 엉망이 될 수 있습니다. 또한, 이 규칙을 정하려면 전문가의 오랜 시행착오가 필요했습니다.

2. 아다젠 (AdaGen) 의 등장: "상황을 읽는 스마트한 화가"

아다젠은 이 문제를 해결하기 위해 **강화 학습 (Reinforcement Learning)**을 이용해 AI 에게 **'스마트한 화가 (Policy Network)'**를 입혔습니다.

• 핵심 아이디어: "그림이 지금 어떤 상태인지 보고, 그 순간에 가장 필요한 수정 방식을 스스로 결정하라."
• 비유:
  • 기존 AI: 정해진 레시피대로만 요리를 합니다. (재료 상태와 상관없이 항상 같은 시간, 같은 온도)
  • 아다젠: 요리사가 재료를 보고 "이 고기는 잘 익었으니 불을 줄이고, 저 야채는 아직 덜 익었으니 더 볶아야겠다"라고 스스로 판단하여 요리를 완성합니다.

3. 어떻게 학습시킬까? "악역이 있는 게임" (Adversarial Reward)

AI 화가를 가르칠 때, "무조건 점수를 높여라"라고만 하면 AI 는 점수만 잘 나오는 나쁜 그림 (예: 똑같은 얼굴만 반복하거나, 너무 뻔뻔한 그림) 을 그릴 수 있습니다. 이를 '과적합 (Overfitting)'이라고 합니다.

아다젠은 이를 해결하기 위해 **GAN(생성적 적대 신경망)**의 아이디어를 차용했습니다.

• 게임 규칙:
  1. 화가 (Policy Network): 진짜 같은 그림을 그려서 심사위원을 속이려 합니다.
  2. 심사위원 (Adversarial Reward Model): 화가가 그린 그림이 진짜인지 가짜인지 치열하게 감시합니다.
• 효과: 화가는 심사위원이 속지 않도록 점점 더 정교하고 다양한 그림을 그리게 됩니다. 단순히 점수만 높이는 게 아니라, 진짜처럼 생기고 다양성도 있는 그림을 그리도록 훈련됩니다.

4. 추가 기능: "마무리 작업"과 "취향 조절"

아다젠은 두 가지 멋진 부가 기능도 제공합니다.

1. 인생의 마지막 수정 (Inference-time Refinement):
   • 그림이 거의 완성되었을 때, AI 가 "아직 조금 더 고칠 수 있겠네?"라고 생각하면, 여러 번 시도해 보고 가장 좋은 결과만 선택합니다. 마치 작가가 마지막에 붓질을 몇 번 더 하고 가장 마음에 드는 것을 고르는 것과 같습니다.
2. 진실함 vs 다양성 조절 (Fidelity-Diversity Trade-off):
   • 사용자가 "진짜처럼 생겼으면 좋겠다 (Fidelity)"를 원할지, "다양하고 신기한 그림을 원한다 (Diversity)"를 원할지 스위치를 조절할 수 있습니다.
   • 비유: 사진기 모드 (진짜처럼) 와 예술화 모드 (다양하고 창의적) 사이를 자유롭게 오갈 수 있습니다.

5. 결과: "더 빠르고, 더 잘 그립니다"

실험 결과, 아다젠은 기존 방식보다 **훨씬 적은 계산 비용 (시간)**으로 더 높은 품질의 그림을 만들어냈습니다.

• 예시: 기존에 50 단계로 그렸던 그림을 아다젠은 16 단계로도 더 잘 그렸습니다. (약 3 배 빠름)
• 의미: 고가의 GPU 를 덜 쓰면서도, 전문가가 수작업으로 규칙을 정할 필요 없이 AI 가 스스로 최적의 그림 그리기 방식을 찾아냈습니다.

---

📝 한 줄 요약

**아다젠 (AdaGen)**은 "모든 그림에 똑같은 규칙을 적용하는 구식 AI"를 대신하여, **"그림의 상황에 맞춰 스스로 판단하고, 심사위원과 경쟁하며 더 잘 그리도록 학습된 스마트한 AI 화가"**입니다. 이제 AI 는 더 이상 정해진 레시피만 따르는 기계가 아니라, 상황 판단이 뛰어난 예술가가 되었습니다. 🎨✨

기술 요약

AdaGen: 이미지 합성을 위한 적응형 정책 학습 (AdaGen: Learning Adaptive Policy for Image Synthesis)

이 논문은 AdaGen이라는 새로운 프레임워크를 제안하여, 반복적 생성 모델 (MaskGIT, 확산 모델, 자기회귀 모델, 정류 흐름 모델 등) 의 성능을 극대화하는 방법을 연구합니다. 기존 방식의 한계를 극복하고, 강화 학습 (RL) 을 통해 각 샘플에 최적화된 생성 정책을 자동으로 학습하는 것이 핵심입니다.

1. 문제 정의 (Problem)

최근 이미지 합성 기술은 MaskGIT, 확산 모델 (Diffusion Models), 자기회귀 모델 (Autoregressive Models), 정류 흐름 (Rectified Flow) 등 강력한 생성 모델들의 등장으로 비약적인 발전을 이루었습니다. 이러한 모델들의 공통점은 복잡한 합성 작업을 여러 단계로 분해하여 처리한다는 것입니다.

하지만 이러한 다단계 생성 과정에는 다음과 같은 심각한 문제들이 존재합니다:

• 수동 스케줄링의 의존성: 각 단계마다 적용해야 할 파라미터 (예: 마스크 비율, 노이즈 수준, 온도, 가이드 스케일 등) 를 설정하기 위해 전문가의 지식과 수많은 시행착오 (Trial-and-error) 가 필요합니다.
• 정적 스케줄의 비효율성: 기존 방법들은 모든 샘플에 동일한 고정된 스케줄링 규칙 (Static Schedule) 을 적용합니다. 이는 각 이미지 샘플의 고유한 특성 (복잡도, 구조 등) 에 적응하지 못해 최적의 성능을 내지 못하게 합니다.
• 보상 함수 설계의 난제: 강화 학습을 적용할 때, 단순한 평가 지표 (FID 등) 나 사전 훈련된 보상 모델을 사용하면 생성된 이미지가 특정 패턴에 과도하게 적합 (Overfitting) 되어 다양성이나 품질이 저하되는 문제가 발생합니다.

2. 방법론 (Methodology)

AdaGen 은 생성 과정을 **마르코프 결정 과정 (MDP, Markov Decision Process)**으로 재정의하고, 강화 학습을 통해 각 샘플에 맞는 적응형 정책을 학습합니다.

2.1. 통합 MDP 프레임워크

• 상태 (State, $s_t$): 현재 생성 단계 ($t$) 와 중간 생성 결과 (예: 부분적으로 마스크된 토큰 시퀀스, 부분적으로 노이즈 제거된 이미지) 를 포함합니다.
• 행동 (Action, $a_t$): 다음 단계로 넘어가기 위해 필요한 생성 정책 파라미터들 (마스크 비율, 온도, 가이드 스케일 등) 입니다.
• 정책 네트워크 (Policy Network, $\eta_\phi$): 현재 상태를 관찰하여 가장 적합한 행동 (정책) 을 결정하는 경량 신경망입니다. 이 네트워크는 강화 학습을 통해 최적화됩니다.
• 보상 (Reward): 최종 생성된 이미지의 품질을 평가합니다.

2.2. 적대적 보상 모델링 (Adversarial Reward Modeling)

기존의 FID나 사전 훈련된 보상 모델 (PRM) 은 정책 네트워크가 특정 지표에 과도하게 최적화되게 만들어, 이미지의 다양성이나 실제 품질을 해칠 수 있습니다. 이를 해결하기 위해 AdaGen 은 GAN(생성적 적대 신경망) 의 아이디어를 차용합니다:

• 적대적 보상 모델 ($r_\psi$): 생성된 이미지와 실제 이미지를 구별하는 판별자 (Discriminator) 역할을 합니다.
• 최소최대화 게임: 정책 네트워크는 보상 ($r_\psi$) 을 최대화하도록 학습하는 반면, 보상 모델은 실제와 가짜를 더 잘 구별하도록 동시에 업데이트됩니다.
• 효과: 정적 목표에 대한 과적합을 방지하고, 생성된 이미지의 품질 (Fidelity) 과 다양성 (Diversity) 의 균형을 유지하도록 유도합니다.

2.3. 추가 기술적 개선 사항

1. 행동 평활화 (Action Smoothing): 생성 단계가 많아질수록 정책 네트워크의 출력이 불안정하게 진동하는 문제가 발생합니다. 이를 해결하기 위해 지수 이동 평균 (EMA) 필터를 적용하여 행동 시퀀스를 부드럽게 만듭니다. 이는 학습의 안정성을 높이고 성능을 개선합니다.
2. 추론 시 정제 (Inference-time Refinement):
   • 반복 샘플링 (Repeated Sampling): 훈련된 적대적 보상 모델을 사용하여 여러 번 샘플링한 후, 가장 높은 점수를 받은 이미지를 선택합니다.
   • Lookahead Sampling: 확률적 전이 (예: MaskGIT) 가 있는 모델의 경우, 중간 단계에서 여러 후보를 생성하고 가치 네트워크 (Value Network) 를 통해 예상 보상이 높은 경로를 선택하여 품질을 높입니다.
3. 품질 - 다양성 조절 (Fidelity-Diversity Trade-off): 사용자는 $\lambda$ 파라미터를 조절하여 '고품질 (Fidelity)'과 '다양성 (Diversity)' 사이의 균형을 직접 제어할 수 있습니다. 이를 위해 품질 중심 정책 네트워크와 원래의 균형을 맞춘 정책 네트워크를 선형 보간합니다.

3. 주요 기여 (Key Contributions)

1. 범용 적응형 프레임워크: MaskGIT 에 국한되지 않고, 확산 모델, 자기회귀 모델, 정류 흐름 모델 등 다양한 생성 패러다임에 적용 가능한 일반화된 프레임워크를 제안했습니다.
2. 적대적 보상 설계: 보상 과적합 문제를 해결하여 품질과 다양성을 동시에 향상시키는 새로운 보상 설계 방식을 제시했습니다.
3. 추가 기능 도입:
   • 훈련 후 폐기되던 보조 네트워크 (보상 모델, 가치 네트워크) 를 추론 시 정제 도구로 재사용하는 전략.
   • 사용자가 직접 품질과 다양성의 균형을 조절할 수 있는 메커니즘.
4. 광범위한 실험 검증: ImageNet, MS-COCO, CC3M, LAION-5B 등 5 개의 대규모 데이터셋과 4 가지 생성 패러다임에서 AdaGen 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

AdaGen 은 다양한 모델과 데이터셋에서 기존 방법보다 뛰어난 성능과 효율성을 보였습니다.

• 성능 향상:
  • DiT-XL (ImageNet 256x256): 16 단계 추론 시 FID 3.31 (기존) → 2.19로 개선. 동일한 성능을 유지하면서 추론 비용을 약 3 배 절감 (50 단계 대비).
  • VAR-d30 (ImageNet 256x256): FID 1.92 (기존) → 1.59로 개선. 추가적인 계산 비용은 거의 들지 않음.
  • Stable Diffusion (LAION-5B 기반): 32 단계 추론 시 FID 9.03 → 8.14로 개선. 50 단계 기저선 (FID 8.59) 보다 더 좋은 성능을 내면서 계산 비용은 약 1.5 배 적게 소요.
• 효율성: AdaGen 은 정책 네트워크의 계산 비용이 전체 생성 비용의 **0.07% ~ 0.40%**에 불과하여, 매우 낮은 오버헤드로 큰 성능 향상을 달성했습니다.
• 다양성 및 품질 조절: $\lambda$ 파라미터를 통해 FID 점수와 생성 이미지의 다양성을 사용자가 원하는 대로 조절할 수 있음을 시각적으로 입증했습니다.

5. 의의 (Significance)

AdaGen 은 이미지 합성 분야에서 수동으로 설계된 스케줄링 규칙을 데이터 기반의 자동화된 적응형 정책으로 대체하는 중요한 전환점을 제시합니다.

• 전문가 지식 불필요: 복잡한 생성 모델의 하이퍼파라미터 튜닝에 필요한 전문가의 노동을 줄여줍니다.
• 샘플별 최적화: 모든 이미지에 동일한 규칙을 적용하는 것이 아니라, 각 이미지의 특성에 맞춰 최적의 생성 경로를 찾음으로써 더 높은 품질의 결과를 도출합니다.
• 범용성: 다양한 생성 모델 아키텍처에 적용 가능하여, 미래의 생성 모델 개발 및 최적화에 표준적인 접근법으로 자리 잡을 가능성이 큽니다.

결론적으로, AdaGen 은 생성 모델의 성능 한계를 극복하고, 효율성과 유연성을 동시에 확보한 차세대 적응형 생성 프레임워크입니다.