기술 요약: 덜 하고 더 성취하기: 확산 모델의 RL 미세 조정을 위해 모든 단계 최적화가 필요한가?

1. 문제 제기

확산 모델은 이미지 생성 분야에서 최첨단 성능을 달성했으나, 주로 데이터 재구성을 위해 최적화되어 특정 인간의 선호도 (예: 미적 감각, 의미적 의도) 와 정렬되지 못하는 경우가 많습니다. 강화 학습 (RL) 은 명시적인 보상 신호를 사용하여 이러한 모델을 미세 조정하기 위해 도입되었습니다. 그러나 현재 RL 미세 조정 패러다임은 세 가지 중요한 과제에 직면해 있습니다:

1. 시간적 불일치 (보상 역전파): 보상은 최종 이미지가 생성된 후에만 제공되므로, 기존 방법들은 학습 가능성을 보장하기 위해 이 단일 보상을 모든 탈노이즈 단계에 역전파합니다. 이는 시간적 인과 관계를 교란시킵니다. 이미지 구조가 혼란스럽고 불안정한 초기 단계에서는 약하게 상관된 안내 신호를 받게 됩니다. 이로 인해 높은 분산, 무작위적인 기울기 방향, 그리고 비효율적인 업데이트가 발생합니다.
2. 악화된 보상 해킹: 기존 방법들은 모든 탈노이즈 단계에서 최적화의 가치가 동일하다고 가정합니다. 이미지 구조가 안정화되고 보상 신호가 대부분 수렴한 후기 단계에서는 지속적인 훈련이 체감 수익을 감소시킵니다. 이러한 저가치 구간에서 강제로 업데이트를 수행하면 국소 세부 사항에 과적합될 위험이 증가하고, "보상 해킹"(모델이 보상 함수를 악용하여 고점수이지만 저품질이거나 왜곡된 이미지를 생성하는 현상) 이 증폭됩니다.
3. 계산 자원 낭비: 불안정한 초기 단계에서의 훈련과 안정화된 후기 단계의 과도한 최적화를 결합하면 생성 품질의 비례적 향상 없이 상당한 계산 오버헤드가 발생합니다.

2. 방법론: AdaScope

저자들은 전체 탈노이즈 궤적을 최적화하는 대신 RL 미세 조정을 위한 최적의 개입 및 종료 시점을 적응적으로 선택하는 RL 강화형 플러그인인 AdaScope를 제안합니다. 이 방법은 탈노이즈 단계마다 RL 의 영향력이 크게 달라진다는 관찰에 기반합니다.

이론적 기반

저자들은 순방향 및 역방향 확산 과정 사이의 이론적 연결을 확립합니다. 그들은 생성이 진행됨에 따라 다른 시간 단계의 잠재 변수 간의 상관관계가 단조 감소함을 증명합니다. 이는 시간이 지남에 따라 불확실성이 감소하며, "적당한 불확실성" 단계가 구조적 안정성과 보상 민감도를 균형 있게 유지하는 최적의 최적화 창구임을 의미합니다.

적응 메커니즘

AdaScope 는 두 가지 기준에 따라 훈련 구간 $[t_{start}, t_{end}]$를 동적으로 결정합니다:

1. 의미 - 구조 경향 인식 ($t_{start}$):

   • 목표: 노이즈가 지배적이고 의미적 구조가 발달하지 않은 초기 혼란 단계를 건너뜁니다.
   • 메커니즘: 이 방법은 인접 단계로부터 중간 이미지 $\hat{x}_0$를 재구성하고, 재구성된 이미지와 프롬프트 간의 CLIP 점수를 사용하여 구조적 이득 ($\Delta S_t$) 을 계산합니다.
   • 트리거: 구조적 이득의 변동이 안정화될 때 (즉, 이득의 미분값이 0 에 가까워질 때) 훈련이 시작됩니다. 이는 의미적 구조가 형성되어 선호도 최적화에 준비되었음을 나타냅니다.

2. 보상 - 이득 경향 인식 ($t_{end}$):

   • 목표: 보상 이득이 포화되어 과적합과 보상 해킹을 방지하기 위해 후기 단계 전에 훈련을 종료합니다.
   • 메커니즘: 이 방법은 보상 점수 (예: 미적 점수) 의 인접 단계 간 변화로 정의되는 선호도 이득 ($\Delta P_t$) 을 모니터링합니다.
   • 트리거: 선호도 이득의 변동이 안정화될 때 훈련이 중단됩니다. 이는 모델이 주어진 프롬프트에 대한 포화 지점에 도달했으며 추가 업데이트가 미미한 향상만 가져온다는 것을 나타냅니다.

RL 업데이트를 $[t_{start}, t_{end}]$ 구간으로 제한함으로써 AdaScope 는 의미적 구조가 안정화되고 보상 이득이 유의미한 "고가치" 영역에 최적화를 집중시킵니다.

3. 주요 기여

• 이론적 분석: 본 논문은 생성 중 중간 이미지 간의 상관관계 역학을 입증하는 이론적 유도 (정리 1 및 2, 보조 정리 1) 를 제공하여 최적 개입 창구의 존재를 검증합니다.
• 이중 최적화: AdaScope 는 "이중 혜택"을 달성합니다:
  • 품질 향상: 심각한 행동 - 보상 귀인 불일치가 있는 초기 단계 샘플을 필터링하여 정책 기울기 추정을 안정화합니다. 과적합에 취약한 후기 단계 샘플을 제거하여 일반화와 분포 충실도를 강화합니다.
  • 효율성 향상: 적응적으로 효과적인 RL 구간을 식별함으로써 고노이즈 및 포화 단계에서의 비효율적인 업데이트를 방지하여 훈련 단계를 크게 줄입니다.
• 플러그 - 앤 - 플레이 설계: 이 방법은 다양한 기존 RL 미세 조정 접근법 (예: DDPO, DPOK, D3PO) 과 백본 아키텍처 (SDv1.4, SDv2.1, SDXL) 와 호환되는 플러그인으로 설계되었습니다.

4. 실험 결과

저자들은 여러 데이터셋 (HPSv2, Pick-a-Pic, Simple Animals) 과 보상 목표 (미적 점수, PickScore, ImageReward, 다중 목적 조합) 에서 AdaScope 를 평가했습니다.

• 성능 향상: 최첨단 방법과 비교하여 AdaScope 는 여섯 가지 지표 (PickScore, 미적 점수, ImageReward 포함) 에서 **66%**만큼 성능을 향상시켰으며, 계산 비용은 59% 줄였습니다.
• 효율성: 이 방법은 기준선 대비 특정 보상 임계값 (예: PickScore=22 또는 미적 점수=7 도달) 에 도달하는 데 필요한 시간을 크게 단축했습니다.
• 강건성: 이 접근법은 다중 목적 보상을 포함한 다양한 보상 함수와 백본 모델 (SDv1.4, SDv2.1, SDXL) 에서 일관된 우월성을 보여주었습니다.
• 다양성 보존: 시각화 (t-SNE) 와 정량적 지표 (실루엣 계수) 는 AdaScope 가 DDPO 와 같은 기준선보다 더 넓은 생성 분포를 유지함을 보여주었습니다. DDPO 는 컴팩트하고 다양성이 부족한 군집으로 붕괴되는 경향이 있었습니다. 이는 보상 해킹의 효과적인 완화를 나타냅니다.
• 정성적 정렬: 시각적 결과는 구성, 색상, 개수, 위치와 관련된 복잡한 프롬프트에 대한 우수한 정렬을 보여주었으며, 보이지 않는 복잡한 프롬프트 처리 능력도 더 뛰어났습니다.

5. 중요성 및 주장

본 논문은 "덜 하고 더 성취하기" 패러다임이 확산 모델의 효과적인 RL 미세 조정을 위해 전체 궤적 최적화가 필요하다는 지배적인 가정에 도전한다고 주장합니다.

• 선택적 최적화의 타당성: 이 연구는 모든 탈노이즈 단계가 선호도 정렬에 동일하게 기여하지 않음을 보여줍니다. 전체 궤적을 최적화하면 노이즈 (초기 단계) 와 과적합 위험 (후기 단계) 이 발생합니다.
• 타협 없는 효율성: AdaScope 는 계산 효율성과 생성 품질이 상호 배타적이지 않음을 증명합니다. 정보 없는 단계를 제거함으로써 비용과 동시에 출력 품질을 개선합니다.
• 일반화 가능성: 적응 메커니즘은 희소 보상과 보상 해킹의 근본적인 문제를 해결하기 위해 다양한 RL 기반 미세 조정 파이프라인에 통합될 수 있는 모델 중립적 솔루션으로 제시됩니다.

저자들은 AdaScope 가 RL 미세 조정을 위한 효율적이고 확장 가능한 솔루션을 제공하며, 최적화가 의미적 구조가 안정화되고 보상 이득이 유의미한 중요한 구간에 집중되도록 보장한다고 결론지었습니다.