기술 요약: 강화학습 및 보상 모델을 통한 확산 모델의 정렬과 안전성

1. 문제 제기

확산 모델은 고품질 이미지 및 멀티모달 생성을 위한 지배적인 패러다임으로 자리 잡았습니다. 그러나 광범위한 인터넷 데이터를 기반으로 한 최대 가능도 (maximum likelihood) 를 통한 표준 훈련은 종종 인간의 의도, 미적 선호도, 또는 안전 제약과 불일치하는 결과를 초래합니다. 구체적인 문제점은 다음과 같습니다:

• 프롬프트 불일치: 복잡한 지시사항 (예: 객체 수, 색상) 을 정확하게 따르지 못함.
• 원치 않는 콘텐츠: 훈련 데이터의 편향으로 인해 공격적, 폭력적, 또는 편향된 이미지 생성.
• 품질 저하: 특정 품질 지표를 명시적으로 최적화하지 않을 때 흐리거나 아티팩트가 많은 이미지 생성.

확산 모델을 정렬하는 데 있어 핵심적인 과제는 생성 과정의 본질에 있습니다. 이는 일반적으로 피드백이 희소 (최종 출력에서만 사용 가능) 하고 보상 신호 (인간 선호도) 가 종종 미분 불가능한 반복적, 고차원적인 탈잡음 궤적입니다. 인간 가치를 훈련 루프에 직접 통합하려면 확산 과정의 특정 귀납적 편향에 맞춰 강화학습 (RL) 과 보상 모델링 기법을 적응시켜야 합니다.

2. 방법론 및 분류 체계

본 조사는 문헌을 피드백의 출처, 보상 신호의 형태, 최적화 메커니즘, 분포 이동 처리, 그리고 안전성의 명시적 처리라는 다섯 가지 주요 축으로 조직화합니다. 방법론은 다음과 같이 분류됩니다:

2.1 인간 피드백 기반 강화학습 (RLHF)

이러한 접근법은 정책이 확산 모델인 마르코프 결정 과정 (MDP) 으로 확산 샘플링 과정을 간주합니다.

• 파이프라인: 인간 피드백 (예: 쌍별 비교) 을 수집하여 스칼라 보상 모델 ($r_\phi$) 을 훈련한 후, 이 보상을 최대화하도록 확산 모델을 미세 조정합니다.
• 알고리즘: 초기 연구인 **Lee et al. [2023]**은 보상 가중 가능도를 사용했습니다. **DPOK [Fan et al., 2023]**은 기본 모델에서의 편향을 방지하기 위해 KL-정규화 정책 경사 (PPO 와 유사) 를 사용한 온라인 RL 을 도입했습니다.
• 고급 변형: 불안정성과 샘플 비효율성을 해결하기 위해 GRPO (Group Relative Policy Optimization) 변형 (예: DanceGRPO, Flow-GRPO) 과 같은 새로운 방법들은 별도의 가치 비평가를 없이 궤적 그룹을 샘플링하여 상대적 이점을 계산합니다. **TDPO-R [Zhang et al., 2024]**은 시간적 귀납적 편향을 도입하고 과도하게 활성화된 비평가 뉴런을 재설정함으로써 "보상 해킹"을 해결합니다.

2.2 직접 선호도 최적화 (DPO) 및 변형

이러한 방법들은 보상 모델의 명시적 훈련을 우회하여 선호도 데이터에서 정책을 직접 최적화합니다.

• 메커니즘: 기본 모델을 사전분포로 간주함으로써, 이러한 방법들은 쌍별 선호도 (예: $A \succ B$) 에서 손실 함수를 유도하여 선호되는 출력의 가능성을 높이는 방식으로 모델을 업데이트합니다.
• 적응: **Diffusion-DPO [Wallace et al., 2023a]**와 **D3PO [Yang et al., 2024b]**는 메모리와 신용 할당을 관리하기 위해 시간 단계에 걸쳐 선호도 신호를 분해하는 등, 확산의 다단계 특성에 DPO 를 적응시켰습니다. **Diffusion-KTO [Li et al., 2024a]**는 사용자 행동으로부터의 약한 신호를 활용하여 이진 이미지 단위 피드백 (좋아요/싫어요) 으로 이를 확장합니다.
• 개인화: **PPD [Dang et al., 2025]**와 **C-DPO [Dunlop et al., 2026]**와 같은 방법들은 전체 모델을 재훈련하지 않고도 사용자별 임베딩을 학습하여 정렬을 개인화합니다.

2.3 미분 가능 보상 미세 조정

이 범주는 보상 함수가 미분 가능하거나 (또는 대리 모델로 근사된) 샘플링 과정을 통해 역전파된다고 가정합니다.

• 접근법: 생성기를 블랙박스로 간주하는 대신, 이러한 방법들은 탈잡음 궤적을 계산 그래프로 간주합니다. **AlignProp [Prabhudesai et al., 2024]**와 **DRaFT [Clark et al., 2024]**는 확산 단계를 통해 보상 기울기의 엔드투엔드 역전파를 수행합니다.
• 최적화: 메모리를 관리하기 위해 기울기 체크포인트, 저랭크 어댑터, 그리고 역전파를 최종 단계로 잘라내는 등의 기법이 포함됩니다. **LaSRO [Jia et al., 2025a]**는 고도로 증류된 모델에 대한 비미분 가능 보상을 처리하기 위해 잠재 공간에서 미분 가능한 대리 보상을 학습합니다.

2.4 안전성 특화 및 영역 인지 기술

일반적인 정렬이 품질을 향상시키지만, 안전성은 종종 명시적 제약을 요구합니다.

• 표적 정렬: **AlignGuard [Liu et al., 2025b]**는 안전성 라벨이 지정된 쌍에 DPO 스타일 손실로 안전성 전문가를 훈련합니다.
• 영역 특정: **Focus-N-Fix [Xing et al., 2024]**는 어텐션 마스크를 통해 문제 영역 (예: NSFW 콘텐츠) 을 식별하고 이미지의 나머지 충실도와 스타일을 보존하면서 해당 특정 공간 영역만 미세 조정합니다.

3. 주요 기여

본 논문은 확산 모델 정렬이라는 신흥 분야의 일관된 기술 지도를 제공합니다. 주요 기여 사항은 다음과 같습니다:

1. 구조화된 분류 체계: 피드백 출처, 보상 형태, 최적화 메커니즘에 기반한 정렬 방법의 분류로, RLHF, DPO, 그리고 미분 가능 접근법 간의 관계를 명확히 합니다.
2. 교육적 설명: 확산 샘플링, 보상 모델링, 그리고 선호도 최적화에 대한 기초 설명을 포함하여 조사를 더 넓은 대중이 접근할 수 있도록 합니다.
3. 비교 분석: 피드백 요구사항, 계산 비용, 확장성, 보상 해킹에 대한 취약성, 안전성 적합성 등의 차원에서 대표적 방법들을 체계적으로 비교합니다 (표 1 요약).
4. 열린 과제 종합: 다섯 가지 중요한 연구 격차를 식별합니다:
   • 다목적 정렬: 치명적 망각 없이 상충되는 목표 (예: 안전성 vs 프롬프트 충실도) 를 균형 있게 조정.
   • 피드백 효율성: 능동 학습과 합성 피드백 (RLAIF) 을 통해 비싼 인간 데이터에 대한 의존도 감소.
   • 적대적 견고성: 적대적 프롬프트와 분포 이동에 견고한 안전 메커니즘 개발.
   • 지속적 정렬: 전체 재훈련 없이 진화하는 규범과 사용자 선호도에 모델을 적응.
   • 해석 가능성: 블랙박스 보상 모델을 넘어 분해 가능하고 감사 가능한 선호도 신호로 이동.

4. 결과 및 동향

본 조사는 문헌의 발견을 종합하여 몇 가지 동향을 강조합니다:

• RL 에서 직접 최적화로의 전환: 초기 RLHF 방법 (예: Lee et al., 2023) 이 정렬의 실현 가능성을 입증했지만, 새로운 미분 가능 방법 (AlignProp, DRaFT) 과 직접 선호도 방법 (DPO 변형) 은 종종 우수한 샘플 효율성과 훈련 안정성을 보여줍니다.
• 보상 해킹 처리: 단순한 RL 은 종종 보상 모델의 특이점을 악용하는 보상 해킹으로 이어집니다. TDPO-R(시간적 편향 보정) 과 DPOK의 KL-정규화와 같은 기법들이 이를 완화하는 것으로 입증되었습니다.
• 데이터 및 모델 수렴: 이 분야는 평가용 표준 데이터셋 (예: Pick-a-Pic, HPSv2) 과 보상 모델 (예: ImageReward, PickScore) 로 수렴하여 더 엄격한 벤치마킹을 가능하게 합니다.
• 하이브리드 아키텍처: 가장 효과적인 접근법들은 종종 방법들을 결합합니다. 예를 들어, 속도를 위해 미분 가능 보상을 사용하면서 분포 이동을 방지하기 위해 RL 스타일 제약을 적용하거나, 전역적으로 정렬된 모델 위에 영역 특정 안전성 수정을 계층화합니다.

5. 의의

본 논문은 확산 모델 정렬에서 상당한 진전이 있었음에도 불구하고, 안전성-중요 또는 진화하는 실제 맥락에서의 신뢰할 수 있는 배포는 여전히 열린 과제라고 주장합니다. 본 조사의 의의는 다음과 같습니다:

• 방법론적 격차 식별: 현재 방법들이 종종 다목적 트레이드오프, 적대적 견고성, 그리고 인간 피드백의 높은 비용에 직면하고 있음을 강조합니다.
• 로드맵 제공: 문헌을 일련의 열린 과제로 종합함으로써, 다목적 정렬을 위한 통합 프레임워크, 데이터 효율성을 위한 능동 학습, 그리고 해석 가능한 보상 모델링을 향한 향후 연구를 안내합니다.
• 안전성 맥락화: 안전성을 단순한 일반적 선호도로만 취급할 수 없으며, 전체 유틸리티를 저하시키지 않으면서 해로운 출력을 방지하기 위해 종종 명시적, 영역 인지적, 또는 제약 기반 정렬 전략이 필요함을 강조합니다.

본 조사는 인간 가치와 생성형 AI 를 정렬하는 것이 이러한 모델을 실험실 환경에서 일상적인 전문 및 창의적 워크플로우로 이동시키기 위한 전제 조건이라고 결론지었습니다. 식별된 연구 방향은 미래의 생성 모델이 단순히 유능한 것을 넘어 신뢰할 수 있고, 견고하며, 인간의 윤리적 규범과 정렬되도록 하는 것을 목표로 합니다.