💻 computer science

STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models

STEP-OPD는 속도 외삽(velocity extrapolation)을 통해 출력 타겟을 교사를 넘어 확장하고 내부 표현의 진화 과정을 명시적으로 정렬함으로써 학생의 학습을 강화하는 확산 모델을 위한 새로운 온폴리시(on-policy) 증류 프레임워크이며, 이를 통해 통합된 학생 모델이 구성적 정렬, 텍스트 렌더링 및 인간 선호도 지표에서 단일 작업 교사를 능가할 수 있도록 한다.

원저자: Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 그림 그리는 법을 가르치려 한다고 상상해 보세요. 단순히 하나의 걸작을 복제하는 것이 아니라, 풍경, 초상화, 텍스트, 그리고 복잡한 장면 등 무엇이든 그릴 수 있도록 전문가 팀을 통해 배우게 하고 싶습니다. 이것이 바로 무작위적인 정적 노이즈를 서서히 선명한 그림으로 바꾸는 과정을 통해 이미지를 생성하는 인공지능의 한 종류인 **확산 모델(diffusion models)**의 세계입니다. 마치 조각가가 돌을 깎아내어 조각상을 드러내는 것과 같습니다.

이 로봇들을 더 잘하게 만들기 위해 과학자들은 **증류(distillation)**라는 기술을 사용합니다. 이것을 스승과 제자의 관계라고 생각하면 쉽습니다. "스승"은 특정 작업(예: 완벽한 텍스트를 그리거나 복잡한 지시를 따르는 것)을 완벽하게 수행할 줄 아는 고도로 훈련된 AI입니다. "제자"는 이 스승으로부터 배우려는 새로운 통합 AI입니다. 과거에 학생을 가르치는 표준적인 방법은 "스승이 하는 것을 똑같이 따라 해라"라고 말하는 것이었습니다. 만약 스승이 파란 하늘을 그린다면, 학생도 반드시 파란 하늘을 그려야 합니다. 만약 스사가 특정한 방식으로 붓을 움직인다면, 학생도 그 똑같은 움직임을 모방해야 합니다. 이것도 작동하지만, 한계점이 있습니다. 학생은 단지 복제만 하도록 허용되어 있기 때문에 결코 스승보다 나아질 수 없습니다.

이제, 만약 스승이 이렇게 말할 수 있다면 어떨까요? "여기에 내가 그리는 방식이 있다. 하지만 나는 네가 이 방향으로 조금 더 밀어붙인다면 훨씬 더 잘할 수 있을 거라고 생각한다." 이것이 바로 이 논문이 다루는 핵심 질문입니다: 우리는 AI 학생이 단순히 스승을 복제하는 것을 넘어, 스승을 능가하도록 가르칠 수 있을까? STEP-OPD의 저자들은 그 답이 '예'라고 믿으며, 다만 학생을 가르치는 방법을 바꿔야 한다고 주장합니다. 그들은 단순히 마지막 붓터치를 복사하는 것만으로는 충분하지 않다고 주장합니다. 학생은 스승이 그림을 생각할 때 그 내부 층(internal layers)이 어떻게 변하는지도 이해해야 합니다.

문제점: "모방꾼"의 한계

논문은 기존의 "온-폴리시 증류(On-Policy Distillation, OPD)" 방식의 결함을 지적하며 시작합니다. 이러한 방식에서 학생 AI는 이미지의 경로(궤적)를 생성하고 스승에게 "다음에는 무엇을 할 것인가?"라고 묻습니다. 그러면 학생은 스승의 답변을 완벽하게 일치시키려고 노력합니다.

저자들은 이를 수학을 배울 때 선생님의 답안지를 베끼는 학생에 비유합니다. 선생님이 "5"라고 쓰면 학생도 "5"라고 씁니다. 문제는 학생이 왜 답이 5인지 배우지 못할 뿐만 아니라, 자신이 더 빠르고 우아하게 문제를 풀 수 있었을지에 대해서도 배우지 못한다는 점입니다. 스승은 "상한선"이 됩니다. 설령 학생이 완벽해지더라도, 목표가 단순히 스승과 일치하는 것이기 때문에 스승의 성능을 넘어서는 것은 불가능합니다.

나아가, 이 논문은 최종 결과물(이미지)만을 보는 것은 요리사가 채소를 어떻게 썰고 냄비를 어떻게 저었는지는 보지 않은 채, 오직 수프의 맛만 보고 요리사를 판단하는 것과 같다고 주장합니다. 즉, AI의 뇌 내부에서 정보가 층별로 어떻게 변하는지 나타내는 "내부 역학(internal dynamics)"은 검증되지 않은 채 남겨집니다. 학생은 우연히 맞는 그림을 얻거나, 한 부분의 오류를 다른 부분의 오류로 보완함으로써 결과적으로 맞출 수는 있겠지만, 시각적 정보를 처리하는 구조적인 방식을 진정으로 학습하지는 못할 수도 있습니다.

해결책: STEP-OPD

이를 해결하기 위해 저자들은 "모방꾼의 한계"를 깨뜨릴 수 있는 두 가지 영리한 방법을 제안하는 새로운 프레임워크인 STEP-OPD를 제시합니다.

1. "밀어내기" (출력 외삽, Output Extrapolation)
스승에게 "스승이 멈추는 곳에서 정확히 멈춰라"라고 말하는 대신, 저자들은 학생이 스승과 기본적인 훈련되지 않은 "베이스(base)" 모델 사이의 차이점을 살펴보라고 지시합니다.

비유: 베이스 모델이 가만히 서 있는 사람이라고 상상해 보세요. 스승은 달리기를 배운 동일한 사람입니다. 스승과 베이스 모델의 차이는 바로 "달리기 동작"입니다.
기술: 표준적인 방법은 "스승처럼 똑같이 달려라"라고 말합니다. 하지만 STEP-OP씨는 "스승이 가만히 서 있는 사람보다 얼마나 더 빠른지 보라. 이제 그 추가적인 속도를 가져와서 거기에 아주 조금 더 더하라"라고 말합니다.
그들은 이를 **출력 외삽(Output Extrapolation)**이라 부릅니다. 그들은 스승의 "속도"(이미지가 얼마나 빠르고 어떤 방향으로 변하는지)를 취하고, 스승과 베이스 모델 간의 차이에 스케일을 적용한 값을 더합니다. 이는 스승을 넘어선 새로운 목표를 만들어냅니다. 이는 마치 학생에게 "스승은 훌륭하지만, 스승이 가는 방향으로 조금만 더 밀어붙인다면 훨씬 더 좋은 결과를 얻을 수 있을 것이다"라고 말하는 것과 같습니다.

2. "두뇌 정렬" (표현 변화 정렬, Representation Change Alignment)
두 번째 방법은 AI의 내부적인 "채소 썰기와 젓기"에 집중합니다.

비유: AI가 많은 조립 라인(층)을 가진 공장이라고 상상해 보세요. 최종 제품은 이미지입니다. 표준적인 방법은 최종 제품만을 확인합니다. STEP-OPD는 라인 사이의 컨베이어 벨트를 확인합니다.
기술: 그들은 스승의 내부적인 "생각"(표현)이 네트워크의 한 층에서 다음 층으로 이동할 때 어떻게 변하는지 관찰합니다. 그런 다음, 학생이 그 변화의 방향뿐만 아니라 크기(변화의 폭)까지도 일치시키도록 강제합니다.
이를 통해 학생은 단순히 최종 결과가 아니라, 변환의 과정을 학습하게 됩니다. 이는 학생에게 단순히 원을 그리라고 가르치는 것이 아니라, 선을 매끄럽고 일관되게 만들기 위해 필요한 구체적인 손목의 움직임을 이해하도록 가르치는 것과 같습니다.

연구 결과

저자들은 이 새로운 방법을 세 가지 매우 다른 기술에 대해 테스트했습니다:

구성적 정렬 (Compositional Alignment): AI가 여러 객체를 올바른 위치에 놓을 수 있는가? (예: "파란 소파 위의 고양이")
텍스트 렌더링 (Text Rendering): AI가 이미지 안에 단어를 정확하게 쓸 수 있는가?
인간 선호도 (Human Preference): 인간이 그 이미지를 더 좋아하는가?

결과는 인상적이었습니다. STEP-OPD를 기존의 Diffusion $\text{O}_{\text{PD}}$ 방식에 적용했을 때, 학생의 성능이 크게 도약했습니다:

구성적 정렬 점수(GenEval)가 0.927에서 0s.961로 상승했습니다.
텍스트 렌더링 점수(OCR)가 0.941에서 0.946으로 상승했습니다.
인간 선호도 점수 또한 전반적으로 개선되었습니다.

가장 중요한 점은, STEP-OPD로 훈련된 통합 학생 모델이 단순히 기존 방식들을 이긴 것이 아니라, 모든 카테고리에서 단일 작업 스승(single-task teachers)들을 능가했다는 것입니다. 학생은 고양이를 그리는 것, 텍스트를 쓰는 것, 그리고 인간을 즐겁게 하는 데 있어 자신이 복제하도록 훈련받았던 특정 전문가들보다 더 뛰어난 능력을 갖추게 되었습니다.

이것이 왜 중요한가

이 논문은 스승을 최종 목적지가 아닌 디딤돌로 대하고, 내부적인 "사고" 과정에 주목함으로써, 우리는 부분의 합보다 더 유능한 AI 모델을 만들 수 있다는 점을 시사합니다.

또한 저자들은 "밀어내기(외삽)"를 조절할 때 주의가 필요하다는 것을 발견했습니다. 너무 강하게 밀어붙이면 학생이 혼란을 겪습니다. 예를 들어, 복잡한 객체 배치에는 아주 작은 밀기(0.01)가 가장 효과적이었던 반면, 이미지를 더 아름답게 만드는 데는 더 큰 밀기(0.20)가 가장 효과적이었습니다. 이는 서로 다른 기술에는 서로 다른 양의 "추가 점수"가 필요함을 보여줍니다.

요약하자면, STEP-OPD는 AI 학생이 스승의 발걸음을 단순히 복제하는 것이 아니라, 스승의 운동량과 내부 메커니즘을 이해함으로써 스승을 뛰어넘어 새로운 창의성의 높이에 도달할 수 있음을 입증했습니다.

기술 요약: STEP-OPD

문제 정의

온-폴리시 증류(On-policy distillation, OPD)는 여러 개의 태스크 특화 이미지 생성 모델을 하나의 학생 모델로 통합하기 위한 유망한 접근 방식으로 부상했습니다. 이는 학생 모델의 자체 디노이징 궤적(denoising trajectories)을 감독함으로써 이루어집니다. 그러나 기존의 OPD 방식은 두 가지 주요 한계점을 가집니다:

교사 일치 상한선(Teacher-Matching Ceiling): 기존 방식들은 학생이 방문한 상태에서의 교사의 출력 속도(output velocity)를 맞추도록 학생을 최적화하는 데에만 집중합니다. 이는 교사를 최적화 목표의 절대적인 상한선으로 취급합니다. 논문에서 설명하듯, 표준 제곱 속도 매칭 손실(squared velocity-matching loss)은 학생의 예측이 교사의 예측과 정확히 일치할 때 최소화됩니다. 따라서 교사를 "넘어서려는" 모든 시도는 손실을 증가시키며, 이는 학생이 교사보다 우수한 능력을 갖추는 것을 방해합니다.
제약이 부족한 내부 역학(Under-Constrained Internal Dynamics): 출력 레벨의 속도 감독은 종단점 신호(endpoint signal)만을 제공합니다. 최종 속도는 모든 네트워크 블록의 효과를 집약하기 때문에, 서로 다른 레이어 간의 표현 업데이트(representation updates) 차이가 최종 예측에서 서로 상쇄될 수 있습니다. 결과적으로, 학생 모델은 교사의 구조화된 시각 토큰 및 컨디셔닝 정보 처리 과정을 충실히 학습하지 않고도 낮은 출력 손실을 달성할 수 있습니다. 이는 속성 결합(attribute binding), 공간 구성(spatial composition), 텍스트 렌더링과 같이 레이어 전반에 걸친 점진적 발달이 필요한 능력의 전이를 약화시킵니다.

방법론: STEP-OPD

저자들은 학생의 학습 목표를 교사 너머로 확장하고 내부 표현 진화에 대한 명시적인 제약을 도입하는 프레임워크인 STEP-OPD(Step-wise Output Extrapolation and Representation Change Alignment)를 제안합니다. 이 방법은 두 가지 핵심 구성 요소로 이루어져 있습니다:

1. 태스크 특화 출력 외삽(Task-Specific Output Extrapolation)

STEP-OPD는 교사의 속도( $v_{T_k}$ )를 최종 타겟으로 사용하는 대신, 태스크 특화 교사와 공유 베이스 모델( $v_B$ ) 사이의 속도 차이를 추가 학습을 위한 방향으로 활용합니다.

메커니즘: 외삽된 타겟 속도 $\hat{v}_{k,i}$ 는 교사 속도에 교사-베이스 차이의 스케일링된 버전을 더하여 구축됩니다:
$\hat{v}_{k,i} = v_{T_k,i} + \alpha_k (v_{T_k,i} - v_{B,i})$
여기서 $\alpha_k \geq 0$ 는 태스크 특화 외삽 계수입니다.
효과: $\alpha_k > 0$ 일 때, 학습 타겟은 사후 학습(post-training)에 의해 도입된 개선 방향을 따라 교사를 넘어 이동합니다. 이는 교사를 고정된 종단점이 아닌, 추가 최적화를 위한 방향 지시자로 변모시킵니다.
학습 전략: 불안정성을 방기하기 위해, 계수 $\alpha_k$ 는 웜업 기간 동안 0에서 최대값까지 점진적으로 활성화됩니다.

2. 중간 표현 변화 정렬(Intermediate Representation Change Alignment, RCA)

제약이 부족한 내부 역학 문제를 해결하기 위해, STEP-OPD는 네트워크 블록 간의 은닉 상태(hidden states) 진화를 정렬합니다.

메커㮝: 절대적인 은닉 상태를 맞추는 대신, 인접한 트랜스포머 블록 간의 은닉 표현 변화의 방향과 크기를 정렬합니다. 블록 쌍 $p=(l_0, l_1)$ 에 대해, 변화는 $\Delta h^p_{M,i} = h^{l_1}_{M,i} - h^{l_0}_{M,i}$ 로 정의됩니다.
손실 함수: 정렬 손실은 두 부분으로 구성됩니다:
1. 방향 손실(Direction Loss): 학생과 교사의 토큰별 RMS 정규화된 변화 사이의 MSE를 최소화합니다.
2. 크기 손실(Magnitude Loss): 로그 스케일링된 RMS 크기의 제곱 차이를 최소화합니다.
통합: 이 내부 감독은 교사의 변화에 직접 적용됩니다(외삽되지 않음). 이를 통해 출력 타겟은 허용되더라도, 학생이 교사의 특정 변환 역학을 학습하도록 보장합니다.

최종 학습 목적 함수는 외삽된 출력 손실( $L_{out}$ )과 은닉 상태 변화 손실( $L_{hidden}$ )을 결합합니다:
$L = L_{out} + \lambda_h L_{hidden}$

주요 기여

프레임워크 제안: 교사 너머의 학습을 가능하게 하고 내부 표현 역학을 전이하는 온-폴리시 증류 프레임워크인 STEP-OPD를 도입했습니다.
출력 외삽: 베이스 모델과 태스크 특화 교사 사이의 속도 차이를 활용하여 교사를 넘어서는 학습 타겟을 구축하는 새로운 기술을 제시했습니다.
표현 변화 정렬: 레이어 간 표현 업데이트의 방향과 크기를 일치시킴으로써 학생의 내부 연산을 감독하여, 출력 전용 감독의 한계를 해결했습니다.
실증적 검증: 통합된 학생 모델이 표준 OPD 베이스라인 및 그에 대응하는 단일 태스크 교사들을 모두 능가함을 입증하는 포괄적인 실험을 수행했습니다.

실험 결과

실험은 세 가지 능력 그룹(구성적 정렬(GenEval), 텍스트 렌더링(OCR), 인간 선호도(PickScore, Aesthetic, HPSv2.1, ImageReward))에 대해 Stable Diffusion 3.5 Medium을 대상으로 진행되었습니다.

성능 향상: DiffusionOPD에 적용했을 때, STEP-OPD는 GenEval 전체 점수를 0.927에서 0.961로, OCR 점수를 0.941에서 0.946으로 높였습니다. 또한 모든 인간 선호도 지표를 개선했습니다.
교사 능가: 통합된 STEP-OPD 학생 모델은 세 가지 능력 카테고리 모두에서 대응하는 단일 태스크 교사들을 능가했습니다 (예: GenEval에서 0.961 vs 0.935). 이는 효과적인 능력 통합과 교사 이상의 성능을 보여줍니다.
어블레이션 연구(Ablation Studies):
- 표현 변화 정렬 (RCA): RCA 단독 적용 시 GenEval(0.927 $\to$ 0.959)과 OCR(0.941 $\to$ 0.944)이 개선되었으며, 이는 내부 감독이 구성 및 텍스트 태스크에 필수적임을 확인시켜 줍니다.
- 출력 외삽 (OE): OE 단독 적용 시 선호도 기반 지표에서 상당한 이득을 얻었으며 GenEval/OCR을 더욱 개선하여, "교사 너머" 가설을 검증했습니다.
- 결합: 두 구성 요소를 결합했을 때 가장 강력한 결과를 얻었습니다.
정성적 분석: 시각적 비교 결과, STEP-OPD는 베이스라인에 비해 더 정확한 프롬프트 준수, 더 나은 텍스트 렌더링, 더 높은 시각적 품질을 생성했습니다. 구체적으로 RCA는 불필요한 내부 구조를 줄였고, OE는 미세한 디테일과 질감을 향상시켰습니다.

의의 및 주장

본 논문은 STEP-OPD가 온-폴리시 증류의 패러다임을 **교사 매칭(teacher matching)**에서 **교사 가이드 외삽(teacher-guided extrapolation)**으로 근본적으로 전환한다고 주장합니다. 출력 타겟을 교사의 정확한 속도와 분리하고 내부 변환 역학을 명시적으로 감독함으로써, 이 방법은 단일 학생 모델이 여러 특화된 능력을 통합하고 훈련 데이터를 생성한 개별 교사들의 성능을 초과할 수 있게 합니다. 저자들은 이 접근 방식이 출력 전용 감독의 한계를 해결하고, 복잡하고 레이어 의존적인 생성 능력을 전이하기 위한 견고한 메커니즘을 제공한다고 단언합니다.