기술적 요약: 가이던스는 하이퍼파라미터가 아니다: 확산 언어 모델에서의 동적 제어 학습

문제 제기

클래스프리 가이던스 (CFG) 는 확산 기반 생성 모델을 제어하는 표준 메커니즘이나, 그 가이던스 스케일 ($\gamma$) 은 일반적으로 전체 생성 과정에서 고정된 하이퍼파라미터로 취급됩니다. 이러한 정적 설계는 제어 가능성 (조건 준수) 과 생성 품질 (유창성) 간의 비최적 균형을 초래합니다. 저자들은 최적의 가이던스 정도가 서로 다른 작업 간에 변할 뿐만 아니라, 확산 과정의 서로 다른 단계 간에도 변한다고 주장합니다. 자연어 처리 (NLP) 에서 이산 확산 언어 모델 (dLLMs) 이 등장함에 따라, 단일의 전역 고정 스케일을 적용하는 것은 생성의 단계별 요구사항과 제어 메커니즘 간의 구조적 불일치를 초래합니다.

이 문제를 해결하려는 기존 시도는 생성 상태의 진화나 작업 수준 목표와 무관한 휴리스틱, 사전 정의된 스케줄 (예: 지수 곡선, 베타 분포) 에 의존해 왔습니다. 이러한 방법들은 생성 중 작업 수준 피드백을 체계적으로 통합하는 메커니즘이 부족하며, 단일 손으로 제작된 스케줄이 다양한 입력과 제어 가능성 요구사항에 대해 일반화될 수 있다고 가정합니다.

방법론

본 논문은 CFG 스케일 선택을 강화 학습 (RL) 을 통해 해결되는 순차적 의사결정 문제로 재정의합니다. 수동으로 스케줄을 조정하는 대신, 저자들은 현재 확산 상태에 기반하여 각 생성 단계에서 가이던스 스케일을 동적으로 선택하는 정책을 학습합니다.

핵심 프레임워크

1. 정책 공식화: 가이던스 선택은 마르코프 의사결정 과정 (MDP) 으로 모델링됩니다. 정책 $\pi_\phi(a|s)$는 현재 샘플링 상태 $s$(단계 비율, 마스크 비율, 작업별 진행도, 이전 행동 포함) 를 가이던스 행동 $a$(CFG 스케일) 로 매핑합니다.
2. 희소 말단 보상: 하류 작업 목표 (예: 키워드 포함, 감정 정확도) 는 완료 시에만 관찰 가능하며 미분 불가능하므로, 저자들은 희소 보상 설계를 사용합니다. 보상은 최종 확산 단계 ($k=0$) 에서만 할당되며, 제어 가능성 지표와 생성 품질 (고려도 (perplexity) 를 통해 측정) 의 가중치 조합으로 정의됩니다.
3. 행동 반복 및 시간적 추상화: 긴 시간 범위에서 희소 보상과 관련된 높은 분산을 완화하기 위해, 정책은 $n$개의 연속된 확산 단계 동안 일정하게 유지되는 단일 가이던스 행동을 선택합니다. 이는 유효한 의사결정 범위를 줄이고 부드러운 궤적을 장려합니다.
4. 이산 행동 공간: 실행 가능성과 안정성을 보장하기 위해 행동 공간은 0 에서 3.0 까지의 13 개 CFG 스케일로 구성된 이산 집합으로 제한됩니다.
5. 최적화: 정책은 확률적 동역학과 지연 보상에 적합한 근접 정책 최적화 (PPO) 를 사용하여 최적화됩니다. 기반 생성 모델은 이산 확산 언어 모델 (구체적으로 LLaDA) 로서 고정된 상태로 유지되며, 경량 RL 정책 네트워크만 학습됩니다.

궤적 집계

학습 후, 정책은 단일 결정론적 스케줄이 아닌 가이던스 궤적에 대한 분포를 유도합니다. 추론을 위한 작업 일반화 전략을 도출하기 위해 저자는 샘플링된 궤적을 집계하는 것을 제안합니다. 단순 평균 궤적과 빈도 가중 집계를 비교하는데, 이는 정책이 일관되게 선택한 가이던스 패턴을 강조함으로써 탐색적 노이즈를 필터링합니다.

주요 기여

• 가이던스의 재정의: 본 논문은 CFG 를 정적 하이퍼파라미터가 아닌 동적 학습 가능한 제어 과정으로 패러다임을 전환합니다.
• RL 기반 적응형 제어: 사전 학습된 모델 파라미터를 수정하지 않고 진화하는 생성 상태에 적응하는 작업별 가이던스 궤적을 학습하기 위해 PPO 를 활용한 원칙적인 프레임워크를 도입합니다.
• 작업 의존적 통찰: 최적의 가이던스 행동은 근본적으로 작업에 의존한다는 사실이 밝혀졌습니다. 구조적 제약 (키워드, 길이) 의 경우 학습된 정책은 "언덕 모양"의 궤적 (증가 후 감소) 을 채택하는 반면, 스타일 제어 (감정) 의 경우 단조 감소 궤적을 학습합니다.
• 실증적 검증: 키워드 조건부 생성, 길이 제어 쓰기, 감정 스타일 전이 등 세 가지 다른 NLP 작업에서 접근법이 검증되었습니다.

실험 결과

실험은 30 및 60 개의 확산 샘플링 단계를 사용하는 이산 확산 언어 모델 (LLaDA) 에서 수행되었습니다. 제안된 방법 (RL-Mean 및 RL-Freq) 은 고정 CFG 와 다양한 휴리스틱 스케줄 (선형, 코사인, 베타) 과 비교되었습니다.

• 성능 향상: RL 학습 스케줄은 모든 작업에서 고정 및 휴리스틱 기준선보다 일관되게 우수한 성과를 거두었습니다.
  • 키워드 생성: 고정 CFG 대비 높은 키워드 커버리지 (74.6% 대 71.4%) 와 현저히 낮은 고려도 (56.2 대 61.3) 를 달성했습니다.
  • 길이 제어: 92.8% 정확도 (고정 CFG 대비 76.0%) 와 최저 고려도 (205.6 대 301.9) 를 달성하여 파레토 개선을 입증했습니다.
  • 감정 전이: 높은 내용 보존과 낮은 고려도를 유지하면서 도전적인 부정에서 긍정 방향의 정확도를 개선했습니다 (40.6% 대 32.8%).
• 균형 깨기: 휴리스틱 스케줄은 명확한 균형을 보였으나 (예: 증가 스케일은 제어 가능성을 향상시키지만 유창성을 저하시킴), RL 접근법은 강한 가이던스와 약한 가이던스를 언제 적용할지 학습함으로써 두 지표를 동시에 개선했습니다.
• 정성적 분석: 사례 연구에 따르면, 적응형 가이던스는 정적 또는 휴리스틱 스케줄에 비해 더 일관된 문장을 생성하고 반복을 줄이며 의미 보존을 향상시켰습니다.

중요성과 주장

본 논문은 확산 언어 모델에서 제어 가능성 - 품질 균형을 최적화하기 위해 가이던스를 정적 설계 선택이 아닌 동적 제어 과정으로 취급하는 것이 필수적이라고 주장합니다. 학습된 궤적은 가이던스가 어떻게 진화해야 하는지에 대한 해석 가능한 통찰을 제공합니다: 구조적 작업은 거친 구조 형성 단계에서 강한 가이던스를受益하는 반면, 스타일 작업은 극성을 확립하기 위해 초기 강한 가이던스가 필요하며, 이후 유창성을 보장하기 위해 감축되어야 합니다.

저자들은 한계에 대해 겸손한 입장을 유지합니다. 이산 확산 패러다임 내에서 적응형 스케줄링이 성능을 크게 향상시키지만, 후자의 더 강력한 언어 모델링 사전 지식을 가진 자기회귀형 대규모 언어 모델에 비해 여전히 격차가 존재함을 인정합니다. 가이던스 메커니즘은 현재 확산 모델의 고유한 한계 (예: 강한 조건부 하에서의 토큰 반복) 를 완화할 수 있지만 완전히 보상할 수는 없습니다. 이 연구는 제어 가능한 생성의 모든 문제를 해결한다고 주장하지는 않지만, 현재 정적 및 휴리스틱 전략보다 우수한 유연한 작업 적응형 프레임워크를 제시합니다.