📊 statistics

Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation

본 논문은 표준 훈련 목적과 최적 역방향 동역학 사이의 불일치를 규명함으로써 균일 확산 모델을 재검토하고, 생성 품질을 크게 향상시키고 마스킹 확산 모델과의 성능 격차를 해소하는 'leave-one-out' 디노이저와 흡수 상태 재형성을 제안한다.

원저자: Samson Gourevitch, Yazid Janati, Dario Shariatian, Umut Simsekli, Eric Moulines, Eric P. Xing, Alain Durmus

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samson Gourevitch, Yazid Janati, Dario Shariatian, Umut Simsekli, Eric Moulines, Eric P. Xing, Alain Durmus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 이야기 쓰기를 가르치려 한다고 상상해 보세요. 로봇은 무작위로 뒤섞인 단어들로 가득 찬 페이지 (노이즈) 로 시작해, 이를 점차 일관된 문장으로 바꿔야 합니다. 이 과정을 **확산 (Diffusion)**이라고 부릅니다.

로봇이 이를 수정하기 전에 단어를 뒤섞는 두 가지 주요 방법이 있습니다:

마스크 확산 (MDM): 일부 단어 위에 검은색 "MASK" 스티커를 붙입니다. 로봇의 임무는 스티커 아래에 어떤 단어가 있는지 추측하는 것입니다.
균일 확산 (UDM): 단어를 가져와 사전에서 완전히 무작위로 선택된 다른 단어와 바꿉니다. 스티커는 없으며, 모든 것이 단순히 뒤섞여 있을 뿐입니다.

오랫동안 연구자들은 더 높은 품질의 텍스트를 생성한다는 이유로 "마스크" 방식이 더 낫다고 생각했습니다. 그러나 이 논문인 **"균일 확산 모델 재검토 (Uniform Diffusion Models Revisited)"**는 "균일" 방식이 실제로는 잘못 사용되고 있었다고 주장합니다. 저자들은 로봇을 가르치는 방식이 수학과 맞지 않았음을 발견했으며, 가르치는 방법을 수정하자마자 균일 접근법이 마스크 방식만큼이나 훌륭해졌음 (심지어 더 나아졌음) 을 확인했습니다.

다음은 그들의 세 가지 주요 발견을 간단한 비유로 설명한 내용입니다:

1. "한 개 제외 (Leave-One-Out)" 실수 (장님 요리사)

로봇이 단어를 추측할 때, 지저분한 페이지를 살펴봅니다.

구식 방식 (노이즈 제거기): 로봇은 추측하려는 특정 단어를 포함한 전체 페이지를 보고, "내가 보는 모든 것, 여기 있는 이 지저분한 단어를 포함해서, 깨끗한 단어는 '사과'라고 생각합니다"라고 말합니다.
문제점: 균일 확산에서 지저분한 단어를 보는 것은 실제로 수학을 "속이는" 행위입니다. 마치 요리사가 들고 있는 타고 짜게 된 숟가락을 맛보면서 수프의 레시피를 추측하는 것과 같습니다. 숟가락의 맛 (노이즈) 이 추측을 왜곡시킵니다.
해결책 (한 개 제외): 저자들은 로봇이 그 특정 단어의 지저분한 버전을 보지 않고 깨끗한 단어를 추측하도록 훈련받아야 함을 깨달았습니다. 로봇은 추측을 할 때 페이지의 다른 단어들만 봐야 합니다.
- 비유: 친구의 favorite 색을 추측하려 한다고 가정해 보세요. 만약 친구에게 "당신의 favorite 색은 무엇인가요?"라고 묻고 그들이 답한다면, 당신은 그들의 답을 이용해 그들의 답을 추측하는 것입니다. 이는 속임수입니다! 대신 친구의 성격 (다른 단어들) 에 대해 알고 있는 것을 바탕으로, 그들에게 직접 묻지 않고 추측해야 합니다.
결과: 로봇을 이 "한 개 제외" 방식으로 훈련시켰을 때, 균일 확산 모델들은 갑자기 훨씬 더 똑똑해져 이전 성능을 능가하고 마스크 모델들과 견줄 수 있게 되었습니다.

2. "흡수 상태 (Absorbing State)" 트릭 (마법 지우개)

저자들은 "마스크" 방식이 "균일" 방식이 lacking 한 어떤 비밀적인 초능력을 가지고 있는지 확인하고 싶어 했습니다. 그들은 **AUDM(흡수 상태 균일 확산)**이라고 불리는 균일 확산을 실행하는 새로운 방법을 고안해냈습니다.

개념: 텍스트 페이지가 있다고 상상해 보세요. 표준 균일 확산에서는 모든 단어가 끊임없이 무작위로 바뀝니다. 이 새로운 버전에서는 일부 단어가 "잠금"되거나 "흡수"된 (구멍에 갇힌 것처럼) 것으로 간주합니다.
마법: 그들은 만약 균일 과정을 이렇게 처리하면, 그것이 마스크 과정과 정확히 동일하게 보인다는 것을 보여주었습니다. "잠긴" 단어들은 "MASK" 스티커와 정확히 같은 역할을 합니다.
교훈: 이는 두 방법 간의 차이가 노이즈의 유형 (바꾸기 대 마스크) 에 관한 것이 아님을 증명했습니다. 차이점은 단지 모델이 어떻게 설정되었는지에 관한 것이었습니다. 이 "흡수 상태" 트릭을 사용하면 마스크 모델과 정확히 동일하게 행동하는 균일 모델을 만들어 두 세계의 장점을 모두 얻을 수 있었습니다.

3. "예측자 - 교정자 (Predictor-Corrector)" (편집자의 통과)

로봇이 이야기를 생성하면, 그것은 완벽하지 않습니다. 보통은 로봇을 더 잘 만들기 위해 다시 훈련시켜야 합니다.

새로운 트릭: 저자들이 "한 개 제외" 수학을 파악했기 때문에, 로봇을 전혀 다시 훈련시키지 않고도 생성된 후 이야기를 수정하는 새로운 방법을 만들었습니다.
작동 원리: 로봇이 문장을 생성합니다. 그런 다음 "교정자" 단계가 한 번에 한 단어씩 살펴봅니다. "이 특정 단어를 무시하고 문장의 나머지 부분을 본다면, 이 단어가 여전히 의미가 있을까?"라고 묻습니다. 그렇지 않다면, 그 단어를 교체합니다.
이익: 이는 인간 편집자가 초고에 빠르게 검토를 하는 것과 같습니다. 이는 최종 이야기를 훨씬 더 훌륭하고 일관성 있게 만들며, 거의 추가적인 컴퓨팅 파워를 소모하지 않습니다.

결과 요약

균일 확산이 미흡했던 이유는 방법이 나빠서가 아니라 훈련 목표가 잘못되었기 때문입니다.
목표를 수정하는 것 ("한 개 제외" 접근법 사용) 은 균일 확산 모델들이 더 명확하고 정확한 텍스트를 생성하도록 만들었습니다.
"마스크"와 "균일" 간의 격차는 노이즈 자체에 관한 것이 아니라, 이를 정리하는 데 사용된 수학과 샘플링 트릭에 관한 것입니다.
새로운 도구: 그들은 균일을 마스크로 바꾸는 "마법 지우개 (흡수 상태)"와 텍스트를 즉시 수정하는 "빠른 편집자 (예측자 - 교정자)"를 제공했습니다.

요약하자면, 이 논문은 다음과 같이 말합니다: "우리는 균일 확산이 약한 형제라고 생각했지만, 그것은 명확하게 보기 위한 올바른 안경이 필요했을 뿐입니다. 올바른 안경 (한 개 제외 수학) 을 끼워주자, 그것은 인기 있는 마스크 방법만큼이나 강력하다는 것이 밝혀졌습니다."

기술적 요약: 균일 확산 모델 재검토

문제 제기

이산 확산 모델은 언어 및 구조화된 이산 도메인에서 자기회귀 생성에 대한 경쟁력 있는 대안으로 부상했습니다. 두 가지 주요 패러다임이 존재합니다: 토큰을 전용 마스크 기호로 대체하는 **마스크 확산 모델 (MDM)**과 어휘에서 균일하게 샘플링된 토큰으로 토큰을 대체하는 **균일 확산 모델 (UDM)**입니다. MDM 은 최근 대규모 어휘 크기에서 우수한 퍼플렉시티를 입증했지만, MDM 과 UDM 간의 성능 격차에 대한 근본적인 이유는 여전히 불분명합니다. 구체적으로, 이 격차가 손상 주변분 (마스크링 대 균일 노이즈) 의 고유한 차이에서 비롯된 것인지, 아니면 각 프로세스와 일반적으로 짝을 이루는 매개변수화 선택 및 샘플링 체계에서 비롯된 것인지 불확실합니다.

또한, 표준 UDM 구현은 종종 "브리지 플러그인 (bridge plug-in)"매개변수화를 사용합니다. 여기서 신경망은 $\hat{x}_0(x_t, t)$ 라는 깨끗한 토큰 프록시를 예측하여 역전환 브리지에 직접 삽입합니다. 중요한 이론적 질문이 제기됩니다: 이 플러그인 매개변수화는 표준 디노이징 사후확률 $p_0|t(x_0|x_t)$ 를 최적화하는 것일까요, 아니면 다른 목표를 최적화하는 것일까요?

방법론 및 주요 기여

이 논문은 역 커널 매개변수화의 최적화와 전방 프로세스의 재형성이라는 두 가지 보완적인 렌즈를 통해 UDM 을 재검토합니다.

1. 플러그인 UDM 의 Leave-One-Out (LOO) 최적성

저자들은 UDM 의 경우 표준 브리지 플러그인 매개변수화가 표준 디노이징 사후확률에서 증거 하한 (ELBO) 을 최소화하지 않는다는 것을 입증합니다. 대신, 플러그인 매개변수화에 대한 최적 예측은 leave-one-out (LOO) 사후확률입니다.

불일치: MDM 에서 브리지는 깨끗한 토큰에 대해 아핀 (affine) 이므로, 플러그인 매개변수화와 주변화 매개변수화가 일치하며 디노이징 사후확률이 최적점이 됩니다. 반면 UDM 에서 브리지는 정규화 항으로 인해 비선형입니다. 결과적으로 플러그인 매개변수화는 위치 $\ell$ 의 깨끗한 토큰에 대한 예측이 위치 $\ell$ 의 노이즈 토큰을 제외한 모든 노이즈 토큰에 조건부인 ( $p(x_0^\ell | x_t^{-\ell})$ ) 양을 목표로 합니다.
이론적 유도: 이 논문은 표준 디노이저, LOO 사후확률, 그리고 구체적인 스코어 (concrete score) 간의 정확한 변환 공식을 유도합니다. 이러한 공식은 다음을 가능하게 합니다:
- 네트워크 출력을 변환하여 표준 교차 엔트로피 손실을 사용하여 LOO 예측기를 학습하는 것.
- 보조 학습 없이 정보에 기반한 샘플링에 필요한 LOO 표현으로 훈련된 디노이저를 변환하는 것.
아키텍처 함의: LOO 사후확률은 국소 관측치 $x_t^\ell$ 에 대해 구조적으로 불변입니다. 현재 위치로의 어텐션을 명시적으로 차단하는 "Hollow Transformers"가 이를 강제하지만, 저자들은 표준 어텐션 메커니즘이 이 불변성을 학습할 수 있음을 보여주며, 예측이 로컬 토큰에 민감한 정도는 비최적성을 진단하는 지표로 작용합니다.

2. 흡수 상태 재형성 (AUDM 및 MUDM)

UDM 과 MDM 간의 격차를 해소하기 위해, 저자들은 잠재 변수에 조건부인 흡수 상태 프로세스로서 균일 확산을 재형성할 것을 제안합니다.

흡수 상태 균일 확산 (AUDM): 전방 프로세스는 각 위치에서 균일 분포에서 샘플링된 무작위 토큰인 흡수 상태가 혼합된 흡수 상태 전이로 간주됩니다. 이 구성은 UDM 결합 법칙을 보존하지만, MDM 을 닮은 연산 (마스크 해제 유지) 으로 분해합니다.
마스크된 균일 확산 (MUDM): 잠재 전이 시간에 조건부임으로써, 저자들은 UDM 디노이징 문제를 정확히 MDM 디노이징 문제로 매핑할 수 있음을 보여줍니다. 이를 통해 UDM 주변분을 가진 모델을 정의하기 위해 MDM 디노이저를 재사용할 수 있습니다.
재샘플링 메커니즘: 저자들은 역 체인 중 흡수 상태 (또는 전이 시간) 에 대한 재샘플링 단계를 도입합니다. 이 "리프트 (lifted)"샘플러 (ReAUDM) 는 마스크 확산의 구조적 단순화 및 유지 특성을 계승하면서 정확한 UDM 역-체인 법칙을 복원합니다.

3. 추론 개선

LOO 표현을 활용하여 이 논문은 보조 모델을 학습할 필요가 없는 예측자 - 수정자 (predictor-corrector) 샘플러를 도입합니다.

LOO 사후확률은 깁스 수정자 단계에 필요한 정확한 한 좌표 조건부 분포를 제공합니다.
이 수정자는 변환 후의 표준 훈련된 디노이저 또는 네이티브 LOO 예측기에 적용될 수 있으며, 낮은 계산 비용으로 샘플 품질을 크게 향상시킵니다.

실험 결과

저자들은 대규모 언어 모델링 작업 (LM1B, OpenWebText) 과 소규모 스도쿠 작업에서 이론적 통찰력을 검증했습니다.

매개변수화: 모든 데이터셋과 학습 목표 (교차 엔트로피 및 ELBO) 에서 LOO 목표로 매개변수화된 모델은 검증 퍼플렉시티 및 생성 프론티어 (Gen-PPL 대 엔트로피) 측면에서 표준 디노이저 대응 모델보다 일관되게 우수한 성능을 발휘합니다.
학습 효율성: 표준 교차 엔트로피 손실로 LOO 목표를 사용하면 구현이 더 단순하면서도 연속 시간 ELBO 학습과 비교 가능한 성능을 달성합니다.
샘플링: LOO 표현 (원시 디노이저가 아닌) 에 top-p 또는 온도 샘플링을 적용하면 생성이 개선됩니다. 제안된 LOO 조건부를 활용하는 예측자 - 수정자 샘플러는 조상 샘플링 프론티어를 파레토 우위 (Pareto-dominates) 합니다.
AUDM 대 MDM: 흡수 상태 균일 확산 (AUDM) 과 그 재샘플링 변형 (ReAUDM) 은 제로샷 전이 작업 및 생성 프론티어에서 표준 MDM 과 동등하거나 더 나은 성능을 보이며, 균일 확산 계열 내에서는 가능도 (likelihood) 를 향상시킵니다.
스도쿠: 스도쿠 작업에서 LOO 매개변수화는 거의 완벽한 정확도를 달성하여 MDM 을 능가합니다.

중요성 및 주장

이 논문은 마스크 및 균일 확산 간의 경험적 성능 격차가 그 자체의 주변분 선택 (마스크링 대 균일 노이즈) 에 의해 덜 결정되고 더욱이 그것들과 관련된 매개변수화 및 샘플링 설계에 의해 결정된다고 결론지었습니다.

통합: 흡수 상태 재형성은 마스크 확산의 구조적 이점 (유지, 더 간단한 사후확률) 이 근본적인 결합 법칙을 변경하지 않고도 균일 확산으로 전달될 수 있음을 보여줍니다.
최적화 목표: 플러그인 UDM 에 대한 진정한 최적점으로 LOO 사후확률을 식별함으로써 이론적 불일치를 해결하고 실용적이며 고성능인 학습 목표를 제공합니다.
실용적 영향: 이 작업은 (LOO 변환 및 예측자 - 수정자 샘플링을 통한) 즉시 적용 가능한 학습 없는 추론 개선과 UDM 의 생성 프론티어를 일관되게 향상시키는 새로운 매개변수화 전략을 제공합니다.

저자들은 LOO 이점이 경험적으로 강력하지만, 그 우수한 생성 프론티어에 대한 이론적 설명은 여전히 열린 질문이라고 지적합니다. 또한 AUDM 이 가능도를 향상시키지만, 최상의 생성 프론티어는 여전히 LOO 매개변수화된 UDM 에 의해 달성되므로, 흡수 상태 모델의 개선 여지가 더 있음을 시사합니다.