🤖 machine learning

Recursive Scaling in Masked Diffusion Models

이 논문은 단일 트랜스포머가 출력을 반복적으로 정제할 수 있도록 하는 세 번째 스케일링 축으로서 재귀를 추가함으로써, 훨씬 더 큰 비재귀 모델과 대등한 성능을 달면서도 더 적은 파라미터와 디노이징 단계로 이를 달성하는 Recursive Masked Diffusion Models (R-MDMs)를 소개하며, 이를 통해 파라미터 효율성과 추론 속도를 향상시킨다.

원저자: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 더 큰 뇌가 아닌, 더 똑똑한 루프(Loop)

당신이 스도쿠나 수학 문제와 같은 어려운 퍼즐을 풀고 있다고 상상해 보세요. 보통 컴퓨터가 막힐 때 주어지는 표준적인 조언은 이렇습니다. "더 큰 뇌를 만들어라." AI 용어로 말하자면, 이는 모델을 더 크게 만들거나(파라미터 추가) 더 오래 생각하게 만드는 것(단계 추가)을 의미합니다.

이 논문은 다른 접근 방식을 제안합니다. 더 큰 뇌를 만드는 대신, 동일한 뇌가 문제를 여러 번 연속해서 생각하며, 매 회차마다 자신의 답을 정교하게 다듬도록 가르치는 것입니다. 그들은 이를 **재귀적 스케일링(Recursive Scaling)**이라고 부릅니다.

다음과 같이 생각해 보세요:

기존 방식 (규모 확장): 퍼즐을 한 번 보기 위해 30명의 서로 다른 전문가 팀을 고용합니다.
새로운 방식 (재귀): 단 한 명의 전문가를 고용하되, 그 전문가가 퍼즐을 보고, 추측을 하고, 한 걸음 물러나 자신의 추측을 검토하고, 수정하고, 다시 보고, 또 수정하도록 합니다. 이 과정을 5번 또는 10번 반복하게 합니다.

이 논문은 루프를 통해 작업하는 단 한 명의 전문가가 30명의 전문가 팀보다 더 나은 성과를 내는 경우가 많다는 것을 발견했습니다. 비록 그 전문가는 훨씬 작고 운영 비용도 저렴함에도 말입니다.

작동 원리: "초안 작성과 다듬기" 비유

기술적인 내용을 이해하기 위해, 이 AI 모델들(마스크 확산 모델, Masked Diffusion Models)이 보통 어떻게 작동하는지 살펴보겠습니다.

마스킹 게임: 문장에서 일부 단어가 숨겨져(마스킹되어) 있다고 상상해 보세요. AI의 임무는 이 숨겨진 단어들을 한꺼번에 추측하는 것입니다.
표준 프로세스: AI는 추측을 합니다. 그다음 몇 개의 단어를 드러내고(un-mask) 다시 추측합니다. 이 과정을 전체 문장이 드러날 때까지 여러 번 반복합니다(양파 껍질을 겹겹이 벗겨내는 것과 같습니다).

혁신적인 부분:
저자들은 이러한 각 층(layer) 안에서 AI가 "빠른 초안 작성 및 다듬기" 세션을 수행할 수 있다는 점을 깨달았습니다.

표준 AI: 추측을 함 $\rightarrow$ 층을 하나 벗김 $\rightarrow$ 새로운 추측을 함.
재귀적 AI (R-MDM): 추측을 함 $\rightarrow$ 그 추측을 보고, 비판하고, 5번 동안 개선함 $\rightarrow$ 그다음 층을 벗김.

그들은 이를 **재귀적 깊이(Recursive Depth)**라고 부릅니다. 이는 AI에게 결론을 내리기 전에 "두 번 생각할 시간" 혹은 "세 번 생각할 시간"을 주는 것과 같습니다.

이것이 왜 게임 체인저인가

논문은 세 가지 유형의 작업인 스도쿠(논리 퍼즐), 카운트다운(수학 퍼즐), Text8(텍스트 작성)에 대해 이 기술을 테스트했습니다. 결과는 다음과 같습니다.

1. 논리 문제에서는 "작은 뇌"가 승리한다

스도쿠나 카운트다운 같은 구조화된 퍼즐에서 재귀적 모델은 슈퍼스타였습니다.

결과: 5번 루프를 도는 작은 모델이, 5배 더 크지만 루프를 한 번만 도는 거대한 모델만큼, 혹은 그보다 더 뛰어난 성능을 보였습니다.
비유: 이는 머릿속으로 10수 앞을 내다보는 체스 선수와, 그랜드마스터이지만 단 1수 앞만 생각하는 선수의 차이와 같습니다. "루프" 덕분에 작은 모델은 전체 판을 보고 실수를 바로잡을 수 있었던 반면, 큰 모델은 단 한 번의, 자신감 있지만 잠재적으로 틀릴 수 있는 추측을 내놓는 데 그쳤습니다.

2. 프로세스 속도 향상

보통 완벽한 답을 얻으려면 많은 "디노이징 단계"(추측의 층)를 거쳐야 합니다.

결과: 재귀적 모델은 더 적은 단계만으로도 높은 품질의 답에 도달했습니다.
비유: 당신이 문서를 편집하고 있다고 상상해 보세요.
- 일반 AI: 문단을 쓰고, 멈추고, 편집하고, 멈추고, 또 편집합니다. 완벽하게 만들기 위해 40번의 편집 과정을 거칩니다.
- 재귀적 AI: 문단을 쓴 다음, 다음 문장으로 넘어가기 전에 즉시 그 문단을 3번 연속으로 다시 읽고 편집합니다. 이 방식은 단 15번의 단계만으로도 동일한 완벽한 품질에 도달합니다.
- 이점: 이는 엄청난 양의 컴퓨팅 자원(시간과 전기)을 절약해 줍니다.

3. 주의점: 작업 유형에 따라 다르다

논문은 이 기술이 명확한 규칙과 의존성이 있는 구조화된 문제(수학 및 논리 퍼즐)에서 가장 잘 작동한다고 언급합니다.

Text8 결과: 무작위 텍스트(예: 위키피디아 기사)를 쓰는 작업을 시켰을 때, 재귀적 모델은 표준 수학 점수에서 거대 모델보다 오히려 성능이 떨어졌습니다.
시사점: "루프"라는 초능력은 규칙에 따라 자신의 작업을 검증해야 하는 퍼즐을 풀 때 매우 유용합니다. 창의적인 글쓰기의 경우, 단순히 모델을 더 크게 만드는 것이 여전히 더 나을 수 있습니다.

"마법"의 요약

이 논문은 AI를 확장하는 새로운 방법을 제시합니다. 단순히 "더 크게 만드는 것"이 아닙니다.

기존 규칙: 더 똑똑해지려면 더 많은 층(더 많은 파라미터)을 추가하라.
새로운 규칙: 더 똑똑해지려면 더 많은 루프(모델이 자신의 결과물을 스스로 정교하게 다듬게 함)를 추가하라.

작은 모델이 자신의 출력물을 다시 처리함으로써 더 "깊게 생각"하도록 함으로써, 저자들은 다음을 달성했습니다:

논리 퍼즐에서 더 나은 성능을 구현했습니다.
좋은 답을 얻기 위해 필요한 단계 수를 줄였습니다.
거대하고 비싼 모델을 구축할 필요가 없으므로 비용을 절감했습니다.

요약하자면: 단순히 더 큰 뇌를 만들지 말고, 뇌가 자신의 작업을 재검토하도록 가르치십시오.

기술 요약: 마스크드 확산 모델(Masked Diffusion Models)에서의 재귀적 스케일링

문제 정의

마스크드 확산 모델(MDM)은 이산 시퀀스 생성(discrete sequence generation)을 위한 유망한 패러다임으로 부상하였으며, 자기회귀(autoregressive, AR) 모델의 순차적인 특성과 대조되는 완전 병렬 생성 능력을 제공한다. 그러나 고품질 생성을 위해 MDM을 확장하는 방식은 전통적으로 두 가지 축, 즉 파라미터 수(너비/깊이)를 늘리거나 디노이징 단계( $T$ )를 늘리는 것에 의존해 왔다. 이러한 접근 방식은 학습(더 큰 모델)과 추론(더 많은 순전파 연산) 모두에서 상당한 계산 비용을 발생시킨다. 재귀적 계산(동일한 변환을 여러 번 적용하는 것)은 AR 모델과 지도 학습에서 파라미터 효율성을 높이는 데 유망한 것으로 입증되었으나, MDM의 맥락에서는 여전히 미개척 분야로 남아 있다. 본 연구가 다루는 핵심 과제는 재귀적 깊이가 파라미터 수를 늘리지 않고도 생성 품질을 개선할 수 있는 세 번째의 직교하는 스케일링 축 역할을 할 수 있는지, 그리고 추가적인 디노이징 단계를 대체하여 추론 시 계산량을 줄일 수 있는지 여부이다.

방법론

저자들은 표준 MDM 학습 패러다임에 재귀적 루핑 메커니즘을 통합한 **재귀적 마스크드 확산 모델(Recursive Masked Diffusion Models, R-MDMs)**을 소개한다.

아키텍처

R-MDM은 $KL $-레이어 트랜스포머를 한 번 적용하는 대신, 공유된$ K $-레이어 트랜스포머 블록$ f_\theta $를 단일 디노이징 단계 내에서$ L$번 순차적으로 적용한다.

파라미터 효율성: R-MDM은 실질적인 깊이가 $K \times L$ 임에도 불구하고, 파라미터 수는 단일 패스 $K$ -레이어 모델과 동일하다.
순전파(Forward Pass): 노이즈가 섞인 입력 $x_t$ 가 주어지면, 은닉 상태(hidden state)는 반복적으로 업데이트된다: $h^{(\ell)} = f_\theta(h^{(\ell-1)}, \ell, L)$ . 루프 $\ell$ 의 출력이 루프 $\ell+1$ 의 입력 역할을 한다.
단계 임베딩(Step Embedding): 모델이 재귀의 서로 다른 단계들을 구분할 수 있도록, 단계 임베딩 $v^{(\ell)}$ 이 은닉 상태에 더해진다. 이 임베딩은 정규화된 루프 진행도 $s_\ell = (\ell-1)/(L-1)$ 를 작은 MLP를 통해 도출하며, 이를 통해 모델이 재귀 깊이에 따라 계산을 특화할 수 있게 한다.

학습 목표

본 논문은 재귀 루프에 대한 네 가지 감독 전략(supervision strategies)을 평가한다:

전체 단계(All-steps, ALL): 모든 $L$ 개의 루프에 대해 교차 엔트로피 손실을 평균화하며, 이는 밀집된 그래디언트 신호를 제공한다(심층 지도 학습에서 영감을 받음).
최종 단계(Final-step, FINAL): 최종 루프의 로짓(logits)만을 감독하며, 이는 표준 MDM 목표를 확장한 것이다.
가중치 적용(Weighted): 서로 다른 루프에 비균등한 가중치를 할당한다.
절단(Truncated): 마지막 $k$ 개의 루프만을 감독한다.

저자들은 전체 단계(All-steps) 손실이 특히 저계산 환경에서 가장 견고한 성능을 보임을 발견했다.

추론 및 스케줄링

추론 시에는 샘플링 재귀 깊이 $L_s$ 를 학습 깊이 $L_t$ 와 다르게 설정하여 평가할 수 있다. 저자들은 고정된 깊이, 확률적 샘플링, 커리큘럼 기반 스케줄링을 포함한 다양한 학습 스케줄을 탐구한다. 높은 용량의 반복적 정교화 전략을 학습 초기에 강제하는 역 커리큘럼(reverse curriculum)(높은 재귀 깊이에서 시작하여 1로 감소)이 더 우수한 것으로 나타났다.

주요 기여

재귀적 깊이를 스케일링 축으로 도입: 본 논문은 파라미터 수를 늘리지 않고도 모델의 실질적인 깊이를 증가시키는 메커니즘으로서 디노이징 단계 내의 재귀적 루핑을 제안한다.
파라미터 효율성 입증: R-MDM은 구조적 추론 작업에서 훨씬 더 큰 비재귀적 베이스라인(최대 $5\times$ 더 많은 파라미터)보다 성능이 뛰어나거나 대등함을 보여준다.
추론 시 효율성: 재귀적 정교화가 디노이징 단계를 부분적으로 대체할 수 있음을 보여주며, 이를 통해 총 순전파 횟수( $T \times L$ )를 줄일 수 있음을 입증한다.
태스크별 분석: 본 연구는 구조적 작업(Sudoku, Countdown)과 비구조적 작업(Text8) 전반에 걸쳐 재귀, 파라미터 수, 디노이징 단계 간의 트레이드오프를 체계적으로 평가한다.

실험 결과

실험은 Sudoku(9x9 및 25x25), Countdown(3, 4, 5개의 피연산자를 사용하는 산술 계획), Text8(문자 단위 언어 모델링)의 세 가지 데이터셋에서 수행되었다.

구조적 추론 작업 (Sudoku & Countdown)

파라미터 대체 (RQ1): 재귀 모델 $(K \otimes L)$ $(K \otimes L)$ 은 일관되게 동일한 FLOPs를 가진 단일 패스 베이스라인 $(KL \otimes 1)$ $(K L \otimes 1)$ 과 대등하거나 더 나은 성능을 보인다.
- 예시: Sudoku 9x9에서, $(6 \otimes 5)$ 모델(10.6M 파라미터)은 $T=5$ 일 때 93.6%의 유효 퍼즐 비율(VPR)을 달성하여, 동일한 단계 수에서 77.8%를 기록한 30계층 단일 패스 모델(53.1M 파라미터)의 성능을 능가한다.
- 예시: Countdown-4에서, $(3 \otimes 5)$ 모델(5.5M 파라미터)은 $T=20$ 일 때 70.2%의 목표 도달률(RTR)에 도달하여, 69.4%를 기록한 15계층 베이스라인(26.7M 파라미터)을 앞선다.
단계 감소 (RQ2): 재귀 모델은 목표 품질 임계값에 도달하기 위해 더 적은 디노이징 단계가 필요하다.
- 루프 모델( $L_s=3, T=5$ )은 총 15번의 순전파만으로 95%의 유효 퍼즐 비율을 달성하는 반면, 유사한 단일 패스 모델은 40단계를 필요로 한다(2.7배의 계산량 감소).
- 80% 마스킹이 적용된 Sudoku 25x25에서, 재귀 모델( $L=5$ )은 $T=1$ 일 때 91.8% VPR을 달성하지만, 베이스라인은 이 단계 수에서 거의 실패한다.
유연성: 역 커리큘럼( $L_t$ 감소)으로 학습된 모델은 서로 다른 샘플링 깊이( $L_s$ )로 효과적으로 평가될 수 있어, 추론 시 유연한 계산 자원 할당을 가능하게 한다.

비구조적 언어 모델링 (Text8)

Text8 데이터셋에서 재귀 모델은 가능도 기반 지표(NLL, Perplexity) 측면에서 단일 패스 베이스라인보다 성능이 낮았다.
그러나 질적 분석에 따르면, 재귀 모델은 더 낮은 가능도 점수에도 불구하고 더 일관된 텍스트를 생성하는 것으로 나타났으며, 이는 표준 지표가 이 영역에서 오해의 소지가 있을 수 있음을 시사한다. 저자들은 재귀의 이점이 명시적인 반복 구조가 있는 작업에서 가장 두드하게 나타난다고 언급했다.

의의 및 주장

본 논문은 재귀적 깊이가 MDM, 특히 구조적 생성 작업을 위한 실용적인 스케일링 메커니즘이라고 주장한다. 그 의의는 두 가지 주요 영역에 있다:

파라미터 효율성: R-MDM은 훨씬 적은 파라미터로 훨씬 더 큰 모델의 성능을 낼 수 있어, 자원이 제한된 환경에서 고품질 생성을 가능하게 한다.
계산 효율성: 재귀적 정교화를 디노이징 단계로 대체함으로써, R-MDM은 추론 시 필요한 총 순전파 횟수를 줄여 생성 품질과 지연 시간(latency) 사이의 트레이드오프를 개선할 수 있다.

저자들은 재귀가 구조화된 도메인에서 반복적인 제약 전파를 위한 강력한 메커니즘으로 작용하지만, 비구조적 언어 모델링에서의 효용성은 추가적인 연구가 필요한 열린 문제로 남아 있다고 결론지었다. 이 연구는 전통적인 파라미터 수 중심의 관점을 넘어 생성 모델 스케일링에 대한 이해를 풍부하게 한다.