🤖 AI

CaRE Compute-aware Remasking Evaluation Protocol for Masked Diffusion Language Models

이 논문은 함수 평가, 지표 및 확률성을 표준화하여 현재의 마스크 확산 언어 모델 순위가 통제되지 않은 변수들로 인해 종종 비교 불가능하다는 것을 밝혀내는 연산 인지형 평가 프로토콜인 CaRE를 소개하며, 정보 기반 재마스킹(informed remasking)과 확률적 언마스킹(stochastic unmasking)이 근본적으로 상충 관계에 있음을 입증한다.

원저자: Yash Shah, Abhijit Chakraborty, Vivek Gupta

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yash Shah, Abhijit Chakraborty, Vivek Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 혼란스러운 주방에서 누가 최고의 요리사인지 판별하려고 한다고 상상해 보십시오. 이 주방의 요리사들은 인간이 아니라 "AI 모델"이라 불리는 거대한 컴퓨터 두뇌들입니다. 오랫동안 이 모델들은 도미노가 쓰러지는 것처럼 재료를 하나씩 추가하며 요리를 해왔습니다. 하지만 최근에는 "마스크 확산(Masked Diffusion)"이라는 새로운 요리 스타일이 폭발적인 인기를 끌고 있습니다. 마스크 확산 방식은 재료를 하나씩 추가하는 대신, 요리 전체를 한 번에 보고 무엇이 빠졌는지 추측한 뒤, 일부 부분을 눈가리개(마스크)로 가리고, 완벽한 요리가 될 때까지 그 빠진 조각들을 반복해서 다시 추측합니다. 이것은 마치 컴퓨터가 이야기가 말이 될 때까지 자신의 추측을 계속 지우고 다시 쓰는 "Guess Who?" 게임과 같습니다.

문제는 이 주방의 모든 사람이 서로 다른 규칙으로 승자를 결정하고 있다는 점입니다. 어떤 심판은 요리사가 요리를 얼마나 많이 쳐다봤는지(단계/steps)를 세고, 어떤 심판은 풍미를 맛보고(지표/metrics), 어떤 심판은 요리사가 아주 무모하게 혹은 아주 신중하게 추측하도록 내버려 둡니다(확률성/stochasticity). 규칙이 너무나 엉망이기 때문에, 어떤 심판은 A 요리사가 최고라고 말하는 반면, 다른 심판은 똑같은 수프를 맛보고 있음에도 불구하고 A 요리사가 최악이라고 말할 수도 있습니다. 이 논문은 과학자들이 모여 주방을 정리하고, 규칙을 표준화하며, 모두가 공정한 게임을 할 때 누가 실제로 최고의 요리사인지 알아내기로 결심한 이야기입니다.

논문: CaRE – 위대한 주방 청소

이 논문의 연구자들인 Yash Shah와 Abhijit-Chakraborty는 "마스크 확산" 모델들이 점점 좋아지고 있음에도 불구하고, 이를 테스트하는 방식이 뒤처지고 있다는 점을 깨달았습니다. 그들은 최근 일곱 편의 논문이 "리마스킹(remasking)"이라는 기술(요리사가 이미 추측한 부분의 일부를 더 잘하기 위해 다시 가리기로 결정하는 것과 같은 기술)을 사용하여 이 모델들을 개선하려 노력하고 있다는 것을 발견했습니다. 하지만 각 논문이 서로 다른 설정을 사용했기 때문에 결과는 엉망이었습니다. 어떤 논문은 특정 전략이 챔피언이라고 주장했지만, 다른 논문에서는 그것이 실패라고 주장했습니다.

이를 해결하기 위해 그들은 CaRE(Compute-aware Remasking Evaluation, 연산량 인지 리마스킹 평가)라는 새로운 평가 프레임워크를 구축했습니다. CaRE를 엄격한 심판이라고 생각하십시오. 이 심판은 모든 요리사가 정확히 같은 양의 에너지, 정확히 같은 맛보기 숟가락, 그리고 정확히 같은 수준의 무작위성을 사용하도록 강제합니다. 그들은 LLaDA-8B와 Dream-7B 같은 거대 모델을 포함한 12가지 다른 AI 모델을 대상으로 이 테스트를 진행했으며, OpenWebText라는 방대한 텍스트 라이브러리를 사용했습니다.

큰 놀라움: 전략의 문제가 아니라 "온도"의 문제였다

CaRE 심판이 개입했을 때, 그들은 충격적인 사실을 발견했습니다. AI의 글쓰기 실력을 결정하는 가장 큰 요인은 요리사들이 사용하는 화려한 "리마스킹" 전략이 아니었습니다. 대신, 그것은 **온도(temperature)**라고 불리는 설정(요리사의 추측이 얼마나 무작위적이거나 "거친지"를 제어하는 것)이었습니다.

연구 결과, 온도가 품질의 차이를 91% 설명한다는 것이 밝혀졌습니다. 이것은 요리사가 멋진 칼을 쓰느냐 무딘 칼을 쓰느냐보다, 요리 중에 음식을 맛볼 수 있느냐 없느냐가 훨씬 더 중요하다는 말과 같습니다. 온도를 조금만 높여도(0.0에서 0.1로) AI의 글쓰기 품질은 급격히 상승하여, 모든 전략의 차이를 사소하게 만들어 버렸습니다. 실제로 온도를 변경하는 것은 품질 점수를 0.32점 높일 수 있었는데, 이는 최고의 전략과 최악의 전략 사이의 차이보다 더 컸습니다.

숨겨진 함정: "똑똑한" 전략이 역효과를 낼 때

이 논문이 발견한 가장 흥고한 반전은 여기 있습니다. AI가 약간의 무작위성(stochastic unmasking)을 허용받았을 때, 가장 혼란스러운 부분의 텍고를 계속 다시 가리는 "똑똑한" 전략(high_entropy 리마스킹)이 오히려 상황을 악화시켰다는 것입니다.

논문은 높은 무작위성과 이 "똑똑한" 재가리기 전략을 결로했을 때, 아무것도 다시 가리지 않는("none" 전략) 경우보다 품질 점수가 0.296점 떨어졌음을 보여주었습니다. 이는 **256 단계(steps)**와 온도 0.25에서 발생했습니다. 연구자들은 이 결과가 우연이 아님을 통계적 확률 p=0.020을 통해 매우 확신했습니다.

왜 이런 일이 발생했을까요? "똑똑한" 전략은 AI의 마음을 너무 자주 바꾸게 만들었습니다. 그것은 마치 요리사가 수프를 맛보고 소금을 넣었다가, 다시 빼고, 후추를 넣었다가, 다시 빼는 과정을 반복하는 것과 같습니다. 수프가 정착되지 못하는 것입니다. AI는 단어들을 계속 "휘저었고(churning)", 이는 겉보기에는 글의 다양성을 높여주는 듯 보였지만 실제로는 전체적인 이야기의 일관성을 떨어뜨렸습니다. 일단 추측한 단어는 그대로 두는 "멍청한" 전략이 AI에게 무작위성이 허용되었을 때 훨씬 더 나은 결과를 가져왔습니다.

"가짜" 리더보드

논문은 또한 이전의 리더보드들이 "컴퓨트(compute, 실제 컴퓨터가 하는 작업량)"를 정확히 계산하지 못했기 때문에 오해의 소지가 있다고 지적했습니다. 어떤 전략들은 256 단계를 사용한다고 주장했지만, 단어를 계속 다시 가림으로써 실제로 아무것도 다시 가리지 않는 전략보다 4배 더 많은 작업(최대 513번의 포워드 패스)을 수행하게 만들었습니다.

CaRE 심판이 모든 이에게 동일한 양의 작업을 수행하도록 강제하자, 순위가 뒤집혔습니다. 이전 논문들에서 승자처럼 보였던 전략들이 갑자기 패자로 전락했습니다. 예를 들어, HumanEval이라는 코딩 테스트에서 high_entropy 전략은 "none" 전략을 이기고 있는 것처럼 보였지만, 이는 단지 그 전략이 3.4배 더 많은 컴퓨터 파워를 사용했기 때문이었습니다. 컴퓨터 사용량을 동일하게 맞추자, "none" 전략이 대등하거나 오히려 더 나은 성능을 보였습니다.

핵론

CaRE의 핵심 교훈은 우리가 단순히 하나의 숫자나 하나의 전략만을 보고 AI가 "더 낫다"고 말할 수 없다는 것입니다. 이 논문은 우리가 모델을 테스트하는 방식이 실제 이야기를 가리고 있었다는 점을 드러냅니다. 사람들이 열광했던 "똑똑한" 기술들은 종로 종종 테스트 설정의 부산물에 불과했습니다. 연구자들은 연산량을 계산하고, 무작위성을 제어하며, 품질을 측정하는 다양한 방법을 통해 표준화된 규칙을 적용함으로써, **확률성(stochasticity, 무작위성)**이 진정한 주인이며, AI에게 창의성이 허용될 때는 때때로 가장 단순한 접근 방식(추가적인 것을 하지 않는 것)이 가장 좋을 수 있다는 것을 밝혀냈습니다.

그들은 새로운 "리더보드"와 일곱 가지 프로토콜(seven-point protocol)을 공개하여, 향후 AI 요리사들이 공정하게 심판받을 수 있도록 했습니다. 이를 통해 누군가 새로운 방법이 혁신적이라고 말할 때, 그것이 정말 혁신인지 아니면 그저 엉망인 주방에서 나온 결과물인지를 확실히 알 수 있게 할 것입니다.

기술 요약: CaRE - 마스크드 확산 언어 모델을 위한 계산 인지적 리마스킹 평가 프로토콜

1. 문제 정의: 파편화되고 통제되지 않은 평가

마스크드 확산 언어 모델(MDLM)은 자기회귀 언어 모델(예: LLaDA-8B, Dream-7B)의 강력한 대안으로 부상했습니다. 그러나 MDLM의 평가 환경은 현재 파편화되어 있습니다. "리마스킹(remasking)" 전략(디노이징 과정 중 마스크를 다시 도입하는 방식)을 제안하는 최근 문헌들은 전략 간의 순위 비교를 불가능하게 만드는 세 가지 결정적인 혼란 요소(confounds)를 겪고 있습니다.

명목상 계산량 vs 실제 계산량: 논문들은 "명목상 스텝 수"(예: 256 스텝)만을 보고하며, 실제 순방향 평가 횟수(NFE)를 추적하지 않습니다. 서로 다른 전략들은 동일한 명목 예산을 완료하기 위해 현저히 다른 수의 순방향 패스를 요구합니다. 예를 들어, 256 명목 스텝에서의 "none" 전략(리마스킹 없음)은 128번의 순방향 패스만 필요할 수 있는 반면, "running_confidence" 전략은 513번이 필요할 수 있으며, 이는 알고리즘적 개선처럼 보이는 4배의 계산량 차이를 만들어냅니다.
메트릭 불일치: 선택된 메트릭에 따라 순위가 뒤바뀝니다. 퍼플렉시티(PPL)를 최적화하는 전략은 MAUVE와 같은 분포적 메트릭에서 성능이 저하되는 경우가 많으며, 그 반대도 마찬가지입니다.
통제되지 않은 확률성: 언마스킹(unmasking) 중에 사용되는 샘플링 온도( $t$ )는 흔히 통제되지 않은 채 방치되는 지배적인 요인입니다. 온도의 미세한 변화는 MAUVE 점수를 0.3~0.5만큼 변화시킬 수 있으며, 이는 두 리마스킹 전략 사이의 차이보다 더 큰 변동성입니다.

기존 프레임워크(예: HELM, dLLM, ReMDM)는 이 세 가지 혼란 요소 중 최대 두 가지만 동시에 해결했을 뿐, 계산량, 메트릭, 확률성 사이의 상호작용을 격리하는 데 실패했습니다. 이로 인해 동일한 전략이 한 논문에서는 1위로, 다른 논문에서는 최하위로 기록되는 모순된 결론이 도출되었습니다.

2. 방법론: CaRE 프레임워크

저자들은 식별된 세 가지 혼란 요소를 공동으로 제어하도록 설계된 통합 프레임워크인 CaRE(Compute-aware Remasking Evaluation)를 소개합니다.

핵심 구성 요소

통합 RemaskingSampler: 다양한 리마스킹 전략(예: random, high_entropy, low_confidence)을 지원하고 생성당 실제 NFE를 자동으로 추적하는 드롭인 엔진입니다.
다중 메트릭 보고: 프레임워크는 다음 네 가지 기본 메트릭 보고를 의무화합니다:
- PPL: 어휘 편향을 피하기 위해 외부 평가기(Llama-3-8B)를 통해 계산됩니다.
- MAUVE: 분포적 일치를 측정합니다.
- Self-BLEU 및 Distinct-3: 다양성을 측정합니다.
확률성 제어: unmask_temp 파라미터는 숨겨진 하이퍼파라미터가 아닌, 반드시 스윕(sweep)해야 하는 변수로 취급됩니다.
언어 필터링: 타겟 언어 이외의 언어가 유입되어 MAUVE 점수를 오염시키는 것을 방지하기 위해 문자 단위 필터(ASCII $\ge$ 0.85, CJK $\le$ 0.02)를 적용합니다.
7단계 프로토콜: 저자들은 다음을 요구하는 재현성 표준을 제안합니다: (1) 실제 NFE 보고, (2) 다중 메트릭 보고, (3) 외부 평가기 사용, (4) 확률성 제어, (5) 언어 필터링, (6) "none" 베이스라인 포함, (7) 불확실성 보고(다중 시드).

실험 범위

본 프로토콜은 다음 모델들에 적용되었습니다:

모델: LLaDA-8B-Base, LLaDA-MoE, Dream-7B를 포함한 12개의 오픈 웨이트 MDLM (150M–8B 파라미터).
데이터셋: OpenWebText (OWT) 및 LM1B.
전략: 7가지 뚜렷한 리마스킹 전략.
설정: 4가지 확률성 수준 ( $t \in \{0.0, 0.1, 0.25, 0.5\}$ ) 및 3가지 스텝 예산 (64, 128, 256 명목 스텝).

3. 주요 결과

A. 계산량 매칭 시 순위 역전

명목 스텝이 아닌 매칭된 실제 NFE에서 전략을 비교할 때, 전략의 순위가 종종 역전됩니다.

발견: 모든 계산 예산(128, 256, 512 NFE)에서 "none" 전략(리마스킹 없음)이 high_entropy와 같은 정보 기반 전략들에 비해 MAUVE에서 일관되게 우위를 점합니다.
증거: 256 명목 스텝에서 high_entropy는 경쟁력 있어 보이지만, 이를 "none"의 실제 NFE(128회 패스)에 맞추면 "none"이 이를 크게 앞섭니다. 반대로, "none"을 high_entropy의 NFE에 맞춰 더 높은 계산량으로 실행하더라도, "none"은 우월한 MAUVE 점수를 유지합니다.

B. 확률성이 전략 선택을 압도함

온도는 평가 결과에서 가장 큰 변동성을 유발하는 단일 요인입니다.

발견: unmask_temp를 0.0에서 0.1로 변경하면 MAUVE가 약 0.66에서 ~0.98로 향상될 수 있습니다 (0.32의 이득).
비교: 이 이득은 고정된 온도에서 두 리마스킹 전략 사이의 최대 성능 차이를 초과합니다. 삼원 분산 분석(three-way ANOVA) 결과, 온도가 전체 변량의 $\eta^2 = 0.91$ 을 차지하며, 이는 전략 자체의 효과를 압도함을 확인했습니다.

C. 상호작용: 정보 기반 리마스킹 vs 확률적 언마스킹

가장 중요한 기여는 정보 기반 리마스킹과 확률적 언마스킹 사이의 구조적 긴장 관계를 발견한 것이며, 이는 세 가지 혼란 요소를 모두 제어할 때만 감지될 수 있습니다.

현상: 확률적 언마스킹은 일반적으로 "none" 베이스라인의 MAUVE를 개선하지만, high_entropy 전략의 성능은 붕괴시킵니다.
정량적 증거: 256 스텝 및 $t=0.25$ $t = 0.25$ 에서, none과 high_entropy 사이의 MAUVE 격차는 0.296 ( $p=0.020$ $p = 0.020$ )입니다.
- $t=0.25$ 일 때 none: MAUVE $\approx$ 0.948.
- $t=0.25$ 일 때 high_entropy: MAUVE $\approx$ 0.652.
메커니즘: high_entropy는 지속적인 토큰 챠름(churn, 스텝당 약 4.3%의 토큰 교체)을 유발합니다. 높은 확률성 하에서, 이러한 챠름은 샘플을 모델의 모드(mode)로 밀어넣어, 표면적 다양성은 유지하면서도 분포적 커버리지를 붕괴시킵니다.
일반화: 이 상호작용은 아키텍처(LLaDA vs. Dream)와 규모(1B to 8B) 전반에 걸쳐 유지되지만, 격차의 크기는 다릅니다 (예: LLaDA-8B의 경우 0.296, Dream-7B의 경우 0.034).

D. 다운스트림 영향 (HumanEval)

계산량 혼란은 코드 생성에서도 확장됩니다.

발견: 명목 스텝에서 high_entropy는 HumanEval(pass@1 기준 31.7% vs 28.3%)에서 none보다 우수한 것처럼 보입니다.
교정: 실제 NFE를 맞추면 이 이점은 사라집니다. none (437 NFE로 조정됨)은 32.0%를 달성하여 high_entropy와 대등하거나 이를 능가합니다. 이전 연구에서 나타난 겉보기 이득은 high_entropy가 3.4배 더 많은 계산량을 사용했기 때문에 발생한 인위적 결과였습니다.

4. 의의 및 주장

본 논문은 현재의 MDLM 평가가 알고리즘적 개선과 숨겨진 계산량 및 확률성 선택을 체계적으로 혼동하고 있다고 주장합니다.

재현성: CaRE는 계산량(NFE), 메트릭, 확률성을 공동으로 제어하는 최초의 프레임워크를 제공하여, 이전의 "이득"들이 종종 평가의 인위적 산물이었음을 밝혀냈습니다.
프로토콜 표준화: 저자들은 향후 리마스킹 주장이 견고함을 보장하기 위해 7단계 프로토콜과 12개 모델을 포함하는 공개 리더보드를 출시합니다.
상호작용 발견: 논문은 정보 기반 리마스킹과 확률적 언마스킹 사이의 긴장이 MDLM의 근본적인 특성임을 주장하며, 이는 세 가지 혼란 요소를 동시에 제어해야만 비로소 가시화된다고 강조합니다.
상보성: CaRE는 "Generative Frontiers" 분석과 상보적인 위치에 있습니다. 프런티어 플롯(PPL vs. MAUVE)은 서로 다른 전략들의 중첩 영역을 보여줄 수 있지만, 전략과 온도에 따른 CaRE의 분해 분석은 그 밑바닥에 깔린 상호작용의 간극을 드러냅니다.

저자들은 CaRE 프로토콜 없이는, 특히 고확률성 환경에서 리마스킹 전략의 효용성에 대해 알고리즘적 진보를 평가의 인위적 결과로 오해할 위험이 있다고 결론짓습니다.