💬 NLP

Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model

Stable-DiffCoder는 맞춤형 지속적 사전 학습 전략과 웜업 스케줄을 통해 코드 벤치마크에서 유사한 자기회귀 베이스라인 및 다른 거대 언어 모델보다 뛰어난 성능을 보이면서 구조화된 코드 편집, 추론, 그리고 저자원 언어 지원을 향상시키는 블록 확산 코드 모델입니다.

원저자: Chenghao Fan, Wen Heng, Bo Li, Sichen Liu, Yuxuan Song, Jing Su, Xiaoye Qu, Kai Shen, Wei Wei

게시일 2026-01-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenghao Fan, Wen Heng, Bo Li, Sichen Liu, Yuxuan Song, Jing Su, Xiaoye Qu, Kai Shen, Wei Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 컴퓨터 코드를 작성하는 법을 가르치고 있다고 상상해 보세요. 오랫동안 이 데이타를 가르치는 표준적인 방법은 아이에게 글자를 한 자 한 자 왼쪽에서 오른쪽으로 엄격하게 써 내려가는 이야기를 가르치는 것과 같았습니다. 당신이 "옛날 옛적에"라고 말하면, 로봇은 다음 단어를 추측하고, 그다음 단어를 추측하는 식으로 진행해야 합니다. 이 방법을 자기회귀(Autoregressive, AR) 생성이라고 부르며, 이는 매우 뛰어나지만 다소 경직되어 있습니다. 실제 프로그래머들은 항상 직선으로만 코드를 쓰지 않습니다. 그들은 중간 부분을 채워 넣기도 하고, 끝부분을 쓴 후에 앞부분의 실수를 수정하기도 하며, 여러 개의 독립적인 코드 블록을 동시에 작성하기도 합니다.

여기에, 로봇이 인간 프로그래머처럼 생각하도록 가르치려는 새로운 모델인 Stable-DiffCoder가 등장했습니다. 이 모델은 단순히 왼쪽에서 오른쪽으로 쓰는 대신, 확산(Diffusion) 기술을 사용합니다.

"디노이징(Denoising)"의 비유

확산 방식은 "메시지 전달하기" 또는 "손상된 그림 복원하기" 게임과 같습니다.

기존 방식 (AR): 로봇은 빈 페이지를 보고 첫 번째 단어를 쓰고, 그다음 단어를 쓰고, 그다음 단어를 씁니다. 일단 단어를 쓰고 나면 로봇은 첫 번째 단어에 대해 마음을 바꿀 수 없습니다.
새로운 방식 (Diffusion): 완성된 완벽한 코드 조각을 가져와서 무작위로 구석구석 검은색 마커로 가렸다고 상상해 보세요 (이것이 데이터를 "오염시키는" 과정입니다). 로봇의 임무는 이 지저분하고 가려진 버전을 보고 그 아래에 숨겨진 깨끗한 코드가 무엇인지 알아내는 것입니다. 로봇은 작은 추측을 하고, 틀린 부분을 지우고, 단계적으로 코드를 정교하게 다듬어 "노이즈"가 사라지고 코드가 다시 완벽해질 때까지 반복합니다.

왜 이것이 더 나은가요?

이 논문은 이 "엉망인 상태를 고치는" 접근 방식이 주의 깊게 수행된다면 학습을 위한 일종의 초능력이 될 수 있다고 주장합니다.

데이터 재사용: 기존 방식에서 로봇은 코드 조각을 한 번 보고 지나갑니다. 하지만 새로운 방식에서 로봇은 동일한 코드 조각을 백 번 볼 수 있지만, 매번 서로 다른 부분이 가려져 있습니다. 이는 마치 숫자가 다양한 순서로 숨겨진 수학 문제를 풀면서 공부하는 것과 같습니다. 이를 통해 로봇은 단순히 정답을 암기하는 것이 아니라, 코드의 '규칙'을 더 잘 배우게 됩니다.
병렬적 사고: 로봇은 (크로스워드 퍼즐을 풀 듯이) 여러 개의 빠진 조각을 동시에 추측하기 때문에, 한 번에 한 글자씩 쓰는 것이 아니라 "블록" 단위로 생각할 수 있습니다. 이는 로봇을 더 빠르고 거시적인 구조를 이해하는 데 능숙하게 만듭니다.

"Stable"의 핵심 비결

연구진은 단순히 이 새로운 방식으로 바꾸는 것만으로는 즉각적인 효과가 나타나지 않는다는 것을 발견했습니다. 로봇이 혼란을 느껴 실수를 하기 시작했기 때문입니다. 이를 해결하기 위해 그들은 두 가지 주요 기법을 갖춘 Stable-DiffCoder를 발명했습니다.

웜업 (The Warm-Up): 로봇을 처음부터 매우 "지저킨" 코드의 깊은 웅덩이에 던져 넣는 대신, 아주 작고 쉬운 작업(단 한두 단어만 가리는 작업)부터 시작했습니다. 로봇이 숙련됨에 따라, 가려지는 블록의 크기를 점진적으로 키워 나갔습니다. 이는 운동선수에게 무거운 무게를 들기 전에 가벼운 무게부터 시작하여 훈련시키는 것과 같습니다.
"빈 블록 금지" 규칙 (The "No-Empty-Block" Rule): 로봇이 연습할 때마다 가려진 블록 안에 반드시 추측해야 할 단어가 최소 하나는 포함되도록 했습니다. 이는 로봇이 배울 것이 없는 작업에 시간을 낭비하는 것을 방지했습니다.

결과: 효과가 있을까요?

연구팀은 이 새로운 로봇을 다양한 코딩 테스트를 사용하여 기존의 최고 수준의 코드 작성 로봇들(Google이나 Meta 같은 거대 기업의 모델 포함)과 비교 테스트했습니다.

거인들을 이기다: Stable-DiffCoder는 경쟁 모델들과 비슷한 크기(약 80억 개의 "뇌세포")임에도 불구하고, 거의 모든 테스트에서 일관되게 더 높은 점수를 기록했습니다. 이 모델은 기존의 "왼쪽에서 오른쪽으로" 가는 모델들보다 더 나은 코드를 작성하고, 버그를 더 잘 수정하며, 복잡한 지시 사항을 더 정확하게 이해했습니다.
편집 능력의 향 향상: "빈칸을 채우는" 방식으로 훈련되었기 때문에, 기존 코드를 편집하는 데 탁월한 능력을 보였습니다. 만약 프로그램 중간에 있는 함수를 변경하라고 요청한다면, 다른 모델들보다 훨씬 더 잘 수행했습니다.
저자원 언어: 또한 학습 데이터가 많지 않은 프로그래밍 언어에서도 놀라운 성과를 보였습니다. "추측하고 고치는" 방식 덕분에 표준 방식보다 희귀한 언어들을 더 빠르게 학습할 수 있었습니다.

결론

논문은 Stable-DiffCoder가 "확산" 방식(오염된 데이터를 고치며 배우는 방식)이 단순히 멋진 실험이 아니라, 코드 모델을 훈련하는 데 있어 우월한 방법임을 입증한다고 주장합니다. 스마트한 훈련 일정과 이 방식을 결합함으로써, 그들은 더 많은 데이터나 더 큰 컴퓨터 없이도 현재의 최첨단 모델들보다 더 정확하고 다재다능한 모델을 만들어냈습니다. 이는 인간이 실제로 일하는 방식, 즉 반복하고, 수정하고, 빈틈을 채워 나가는 방식을 모방하여 로봇에게 코딩을 가르치는 새로운 길을 제시합니다.

기술 요약: Stable-DiffCoder

1. 문제 정의

자기회귀(Autoregressive, AR) 언어 모델은 코드 생성 분야를 주도해 왔으나, 엄격한 순차적 디코딩 방식이라는 한계가 있어 코드 개발의 비자기회귀적 특성(예: 인필링(infilling), 블록 단위 병렬 생성, 반복적 수정 등)을 충분히 활용하지 못한다. 확산 기반 언어 모델(Diffusion-based Language Models, DLLMs)은 반복적인 디노이징(denoising)과 블록 단위 생성을 통해 이를 보완할 수 있는 패러다임을 제공하지만, 기존의 코드 DLLM들은 유사한 연산량(compute budget) 하에서 강력한 AR 베이스라인에 비해 정확도가 뒤처지는 경향이 있다.

핵심적인 미결 과제는 다음과 같다: 고정된 데이터 및 연산 예산 하에서, 확산(diffusion)을 통해 도입된 추가적인 학습 모드가 실제로 모델의 능력을 향상시키는가, 아니면 단순히 다른 디코딩 메커니즘을 제공하는 것에 불과한가? 이전 연구들은 데이터, 아키텍처, 학습 파이프라인을 동시에 변경함으로써 이 질문을 혼동시켰으며, 이로 인해 확산 패러다임 자체의 영향을 분리하여 파악하기 어려웠다.

2. 방법론

저자들은 통제된 연구를 통해 위 질문에 답하기 위해 설계된 블록 확산 코드 모델인 Stable-DiffCoder를 소개한다. 이 모델은 강력한 AR 베이스라인인 Seed-Coder의 아키텍처, 데이터, 학습 파이프라인을 재사용함으로써, 확산 학습 패러다임을 주요 변수로 격리하였다.

2.1 효율적인 지식 압축 및 학습-추론 정렬

저자들은 DLLM의 지식 학습 효율성을 분석하여, 무작위 마스킹(random masking)이 정답이 약하게 제약되는 "노이즈" 컨텍스트(즉, "상관관계" 또는 "노이즈" 영역)를 생성하여 AR 학습에서 발견되는 "추론 영역(reasoning regime)"에 비해 학습 효율을 저하시킨다는 점을 식별하였다.

이를 해결하기 위해 저자들은 다음과 같은 특정 학습 커리큘럼을 제안한다:

초기화(Initialization): Seed-Coder의 프리-애닐링(pre-annealing)된 AR 체크포인트에서 시작한다.
지속적 사전 학습(Continual Pretraining, CPT): 소규모 블록 확산(블록 크기 4)을 사용하여 1.3T 토큰에 대해 CPT를 수행한다. 이는 멀티 토큰 예측 패턴을 도입하면서도 표현력의 가소성(plasticity)을 유지한다.
정렬(Alignment): 학습 컨텍스트 분포( $C_{train}$ )가 추론 컨텍스트( $C_{infer}$ )와 밀접하게 일치하도록 설계하여, 학습 중에 압축된 토큰 추론 지식이 테스트 시점에 직접 적용될 수 있도록 한다.

2.2 학습 안정화 기술

학습률(learning rate)과 목적 함수 변화(objective shifts)에 민감한 것으로 알려진 DLLM의 안정적인 학습을 가능하게 하기 위해, 저자들은 두 가지 핵심 기술을 통합하였다:

맞춤형 웜업(Tailored Warmup): AR과 DLLM 목적 함수 사이의 간극을 메우기 위해, 오염 수준( $t$ )을 제한하고 작은 값에서 1까지 선형적으로 증가시키는 웜업 단계를 구현한다. 이 단계에서는 낮은 마스킹 비율에서 값이 커질 수 있는 손실 가중치 인자 $w(t)$ 를 낮추어 그래디언트 스파이크(gradient spikes)를 방지한다. 이는 매끄러운 손실 궤적과 안정적인 그래디언트 노름(gradient norms)을 결과로 가져온다.
블록 단위 클리핑 노이즈 스케줄링(Block-wise Clipped Noise Scheduling): 블록 확산에서 표준적인 글로벌 노이즈 스케줄을 사용하면, 작은 블록 내에서 마스킹된 토큰이 하나도 없는 단계가 발생하여 학습 신호가 0이 될 수 있다. 저자들은 마스크 비율을 클리핑하여 각 블록당 최소 하나의 토큰은 반드시 마스킹되도록 하는( $E[m|t] \ge 1$ ) 블록 인식 샘플링 규칙을 제안한다. 또한, 무작위 샘플링 결과 마스킹된 토큰이 0개인 경우, 하나의 위치를 강제로 마스킹한다. 이는 모든 학습 단계에서 유의미한 감독(supervision)을 보장한다.

2.3 아키텍처 및 데이터

아키텍처: Seed-Coder의 트랜스포머 아키텍처를 재사용한다. 어텐션 마스크는 인과적(causal, 하삼각 행렬) 구조에서 양방향(bidirectional, 전체 어텐션) 구조로 변경하되, AR 토큰 헤드와 로짓 시프트 파라미터화(또는 흡수 확산(absorbing diffusion)과의 일관성을 위해 로짓 시프트 비활성화)는 유지한다.
데이터: Seed-Coder와 동일한 1.3T 토큰 코드 데이터셋을 효율성을 위해 서브샘플링하여 사용한다.
미세 조정(Fine-tuning): 지도 미세 조정(SFT) 단계에서는 원래의 Seed-Coder SFT 데이터셋을 완전히 재사용한다.

3. 주요 기여

코드에서의 확산에 대한 통제된 연구: 본 논문은 동일한 데이터 및 아키텍처 제약 조건 하에서 확산 기반 학습 절차가 AR 대응 모델보다 우수할 수 있음을 입증한다.
Stable-DiffCoder 모델: 다양한 벤치마크에서 다른 ~8B 규모의 AR 및 DLLM 모델들보다 뛰어난 성능을 보이는 최첨단 8B 파라미터 확산 코드 모델을 제시한다.
학습 파이프라인 혁신:
- 효율적인 지식 압축을 위해 더 큰 블록으로 전환하기 전 소규모 블록 확산의 중요성을 규명하였다.
- DLLM 지속적 사전 학습을 안정화하기 위한 웜업 전략과 블록 단위 클리핑 노이즈 스케줄링을 개발하였다.
실증적 검증: 확산 기반 학습이 특히 편집 및 추론을 위한 구조화된 코드 모델링을 개선하고, 데이터 증강을 통해 저자원 언어(low-resource languages)에 이점을 준다는 것을 종합적인 평가를 통해 보여준다.

4. 결과

Stable-DiffCoder는 HumanEval, MBPP, MultiPL-E, CRUXEval, MHPP, BigCodeBench, LiveCodeBench, CanItEdit을 포함한 다양한 벤치마크에서 평가되었다.

베이스 모델 성능: Stable-DiffCoder-8B-Base는 HumanEval, MBPP, MultiPL-E에서 AR 대응 모델(Seed-Coder-8B-Base)을 일관되게 능가한다. 또한 8B 규모의 확산 모델 중 새로운 SOTA(state-of-the-art) 결과를 수립했다.
지시어 튜닝(Instruction-Tuned) 성능:
- 코드 생성: Stable-DiffCoder-8B-Instruct는 HumanEval+ 및 MBPP에서 Seed-Coder-8B-Instruct를 크게 앞선다. MHPP(더 어려운 벤치마크)에서 모든 비교 대상 ~8B 모델 중 최고의 성능을 기록하며 Qwen2.5-Coder 32B 수준에 도달했다.
- 코드 편집: CanItEdit에서 Stable-DiffCoder는 다른 모든 모델을 크게 압도하는데, 이는 인필 및 편집 패턴에 대한 학습을 본질적으로 수행하는 DLLM의 디노이징 특성 덕분이다.
- 다국어 능력: MultiPL-E 및 MBXP에서 저자원 언어(예: C#, PHP)에 대한 강력한 일반화 능력을 보여주며, 이는 확산의 확률적 샘플링이 희소한 데이터로부터 학습 신호를 효과적으로 증폭시킨다는 것을 시사한다.
- 추론: AR 베이스라인과 비교하여 CRUXEval(구조적 추론)에서 개선된 성능을 보인다.
한계점: LiveCodeBench에서 모델은 Seed-Coder보다 약간 뒤처지지만(23.5% 대 24.7%), 다른 8B 모델들과 경쟁 가능한 수준을 유지한다. Aider(롱 컨텍스트 편집)의 경우, 멀티 턴 출력을 결합할 때 컨텍스트 창 제한(8192 토큰)으로 인해 성능이 다소 하락한다.

5. 의의 및 주장

본 논문은 학습 파이프라인을 효율적인 지식 학습과 안정성을 보장하도록 정교하게 설계한다면, 확산 기반 학습이 AR 학습을 넘어 코드 모델링 품질을 향상시킬 수 있음을 주장한다.

데이터 증강: 저자들은 텍스트 확산 모델의 샘플링 프로세스가 원칙적이고 효과적인 형태의 데이터 증강 역할을 하여, 모델이 희소한 감독 신호를 흡수하고 특정 표면 형태를 넘어 일반화할 수 있게 한다고 상정한다.
패러다임 전환: 결과는 확산 모델이 단순한 빠른 추론 대안이 아니라, 적절한 커리큘럼(예: 소규모 블록 CPT 후 웜업)을 갖추었을 때 코드 이해 및 생성에서 더 높은 모델링 품질을 달 achieve 할 수 있음을 시사한다.
겸손한 태도: 저자들은 Stable-DiffCoder가 주로 코드 도메인에 초점을 맞추고 있음을 인정한다. 수학적 추론 및 범용 텍스트 작업에서의 성능은 대규모 학습 데이터의 부재로 인해 제한적일 수 있다. 또한 확산 샘플링이 더 넓은 영역에서도 더 큰 이점을 제공하는지에 대해서는 추가 탐구가 필요한 열린 과제로 남겨두었다.