🤖 machine learning

Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

DiffusionGemma 26B를 계측함으로써, 본 연구는 해당 모델의 토큰 확정 과정이 순수하게 병렬적이지도 엄격하게 순차적이지도 않으며, 오히려 대규모의 동시 배치를 형성하는 레짐 의존적인 부분적 좌에서 우로의 편향임을 밝혀내며, 이는 인지된 디코딩 순서가 고정된 아키텍처적 속성이라기보다 측정 정밀도의 산물인 경우가 많음을 입증한다.

원저자: Ali Asaria, Tony Salomone, Deep Gandhi

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Asaria, Tony Salomone, Deep Gandhi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 혼란스러운 예술 작업실을 상상해 보세요. 한 로봇이 커다란 캔버스에 그림을 그리거나(또는 이야기를 쓰려고) 노력하고 있습니다.

기존의 방식(이를 "자기회귀(Autoregressive)" 모델이라고 부릅니다)에서 로봇은 마치 책을 읽는 것처럼 엄격하게 왼쪽에서 오른쪽으로 그림을 그립니다. 단어 하나를 완성하면, 그다음 단어를 하나씩 완성해 나가는 식이죠.

새로운 "디퓨전(Diffusion)" 방식에서 로봇은 마스크로 가려진 빈 사각형들로 가득 찬 캔버스를 가지고 시작합니다. 이 로봇은 전체 그림을 한 번에 보고 동시에 많은 사각형을 채워 넣어야 합니다. 연구자들이 던진 큰 질문은 이것이었습니다: 이 새로운 로봇이 실제로 캔버스 전체를 한꺼번에 그리는 것일까요, 아니면 몰래 다시 왼쪽으로 돌아가서 단어 단위로 하나씩 그리는 것일까요?

이 논문의 저자들은 로봇이 정확히 어떻게 그리는지 관찰하기 위해 로봇의 뇌 안에 아주 작은 카메라를 설치하기로 했습니다. 그들은 DiffusionGemma라는 특정 모델을 연구했습니다.

연구 결과는 다음과 같이 쉽게 설명할 수 있습니다.

1. "한꺼번에"도 아니지만, "하나씩"도 아니다

로봇은 단 한 번의 마법 같은 섬광으로 전체 그림을 그리는 것도 아니고, 인간이 책을 읽는 것처럼 엄격하게 왼쪽에서 오른쪽으로만 그리는 것도 아닙니다.

대신, 로봇은 크고 무더기적인 배치(batches) 단위로 그립니다.

비유: 선생님이 20개의 에세이 뭉치를 채점하고 있다고 상상해 보세요. 엄격한 왼쪽에서 오른쪽 방식의 로틴을 가진 로봇이라면 에세이 1번을 채점하고, 그다음 2번, 그다음 3번을 채점할 것입니다.
DiffusionGemma가 하는 일: 로봇은 한 움큼의 에세이(예를 들어 15개)를 집어 들고, 그것들을 동시에 채점한 뒤 내려놓습니다. 그러고 나서 또 다른 한 움큼을 집어 들어 채점합니다.
결과: 이 한 움큼 안에서는 로봇이 어떤 에세이를 먼저 채점했는지 상관하지 않습니다. 그것은 하나의 "배치" 작업입니다. 이러한 큰 배치 단위로 작업을 수행하기 때문에 순서가 약간 무질서해 보일 수 있지만, 배치를 진행함에 따라 여전히 왼쪽에서 오른쪽으로 이동하려는 약간의 경향성이 나타납니다.

2. "16블록"의 신화

이전에는 사람들이 로봇이 완벽한 16단어 블록(마치 16개의 객차가 달린 기차처럼) 단위로 작동한다고 생각했습니다.

연구 결과: 연구진은 로봇의 작업을 4, 8, 16, 32, 64단어 그룹으로 나누어 테스트했습니다.
진실: 로봇은 16단어에서 갑자기 완벽한 패턴으로 딱딱 끊겨서 작동하지 않았습니다. 그룹이 커질수록 패턴은 그저 더 매끄러워지고 더 "왼쪽에서 오른쪽으로" 향하는 성질을 띠게 될 뿐이었습니다. 16이라는 숫자는 로봇을 위한 특별한 규칙이 아니라, 연구진이 데이터를 살펴보기 위해 선택한 숫자였을 뿐입니다. 로봇은 그보다 더 유동적입니다.

3. "JSON" 예외 사항

로봇은 요청받은 작업에 따라 다르게 행동합니다.

이야기, 코드, 수학 문제의 경우: 이 "무더기 배치" 형태의 왼쪽에서 오른쪽 패턴을 따릅니다.
구조화된 데이터(JSON 등)의 경우: 거의 무작위로 흩뿌리는 것처럼 행동합니다. 만약 특정 키와 값을 가진 양식을 채우라고 요청하면, 로봇은 순서에 전혀 신경 쓰지 않습니다. 로봇은 순서에 대한 편향 없이 자신이 원하는 곳 어디든 채워 넣습니다.

4. "확신도" 체크

로봇에게는 "확신도 미터기"(단어를 확정하기 전에 해당 단어에 대해 얼마나 확신하는지를 측정하는 장치)가 있습니다.

수학 문제의 경우: 로봇이 매우 확신할 때(낮은 엔트로피), 대개 정답을 맞힙니다. 확신이 없을 때는 틀릴 가능성이 높습니다. 여기서 확신도 미터기는 잘 작동합니다.
사실 관계 질문의 경우: 확신도 미터기는 쓸모가 없습니다. 로봇은 매우 확신하면서도 사실을 틀릴 수 있습니다. 이는 마치 어떤 학생이 프랑스의 수도가 "런던"이라고 100% 확신하며 말하는 것과 같습니다. 근거가 있어서가 아니라 단순히 본인이 확신하고 있기 때문입니다.

5. "조기 종료"의 놀라움

로봇에게는 작업을 끝내기 위해 최대 48 "스텝(생각하는 단계)"까지 사용할 수 있는 예산이 주어졌습니다.

현실: 로봇은 전체 예산을 거의 사용하지 않습니다. 보통 단 3~17 스텝이라는 아주 짧은 폭발적인 단계 내에 작업을 끝냅니다. 로봇은 시간이 다 지나가기도 훨씬 전, 이미 매우 확신이 든 상태에서 매우 빠르게 답을 확정 짓습니다.

6. 기존의 로봇보다 뛰어난가?

연구진이 이 새로운 디퓨전 로봇을 기존의 "왼쪽에서 오른쪽으로" 가는 로봇(Gemma-4)과 비교했을 때, 수학, 사실 관계, JSON 작업에서 정답을 맞히는 능력은 동등하게 우수함을 발견했습니다. 새로운 로봇은 단지 조금 더 무질서한 방식으로 그곳에 도달할 뿐입니다.

요약

이 논문은 DiffusionGemma가 순수하게 병렬적이지도, 순수하게 순차적이지도 않다고 결론 내립니다. 그것은 하이브리드입니다:

크고 동시적인 배치 단위로 작업합니다.
멀리서 바라볼 때만 나타나는 약한 왼쪽에서 오른쪽으로의 경향성을 가집니다.
조기에 종료하며, 확신이 생기면 생각을 멈춥니다.
"확신"은 수학에서는 성공을 예측하는 좋은 지표이지만, 사실 관계에서는 나쁜 지표입니다.

저자들은 우리가 이 모델들이 완벽한 블록이나 완벽한 선 형태로 작동한다고 가정하는 것을 멈춰야 한다고 강조합니다. 이 모델들은 마치 팀을 이루어 일하는 화가들과 같습니다. 때로는 겹쳐서 작업하고, 때로는 일찍 끝내며, 작업 종류에 따라 순서를 완전히 무시하기도 합니다.

기술 요약: 병렬도 아니고 순차적이지도 않음

문제 정의
오픈 디퓨전 언어 모델(DLM)은 마스킹된 캔버스를 디노이징하며 토큰을 반복적으로 확정하는 병렬적 비자기회귀(non-autoregressive) 디코더로 이론적으로 특징지어진다. 그러나 실제로 배포된 체크포인트가 토큰을 확정하는 실제 순서는 경험적으로 측정되는 경우가 드물다. 이러한 모델들이 엄격한 병렬성을 보이는지, 깨끗한 블록 자기회귀(block-autoregression)를 보이는지, 혹은 하이브리드 동작을 보이는지는 여전히 불분명하다. 이러한 모호함은 이 패러다임의 진정한 지연 시간 이점과 디코딩 역학을 가린다.

방법론
저자들은 Gemma 4를 기반으로 구축된 25.2B 파라미터(3.8B 활성) 마스크 이산 디퓨전 혼합 전문가(mixture-of-experts) 모델인 공개 체크포인트 google/diffusiongemma-26B-A4B-it에 대해 추론 전용 해석 가능성 연구를 수행하였다.

계측(Instrumentation): 연구진은 Hugging Face transformers 라이브 라이브러리 내의 EntropyBoundSampler.accept_canvas 메서드를 후킹하였다. 이를 통해 저자들은 모든 생성 과정에서 각 accept-call 시점에 정확히 어떤 캔버스 위치가 확정되었는지와 확정된 로짓(logits)의 위치별 엔트로피를 기록할 수 있었다.
실험 설계: 평가는 여섯 가지 레짐(Regime)인 수학(GSM8K), 코드 완성(HumanEval), 코드 합성(MBPP), 사실적 회상, 개방형 지시문, 제약된 JSON에 걸친 686개의 프롬프트 프로브 스위트를 활용하였다.
강화 실행(Strengthening Run): 견고성을 보장하기 위해 저자들은 5개의 무작위 시드와 레짐당 20개의 프롬프트를 사용하여 강화 실행(총 600회의 생성, 레짐당 100개의 트레이스)을 수행하였다.
지표:
- 순서(Order): 주요 지표는 토큰의 커밋 호출 인덱스와 좌우 방향 위치 사이의 타이 결합 켄달 타우 상관계수( $\tau_b$ )였다.
- 그래뉴러리티(Granularity): 특권적인 아키텍처 블록을 테스트하기 위해 빈 크기 $B \in \{4, 8, 16, 32, 64\}$ 에 대한 블록- $\tau_b$ 스윕을 수행하였다.
- 신뢰도-정확도(Confidence-Correctness): 정답 예측력(음의 엔트로피)이 정확도에 미치는 영향은 심슨의 역설(Simpson's paradox)을 피하기 위해 엄격하게 레짐 내에서만 AUROC 및 신뢰도 곡선을 통해 측정되었다.
- 대조군(Controls): 깨끗한 블록 자기회귀 프로세스의 기대 $\tau_b$ 를 제한하기 위해 합성된 블록-순차 대조군(커밋 시간 = 위치 // 16)을 사용하였다.

주요 결과

부분적이고 그래뉴러리티에 의존적인 좌우 방향 편향:
DiffusionGemma는 깨끗한 블록 자기회귀를 보이지 않는다. 대신, 토큰 수준에서는 완만하고 분석 빈 크기가 커질수록 순차적 동작을 향해 매끄럽게 상승하는 부분적인 좌우 방향 편향을 보인다.
- 토큰 수준 $\tau_b$ : 코드(0.43)에서 코드 합성(0.60)까지 분포하며, 이는 엄격한 자기회귀의 +1 및 블록-순차 대조군의 0.94–0.96보다 현저히 낮다.
- 빈 크기 민감도: 블록- $\tau_b$ 는 빈 크기에 따라 단조 증가한다(예: 수학의 경우 $B=4$ 에서 0.59, $B=64$ 에서 0.91). 결정적으로, $B=16$ 에서 점프가 발생하지 않는데, 이는 16이 특권적인 아키텍처 블록이 아니라 분석가가 선택한 빈임을 나타낸다.
- 서브 블록 무질서(Sub-Block Disorder): 실제 토큰 순서와 블록-순차 대조군 사이의 격차는 블록 내부의 진정한 무질서를 확인시켜 준다.
대규모 커밋 배치와 미결정된 순서:
커밋은 대규모 배치로 발생한다. 평균적으로 accept-call당 13~26개의 콘텐츠 토큰이 커밋된다. 상당수의 토큰 쌍(JSON의 경우 최대 0.72)이 동일한 호출 내에서 커밋되며, 이는 이들의 상대적 순서가 미결정 상태임을 의미한다. 측정된 $\tau_b$ 는 엄격한 단계 내 순서보다는 accept-call 수준의 경향성을 반영한다.
레짐 의존성:
- 구조화된 JSON: 제약된 JSON 레짐은 약 $\tau_b \approx -0.044$ 로 순서에 독립적이며, 산문, 코드, 수학 레짐의 완만한 양의 편향과는 구별된다.
- 신뢰도-정확도 판별: 커밋 신뢰도는 수학(GSM8K AUROC 0.749, CI가 우연을 제외함)에서는 정확도를 예측하지만, 사실적 회상(AUROC 0.471, CI가 0.5를 포함함)에서는 효과가 없다. 이 레짐들을 통합하면 심슨의 역설 아티팩트가 발생하여 추세가 역전된다.
공격적인 조기 종료:
48단계의 디노이징 예산에도 불구하고, 생성은 적은 수의 accept-calls(3.3–17.1회) 내에 마무리된다. 커밋 시의 엔트로피는 0.1 경계(0.002–0.012 nats)보다 훨씬 낮으며, 이는 모델이 단계 예산을 다 쓰기도 전에 콘텐츠를 커밋함을 나타낸다.
정확도:
점수 산출이 가능한 레짐(수학, 사실, JSON)에서 DiffusionGemma의 정확도는 대응하는 자기회귀 형제 모델인 Gemma-4 26B-A4B와 유사하지만, 본 연구는 등가성 검정(equivalence test)을 위해 설계된 것은 아니다.

의의 및 기여
본 논문은 디퓨전 디코딩에 대한 이해를 "비밀스러운 좌우 방향" 또는 "구조화된 비순차적" 방식에서, 레짐 특이적이며 대규모의 미결정된 커밋 배치로 특징지어지는 부분적이고 그래뉴러리티에 의존적인 좌우 방향 편향이라는 더 미묘한 현실로 재정립한다고 주장한다.

방법론적으로, 본 논문은 디코딩 순서를 측정하는 데 있어 특정 함정을 해결하는 프레임워크를 기여한다:

EOS 패딩 아티팩트: 나이브한 지표는 패딩 토큰의 조기 커밋에 의해 지배되므로, 콘텐츠 위치로 분석을 제한하는 것이 필수적이다.
심슨의 역설: 서로 다른 기본 정확도와 엔트로피 척도를 가진 레짐 간에 신뢰도-정확도 데이터를 통합하면 잘못된 결론을 얻게 된다.
커밋 비단조성(Commit Non-Monotonicity): 본 연구는 "언-accept"(재마스킹) 이벤트를 고려하여 순서를 첫 번째 수락 순서로 정의함으로써, 엄격한 단조 부분 집합에 대한 견고성을 검증하였다.
블록 크기 민감도: 인지된 블록 크기가 모델 아키텍처가 아닌 분석가의 빈닝(binning) 선택에 의한 아티팩트일 수 있음을 입증한다.

저자들은 새로운 전략을 제안하기보다, 셰립된 샘플러의 단계별 커밋을 관찰하는 계측(instrumentation)의 렌즈가 디퓨전 언어 모델의 실제 동작을 감사(audit)하는 데 필요한 도구를 제공한다고 결론짓는다.