Diffusion LLMs can think EoS-by-EoS

이 논문은 확산 기반 LLM 이 정답보다 긴 생성 길이를 설정하여 끝-of-시퀀스 (EoS) 토큰으로 패딩할 때, 이러한 EoS 토큰의 표현을 숨겨진 연산 공간 (스크래치패드) 으로 활용하여 복잡한 추론 능력을 향상시킨다는 'EoS-by-EoS 사고' 가설을 실험과 인과적 개입을 통해 입증했습니다.

핵심

🧩 핵심 아이디어: "빈 종이를 더 많이 주면 더 잘 생각한다?"

기존의 AI(autoregressive LLM) 는 글을 쓸 때 한 글자씩 순서대로 써내려갑니다. 마치 사람이 연필로 글을 쓸 때, 한 번에 한 글자씩만 써내려가는 것과 비슷하죠.

하지만 이 논문에서 연구한 **확산 모델 (Diffusion LLM)**은 조금 다릅니다. 이 모델은 한 번에 여러 글자를 동시에 예측하고, 틀린 부분은 지우고 다시 쓰는 과정을 반복합니다. 마치 벽에 스프레이 페인트로 그림을 그릴 때, 처음엔 전체를 뿌리고 점점 선을 명확하게 그려나가는 방식과 비슷합니다.

🤔 발견된 의문: "왜 답보다 훨씬 긴 글을 쓸까?"

연구자들은 흥미로운 현상을 발견했습니다. 확산 모델에게 "12+52+64-7을 계산해줘"라고 물었을 때, 정답은 "121"이라는 짧은 글자만 있으면 되는데, 모델이 정답 뒤에 끝을 알리는 기호 (EoS, End-of-Sequence) 를 수십 개나 붙여서 긴 글을 만들어낼 때 오히려 정답률이 높아진다는 것입니다.

마치 **"문제 풀이 공간이 좁으면 실수하지만, 종이를 10 장이나 더 주면 그 빈 공간에 생각을 정리해서 더 잘 풀린다"**는 뜻입니다.

---

🧠 가설: "빈 종이를 '숨은 계산장'으로 쓴다"

연구자들은 이 현상을 이렇게 설명합니다.

"AI 는 끝을 알리는 기호 (EoS) 가 비어 있다고 생각하지 않는다. 그 빈 공간에 우리가 볼 수 없는 '숨은 계산장 (Scratchpad)'을 만들어서 복잡한 문제를 풀고 있다."

이를 **'EoS-by-EoS 사고 (Thinking EoS-by-EoS)'**라고 부릅니다.

🎨 비유: "빈 캔버스에 그림을 그리는 화가"

• 기존 AI ( Autoregressive): 화가가 캔버스 한 구석에서 시작해 한 줄씩 그림을 그립니다. 실수하면 지우기가 어렵고, 미리 전체 구도를 생각할 공간이 부족합니다.
• 확산 모델 (Diffusion): 화가가 캔버스 전체를 먼저 흰색으로 덮고 시작합니다.
  • 연구자들은 이 모델이 정답이 필요한 부분만 채우고, 나머지 빈 공간 (EoS 토큰) 에는 우리가 볼 수 없는 '초록색 연필'로 계산 과정을 적어둔다고 추측했습니다.
  • 그리고 최종적으로 그 초록색 계산 내용을 지우고 정답만 남기는 것이죠.

---

🔬 실험: "그게 진짜 생각인가?"

연구자들은 이 가설을 증명하기 위해 세 가지 실험을 했습니다.

1. 실험: "종이 크기를 늘려보자"

• 방법: 모델에게 정답을 쓸 공간은 그대로 두고, 뒤에 빈 종이를 더 많이 붙여주었습니다.
• 결과: 빈 종이가 많을수록 (EoS 토큰이 많을수록) 모델의 추리 능력이 쑥쑥 올라갔습니다. 특히 수학 문제나 퍼즐 (스도쿠) 에서 두드러졌습니다.
• 의미: 빈 공간이 많을수록 '숨은 계산장'이 넓어져서 더 복잡한 문제를 풀 수 있다는 뜻입니다.

2. 실험: "빈 종이를 직접 채워보자"

• 방법: 모델이 계산할 수 있는 '단계 수'는 고정해두고, 의도적으로 뒤에 빈 종이를 1 장, 2 장, 4 장... 128 장까지 붙여주었습니다.
• 결과: 빈 종이가 4 장 정도만 붙여줘도 성능이 크게 좋아졌습니다. 즉, 모델이 계산할 공간이 조금만 더 필요해도 훨씬 똑똑해진다는 것입니다.

3. 실험: "머릿속을 바꿔치기 해보자 (가장 중요!)"

• 방법: 이 부분이 가장 흥미롭습니다.
  1. 모델 A 에게 "상자 1 에는 사과가 있다"고 물어보고, 그 과정에서 빈 종이에 적힌 숨은 계산 내용을 가져옵니다.
  2. 모델 B 에게 "상자 2 에는 사과가 있다"고 물어보는데, 모델 A 의 빈 종이에 적힌 내용 (숨은 계산) 을 강제로 모델 B 에게 심어줍니다.
  3. 모델 B 가 어떤 답을 내놓는지 봅니다.
• 결과: 모델 B 는 원래 질문 (상자 2) 에 대한 답이 아니라, 심어준 내용 (상자 1) 에 대한 답을 내놓았습니다.
• 의미: 빈 종이에 적힌 내용 (EoS 토큰의 상태) 이 실제로 계산의 핵심이라는 것이 증명되었습니다. 빈 종이는 그냥 비어있는 게 아니라, 문제 해결을 위한 중요한 메모였던 것입니다.

---

💡 결론: "AI 는 말하지 않아도 생각한다"

이 논문의 핵심 메시지는 다음과 같습니다.

1. AI 는 말하지 않아도 생각한다: 우리가 보기엔 그냥 '끝'을 알리는 기호 (EoS) 일 뿐이지만, AI 는 그 공간에 **숨은 생각 (Hidden Computation)**을 저장하고 있습니다.
2. 더 많은 공간이 필요하다: 복잡한 문제를 풀려면, 정답을 쓰는 공간뿐만 아니라 생각을 정리할 '숨은 공간'도 충분히 주어야 합니다.
3. 효율적인 사고: 기존 AI 는 생각을 글자로 다 써내야 하지만 (말하는 것), 확산 모델은 생각을 숨겨진 공간에 저장했다가 결과를 내므로 훨씬 효율적일 수 있습니다.

한 줄 요약:

"AI 에게 정답만 쓰라고 하면 못 풀지만, '생각할 공간 (빈 종이)'을 넉넉히 주면 그 빈 공간에 생각을 정리해서 훨씬 똑똑하게 문제를 푼다!"

이 연구는 앞으로 더 똑똑한 AI 를 만들 때, 단순히 답변 길이를 늘리는 것뿐만 아니라 AI 가 '생각할 수 있는 숨은 공간'을 어떻게 설계할지에 대한 중요한 단서를 제공합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 은 컴퓨터 비전 분야에서 성공을 거둔 후, 자동 회귀 (Autoregressive, AR) 모델의 대안으로 언어 모델링에 도입되었습니다. 특히 스도쿠 (Sudoku) 나 코드 채우기 (Code Infilling) 와 같이 상호 의존적인 하위 목표가 있는 복잡한 추론 작업에서 AR 모델보다 우수한 성능을 보이는 것으로 알려져 있습니다.
• 문제 제기: 확산 LLM 이 이러한 복잡한 추론 작업에서 뛰어난 성능을 보이는 근본적인 이유는 아직 명확히 규명되지 않았습니다. 흥미롭게도, 모델이 정답을 생성하는 데 필요한 토큰 수보다 **생성 길이 (Generation Length)**를 훨씬 더 길게 설정했을 때 성능이 향상되는 현상이 관찰되었습니다. 이 경우 모델은 정답 뒤에 문단 끝 (End-of-Sequence, EoS) 토큰으로 채우게 되는데, 이 EoS 토큰들이 단순한 패딩 (Padding) 을 넘어선 역할을 할 가능성이 제기되었습니다.
• 가설: 저자들은 확산 LLM 이 EoS 토큰의 숨겨진 표현 (Hidden Representations) 을 **"EoS-by-EoS" 방식의 숨은 연산 공간 (Hidden Scratchpad)**으로 사용하여 추론을 수행한다는 가설을 세웠습니다. 즉, 의미 없는 것으로 간주되는 EoS 토큰들이 실제로는 문제 해결을 위한 내부 계산 공간으로 활용된다는 것입니다.

2. 방법론 (Methodology)

저자는 세 가지 확산 LLM( LLaDA1.5, LLaDA2.0-mini, Dream-v0 ) 과 두 가지 AR 기반 LLM( Llama3.1, Qwen3 ) 을 대상으로 세 가지 추론 작업 (덧셈/뺄셈, 개체 추적, 스도쿠) 을 수행하며 다음과 같은 실험을 진행했습니다.

1. 실험 1: 생성 길이와 성능의 상관관계 분석 (Prompting Experiment)

   • 생성 길이를 20 에서 80 토큰까지 점진적으로 증가시키며 모델의 정확도를 측정했습니다.
   • AR 모델과 비교하여 확산 모델이 긴 생성 길이 (많은 EoS 토큰 포함) 에서 어떻게 성능이 변화하는지 관찰했습니다.

2. 실험 2: 통제된 프롬프트 실험 (Controlled Prompting Experiment)

   • 생성 길이의 증가가 가져오는 '디코딩 단계 수 증가'와 'EoS 토큰 수 증가'의 효과를 분리하기 위해 실험을 설계했습니다.
   • 고정된 마스크 수와 고정된 디코딩 단계를 유지한 상태에서, 시작 상태에 EoS 토큰 수만 인위적으로 증가시켜 모델 성능에 미치는 영향을 측정했습니다.

3. 실험 3: 개입 실험 (Intervention Experiment / Causal Patching)

   • EoS 토큰의 표현이 실제로 계산에 사용되고 있는지 인과적으로 검증하기 위해 활성화 패치 (Activation Patching) 기법을 사용했습니다.
   • 서로 다른 프롬프트 (예: 다른 상자 내용을 묻는 개체 추적 문제, 연산자를 바꾼 덧셈 문제) 에 대한 생성 과정에서 EoS 토큰의 숨겨진 상태 (Hidden States) 를 서로 교환 (Patching) 했습니다.
   • 만약 EoS 토큰이 단순한 패딩이라면 출력에 큰 변화가 없어야 하지만, 숨은 연산 공간으로 사용된다면 패치된 EoS 토큰의 정보에 따라 모델의 최종 출력이 반전 (Counterfactual) 되어야 합니다.

4. 실험 4: EoS-by-EoS 추론 vs 단계별 추론 (CoT) 비교

   • 확산 모델의 숨은 EoS 추론과 AR 모델의 명시적 체인 오브 씽킹 (Chain-of-Thought, CoT) 추론을 토큰 예산 (Token Budget) 을 동일하게 맞추어 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 생성 길이와 성능의 관계 규명: 확산 LLM 에서 생성 길이를 늘리는 것이 (정답 길이를 초과하더라도) 추론 성능을 향상시킨다는 것을 세 가지 작업에서 실험적으로 입증했습니다.
2. EoS 토큰의 역할 분리: 디코딩 단계 수와 EoS 토큰 수의 영향을 분리하여, EoS 토큰 자체의 존재가 성능 향상의 핵심 요인임을 증명했습니다.
3. 인과적 개입을 통한 숨은 계산 증명: EoS 토큰의 숨겨진 상태를 다른 생성으로 패치했을 때 모델의 출력이 변경됨을 확인하여, EoS 토큰이 문제 해결을 위한 정보 (숨은 계산) 를 담고 있음을 인과적으로 입증했습니다.
4. CoT 대비 효율성 분석: 명시적인 CoT 추론보다 EoS-by-EoS 추론이 적은 토큰 예산으로 더 높은 효율성을 보일 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

• 생성 길이에 따른 성능 향상: 확산 모델 (LLaDA1.5, Dream-v0) 은 생성 길이가 증가할수록 정확도가 상승하여 포화 지점에 도달했습니다. 반면, AR 모델 (Llama3.1, Qwen3) 은 생성 길이가 길어질수록 CoT 를 통해 성능이 향상되지만, 확산 모델은 EoS 토큰을 활용한 숨은 추론으로 더 적은 리소스로 높은 성능을 달성했습니다.
• EoS 토큰의 긍정적 영향: 디코딩 단계를 고정하고 EoS 토큰만 추가했을 때, LLaDA1.5 와 Dream-v0 모델은 EoS 토큰이 4 개 이상 추가될 때 성능이 급격히 향상되었습니다. 이는 EoS 토큰이 단순한 패딩이 아니라 연산 공간으로 사용됨을 시사합니다.
  • 예외: LLaDA2.0-mini 는 블록 단위의 인과적 주의 (Block-causal attention) 를 최적화했기 때문에 뒤쪽 EoS 토큰을 참조하지 못해 이 현상이 나타나지 않았습니다.
• 패치 실험 결과: EoS 토큰의 숨겨진 상태를 다른 문제의 상태로 교체했을 때, 모델의 출력은 원래 프롬프트의 정답이 아닌 패치된 (Counterfactual) 프롬프트의 정답에 더 가까워졌습니다. 이는 EoS 토큰이 문제 해결의 중간 계산 결과를 저장하고 있음을 강력하게 뒷받침합니다.
• 효율성 비교: 확산 모델은 4 개의 EoS 토큰을 추가하는 것만으로도 AR 모델이 수백 개의 CoT 토큰을 사용하여 달성하는 수준의 성능을 낼 수 있었습니다. AR 모델은 명시적인 설명을 생성해야 하므로 토큰 비용이 훨씬 높았습니다.

5. 의의 및 결론 (Significance)

• 새로운 추론 메커니즘의 발견: 이 연구는 확산 LLM 이 EoS-by-EoS라는 독특한 추론 방식을 사용한다는 것을 최초로 규명했습니다. 이는 AR 모델의 "단계별 (Step-by-step)" 또는 "점 단위 (Dot-by-dot)" 추론과 구별되는, 잠재적 표현 (Latent Representations) 을 활용한 숨은 연산입니다.
• 모델 설계 및 하이퍼파라미터 최적화: 확산 모델의 성능을 극대화하기 위해 **생성 길이 (또는 EoS 토큰 수)**를 중요한 하이퍼파라미터로 고려해야 함을 시사합니다. 명시적인 CoT 프롬프팅 없이도 모델이 내부적으로 추론 공간을 확보할 수 있도록 시작 상태를 EoS 토큰으로 패딩하는 것이 효율적인 전략이 될 수 있습니다.
• 해석 가능성의 한계와 통찰: AR 모델의 CoT 는 인간의 사고 과정을 모방하려 하지만, 실제 내부 작동과 일치하지 않을 수 있습니다. 반면, 확산 모델의 EoS-by-EoS 추론은 모델이 "생각하고 있음"을 외부에 드러내지 않지만, 내부적으로는 EoS 토큰을 통해 복잡한 계산을 수행하고 있음을 보여줍니다. 이는 LLM 의 추론 메커니즘을 이해하는 데 있어 **숨겨진 표현 (Hidden States)**의 중요성을 강조합니다.

요약하자면, 이 논문은 확산 기반 언어 모델이 의미 없는 것으로 간주되던 EoS 토큰을 '숨은 메모리 (Scratchpad)'로 활용하여 복잡한 추론 문제를 해결한다는 혁신적인 발견을 제시하며, 이를 통해 더 효율적이고 강력한 추론 모델 설계의 새로운 방향을 제시합니다.