LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

이 논문은 VAE 를 통해 구조화된 잠재 추론 공간을 구축하고 잠재 확산 모델을 활용하여 기존 LLM 의 자기회귀적 한계를 극복하며, 다양한 추론 경로를 병렬로 생성하고 전역적으로 수정·개선할 수 있는 새로운 추론 프레임워크인 LaDiR 을 제안합니다.

핵심

🧠 라디르 (LaDiR): AI 가 생각하는 방식을 바꾼 새로운 혁신

이 논문은 거대 언어 모델 (LLM) 이 문제를 해결할 때, 기존 방식의 한계를 깨고 더 똑똑하고 창의적인 사고를 할 수 있게 해주는 새로운 방법론인 **'라디르 (LaDiR)'**를 소개합니다.

기존 AI 와 라디르의 차이를 이해하기 위해, **'글쓰기'**와 **'조각가'**의 비유를 들어보겠습니다.

---

1. 기존 AI 의 문제점: "한 번 쓴 글은 못 고치는 기계"

기존의 AI(자동회귀 모델) 는 글을 쓸 때 한 글자씩 순서대로 써나갑니다.

• 비유: 마치 연필로 글을 쓰는 학생처럼 생각해보세요.
  • "2 + 2 는 4 입니다."라고 쓴 뒤, "아, 실수했네. 2+2 는 5 가 아니야!"라고 생각해도, 이미 써버린 '4'라는 글자는 지우지 못합니다.
  • 그 글자 위에 덧칠을 하거나, 뒤에서 "그건 농담이었어요"라고 설명해야 합니다.
  • 결과적으로, 처음에 잘못된 방향으로 생각하면 그 오류가 고쳐지지 않고 계속 이어져서 엉뚱한 결론에 도달하기 쉽습니다. 또한, 같은 생각만 반복해서 다양한 해법을 찾기 어렵습니다.

2. 라디르 (LaDiR) 의 아이디어: "점토로 조각하는 예술가"

라디르는 이 문제를 해결하기 위해 **확산 모델 (Diffusion Model)**과 **잠재 공간 (Latent Space)**이라는 기술을 결합했습니다.

• 비유: 라디르는 점토 조각가와 같습니다.
  • 1 단계 (점토 만들기): AI 는 문제의 답을 바로 글자로 쓰지 않습니다. 대신, 문제의 핵심 아이디어를 **점토 덩어리 (잠재 토큰)**로 만듭니다. 이 점토는 아직 구체적인 글자가 아니라, "의미"와 "논리"가 담긴 추상적인 형태입니다.
  • 2 단계 (다듬기): 이제 AI 는 이 점토 덩어리를 반복적으로 다듬습니다.
    • 처음에는 점토가 뭉개져서 무슨 모양인지 모릅니다 (노이즈).
    • 하지만 AI 는 "아, 이 부분은 2+2 라야겠네", "아, 저 부분은 5 가 아니라 4 가 맞네"라고 점토를 다시 빚어냅니다.
    • 중요한 점은, 글자를 지우지 않고 점토 전체의 모양을 다시 잡을 수 있다는 것입니다. 실수가 나면 처음부터 다시 다듬을 수 있는 거죠.
  • 3 단계 (완성): 점토가 완벽한 모양 (올바른 논리) 으로 다듬어지면, 비로소 그 모양을 보고 **최종 답안 (글자)**을 씁니다.

3. 라디르가 가진 3 가지 슈퍼 파워

① "생각을 다시 다듬을 수 있다" (반복적 정제)

기존 AI 는 한 번 쓴 글자를 못 고치지만, 라디르는 점토를 다시 빚듯 논리를 반복해서 다듬습니다.

• 예시: "2+2=5"라고 잘못 생각했다면, 점토 단계에서 "아니야, 4 가 맞아"라고 수정한 뒤, 최종 글자로 "4"를 씁니다. 이 과정에서 AI 는 스스로의 실수를 고칠 수 있습니다.

② "한 번에 여러 가지 길을 탐색한다" (다양성)

기존 AI 는 한 번에 한 가지 길만 걷습니다. 하지만 라디르는 동시에 여러 개의 점토 덩어리를 만들어 서로 다른 방향으로 다듬을 수 있습니다.

• 비유: 미로에서 길을 찾을 때, 기존 AI 는 한 가지 길만 따라가다 막히면 끝입니다. 하지만 라디르는 동시에 100 개의 미로를 탐색하며, 가장 좋은 길을 찾아냅니다. 그래서 같은 문제라도 훨씬 다양한 해결책을 찾아냅니다.

③ "의미 있는 추상화" (해석 가능성)

라디르는 점토 (잠재 공간) 에서 사고합니다. 이 점토는 단순한 글자 나열이 아니라, 의미의 덩어리입니다.

• 장점: AI 가 왜 그런 결론을 내렸는지, 그 '생각의 과정'을 점토 형태로 볼 수 있어 훨씬 투명하고 이해하기 쉽습니다.

4. 실제 성과: 수학, 코딩, 퍼즐에서 압도적

연구진은 라디르를 수학 문제, 코딩, 퍼즐 (카운트다운 게임) 등에 적용해봤습니다.

• 수학: 복잡한 수학 문제에서 기존 AI 보다 훨씬 높은 정확도를 보였습니다. 특히, "이 문제는 어렵네"라고 판단되면 **더 많은 시간 (계산 단계)**을 들여 점토를 더 정교하게 다듬어 정답을 냈습니다.
• 코딩 & 퍼즐: 여러 가지 해결책을 동시에 찾아내는 능력이 뛰어나, 기존 방식보다 훨씬 창의적인 코드를 작성하거나 퍼즐을 풀었습니다.

📝 요약

**라디르 (LaDiR)**는 AI 가 문제를 풀 때, **"한 글자씩 써나가는 기계"**가 아니라 **"점토를 빚어 논리를 완성하는 예술가"**가 되게 만든 기술입니다.

• 기존: 실수하면 고치기 어렵고, 같은 생각만 반복함.
• 라디르: 점토 (잠재 의미) 를 반복해서 다듬어 실수를 고치고, 여러 가지 길을 동시에 탐색하여 더 정확하고 창의적인 답을 찾아냄.

이 기술은 AI 가 단순히 말만 잘하는 것을 넘어, 진짜로 깊이 있게 생각하고 추론하는 능력을 갖게 해주는 새로운 시대를 열었습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 을 통해 추론 능력을 입증해 왔으나, 기존 자기회귀 (Autoregressive, AR) 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 되돌림의 부재: AR 모델은 토큰을 순차적으로 생성하므로, 생성된 초기 토큰을 전체적인 맥락에서 재검토하거나 수정하는 것이 비효율적입니다. 이는 오류가 누적되는 원인이 됩니다.
• 탐색의 제한: 이산적 (discrete) 인 토큰 기반 CoT 는 선형적인 사고 경로만 생성하여, 다양한 유효한 해법을 탐색하는 데 한계가 있습니다.
• 의미적 추론의 부재: 기존 잠재 공간 (Latent Space) 기반 방법론들은 주로 텍스트 생성의 유창성에 초점을 맞추었으며, 추론 단계 간의 인과 관계를 의미 수준에서 반사적으로 수정 (Self-refinement) 하는 능력을 충분히 활용하지 못했습니다.

2. 제안 방법론: LaDiR (Latent Diffusion Reasoner)

저자들은 LaDiR을 제안하며, 이는 LLM 의 추론 능력을 향상시키기 위해 **연속적인 잠재 표현 (Continuous Latent Representation)**과 **잠재 확산 모델 (Latent Diffusion Model)**의 반복적 정제 능력을 결합한 새로운 프레임워크입니다.

핵심 아키텍처 및 프로세스

1. 구조화된 잠재 추론 공간 구축 (VAE):

   • 블록화 (Blockization): CoT 를 개별 문장 단위로 나누어 각 문장을 하나의 '잠재 사고 블록 (Latent Thought Block)'으로 인코딩합니다.
   • VAE 학습: 사전 학습된 LLM 을 기반으로 한 인코더와 디코더를 사용하여 텍스트 추론 단계를 의미 정보를 보존하면서도 압축된 잠재 토큰 (Latent Tokens) 으로 변환합니다.
   • 강건성 증대: 학습 중 가우시안 노이즈 주입 및 입력 토큰 대체 (Token Substitution) 를 통해 잠재 공간의 강건성을 높입니다.

2. 잠재 확산 추론 모델 (Latent Diffusion Reasoner):

   • 블록 단위 확산 (Blockwise Diffusion): 확산 모델이 개별 토큰이 아닌 '블록' 단위로 노이즈를 제거 (Denoising) 하며 추론 경로를 생성합니다.
   • 주의 메커니즘 (Attention Mask):
     • 블록 내부: 양방향 주의 (Bidirectional Attention) 를 적용하여 블록 내에서의 장기적 의존성과 반복적 정제를 가능하게 합니다.
     • 블록 간: 인과적 주의 (Causal Attention) 를 적용하여 추론 단계 간의 순차적 의존성을 유지합니다.
   • 2 단계 학습 전략:
     • Stage 1 (Teacher-Forcing): VAE 인코더가 생성한 정답 (Oracle) 잠재 블록을 사용하여 확산 모델과 답변 생성 모델을 학습합니다.
     • Stage 2 (Rollout Training): 모델이 직접 생성한 잠재 블록을 기반으로 학습하여, 추론 시 발생하는 오류 누적 (Error Accumulation) 문제를 해결하고 답변 정확도를 잠재 공간으로 역전파 (Backpropagate) 시킵니다.

3. 추론 과정 (Inference):

   • 반복적 정제: 가우시안 노이즈에서 시작하여 확산 과정을 통해 의미적으로 일관된 잠재 추론 블록을 생성합니다.
   • 다양성 유도 (Diversity Guidance): 배치 내 잠재 토큰 간의 반발력 (Repulsion Force) 을 적용하여 다양한 추론 경로를 탐색하도록 유도합니다. 이는 AR 모델이 자주 겪는 모드 붕괴 (Mode Collapse) 를 방지합니다.
   • 적응형 계산: 확산 단계 수를 늘려 추론 정확도를 높일 수 있는 유연한 테스트 시간 계산 (Test-time Compute) 전략을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 의미 수준의 자기 수정 (Semantic Self-Refinement): 토큰 단위가 아닌 의미 (Semantic) 수준에서 추론 경로를 반복적으로 수정하고 정제할 수 있는 새로운 패러다임을 제시합니다.
2. 다양성과 정확도의 균형: 확산 모델의 병렬 생성 특성과 다양성 유도 메커니즘을 통해 AR 모델보다 훨씬 다양한 유효한 해법을 탐색하면서도 높은 정확도를 달성합니다.
3. 해석 가능성 (Interpretability): VAE 기반의 잠재 공간은 각 추론 단계를 인간이 읽을 수 있는 텍스트로 복원 (Decode) 할 수 있어, 블랙박스인 확산 모델의 추론 과정을 투명하게 만듭니다.
4. 적응형 테스트 시간 계산: 확산 단계 수를 조절하여 계산 비용과 정확도 사이의 균형을 유연하게 조절할 수 있습니다.

4. 실험 결과 (Results)

LaDiR 은 수학 추론, 코드 생성, 퍼즐 계획 (Countdown) 등 다양한 벤치마크에서 기존 AR, 확산 기반, 잠재 추론 방법론들을 압도적으로 능가했습니다.

• 수학 추론 (Math Reasoning):

  • GSM8K, MATH 등 7 개 벤치마크에서 LLaMA 3.1 8B 기반의 LaDiR 이 기존 최상위 방법 (TaH+, Coconut 등) 보다 평균 Pass@1 정확도 1.5% 향상.
  • 특히 Pass@100에서는 AR CoT SFT 대비 **6.1%**의 절대적 향상을 보이며, 다양한 해법 탐색 능력이 탁월함을 입증했습니다.
  • Out-of-domain 벤치마크 (College-Math, DM-Math 등) 에서도 강력한 일반화 성능을 보였습니다.

• 코드 생성 (Code Generation):

  • HumanEval+ 등 4 개 벤치마크에서 Qwen3-8B 기반 LaDiR 이 AR SFT 대비 평균 5.2% 향상.
  • 복잡한 프로그래밍 작업에서 HumanEval+ 기준 SFT 대비 약 **8%**의 성능 향상을 기록했습니다.

• 퍼즐 계획 (Countdown):

  • CD-4 및 CD-5 작업에서 AR 베이스라인 대비 Pass@1이 25~30% 이상 향상되었습니다.
  • Pass@100에서도 30% 이상 향상되었으며, 다양한 유효한 해법을 생성하는 능력이 뛰어났습니다.

• 분석 (Analysis):

  • 반복적 정제: 확산 단계가 진행됨에 따라 초기의 산술 오류가 점차 수정되어 정답에 도달하는 과정을 시각적으로 확인했습니다.
  • 계산 확장성: 확산 단계 수를 5 에서 50 으로 늘리면 평균 정확도가 9.8 포인트 상승하여, 계산 비용을 늘려 성능을 극대화할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

LaDiR 은 단순한 텍스트 생성을 넘어, 추론 (Reasoning) 자체를 잠재 공간에서 수행하는 새로운 패러다임을 제시합니다.

• 패러다임 전환: AR 모델의 순차적 한계를 극복하고, 확산 모델의 병렬적 정제 능력을 추론에 적용함으로써 **정확성 (Accuracy)**과 **다양성 (Diversity)**이라는 상충되는 목표를 동시에 달성할 수 있음을 증명했습니다.
• 실용성: 기존 LLM 을 기반으로 하여 추가적인 대규모 학습 없이도 (Post-training) 추론 능력을 획기적으로 개선할 수 있는 방법을 제시합니다.
• 미래 방향: 테스트 시간 계산 (Test-time compute) 을 유연하게 조절하여 복잡한 문제에 대한 해결 능력을 확장할 수 있는 길을 열었으며, 추론 과정의 해석 가능성을 높여 신뢰할 수 있는 AI 개발에 기여합니다.

결론적으로, LaDiR 은 LLM 의 추론 능력을 의미적 수준에서 재정의하고, 확산 모델의 강점을 활용하여 차세대 추론 시스템의 표준을 제시하는 중요한 연구로 평가됩니다.