기술 요약: 왜 이미지 잠재 공간은 성공하는 반면, 텍스트 잠차(Text Latents)는 몇 단계 생성(Few-Step Generation)에서 실패하는가

문제 제기

결정론적 몇 단계 생성(Deterministic few-step generation)은 이미지 합성(예: Consistency Models, Rectified Flow) 분야에서 1~4회의 네트워크 평가만으로 고품질 이미지를 생성하며 급격한 성공을 거두었습니다. 그러나 텍스트 오토인코더(예: ELF)를 통한 연속적 텍스트 잠재 공간에 동일한 결정론적 몇 단계 접근 방식을 적용하면, 반복되는 토큰과 다국어 파편이 나타나는 비일관적인 출력이 발생합니다. 기존 문헌에서는 이러한 실패의 원인을 주로 훈련 부족, 구조적 한계 또는 스케줄링 문제로 돌리지만, 본 논문은 이 실패가 구조적이고 기하학적이라고 주장합니다. 구체적으로, 매끄럽고 정규성 제한이 있는 결정론적 맵(map)은 날카로운 범주적 판독(categorical readout)이 일어나기 전에는 이산적인 분기 선택(discrete branch choices)을 해결할 수 없습니다. 본 논문은 텍스트에서의 몇 단계 실패가 전송 정확도(transport accuracy)가 아니라 **디코더의 날카로움(decoder sharpness)**에 의해 지배된다고 상정합니다.

방법론 및 이론적 프레임워크

1. 비전념 메커니즘 (중첩 영역)

저자들은 실제 텍스트 오토인코더에서 나타나는 전형적인 "중첩 영역(overlapping regime)", 즉 토큰별 사후 확률(posterior)이 중첩되는 현상을 분석합니다.

• 정리 3 (판독 교정된 비전념): 본 논문은 결정론적 최종 단계가 사후 평균(posterior mean)을 출력할 때, 토인 플립(token flip) 비율이 판독 결정 경계의 기하학적 구조에 의해 결정됨을 증명합니다.
• 튜브 법칙 (Tube Law): 유효 노이즈 스케일 $s(t) \to 0$으로 감쇠함에 따라, 토큰 플립 확률은 $s(t)$에 선형적으로 비례하며, 결정 경계 주변의 $O(s(t))$ 튜브 내에 존재하는 잠재 분포의 질량에 비례합니다.
• 핵심 통찰: 실패의 원인은 전송 맵이 부정확하기 때문이 아니라, 사후 평균이 분기 모호성(branch ambiguities)을 평균화하기 때문입니다. 이 평균화된 잠재값이 (구조적 잔차로 인해) 날카로운 결정 경계 근처에 위치할 때, argmax 판독은 토큰을 뒤집습니다. 이는 "비전념(non-commitment)" 실패입니다. 생성기가 이산적인 토큰을 확정(commit)하지 못했기 때문에, 날카로운 판독이 그 모호성을 해결할 수 없는 것입니다.

2. 분리된 모드 전송 이론 (Separated-Mode Transport Theory)

이상적인 "분리된 영역(separated regime, 잘 분리된 모드들)"에서, 본 논문은 날카로운 리프시츠 전송 법칙(Lipschitz transport laws)을 도출합니다.

• 정리 5 (인터페이스 $\Gamma$-limit): 매끄러운 맵으로 $M$개의 모드를 분리하는 비용은 인터페이스 에너지 $J_{p,\sigma}$로 성장합니다.
• 정리 6 (차원 페이즈 다이어그램): 잠재 차원이 $\Omega(\log M)$일 때, $M$개의 모드를 분리하는 데 필요한 결정론적 강성(deterministic stiffness) $\Lambda$는 $\Theta(\sqrt{\log M})$으로 성장합니다.
• 정리 7 (계층적 분리): 깊이 $B$의 범주적 계층 구조는 단계당 피크 강성을 $\sqrt{B}$ 배만큼 감소시키지만, 이는 불연속적인 생성기에 의존합니다.

3. 가교 (Coarea Identity)

정리 17은 중첩 영역과 분리된 영역을 연결합니다. 이는 중첩 영역에서의 판독 경계 질량($A_W$)과 분리된 인터페이스 에너지($J$)가 동일한 소스 공간 인터페이스 기하학의 서로 다른 축약(contraction)임을 입증합니다. 이는 **정확도-깊이-강성 트레이드오프(accuracy–depth–stiffness tradeoff)**로 이어지며, 결정론적-연속적 클래스 내에서는 일관된 텍스트를 생성하기 위한 비용이 줄일 수 없는 불가피한 것임을 보여줍니다.

주요 기여 및 진단 도구

1. DABI (경계 정렬 입력에 대한 디코더 증폭)

저자들은 디코더의 날카로움을 정량화하기 위해 DABI를 도입합니다. 이는 구조화되고 경계에 정렬된 섭동(perturbation)에 의한 크로스 엔트로피(CE) 증가율을 노름(norm)이 일치하는 등방성(isotropic) 섭동과 비교하여 측정합니다.

• 결과:
  • 이미지 디코더: DABI $\approx 1$. 매끄러운 이미지 디코더는 사후 평균의 블러(blur)를 토큰 오류 없이 흡수합니다.
  • 텍스트 디코더: DABI $\gg 10^4$ (예: ELF: 508$\times$, LangFlow: $>10^4$). 결정 경계에 정렬된 아주 작은 구조적 잔차가 토큰의 대규모 비율(47–77%)을 뒤집는 반면, 등방성 노이즈는 약 0%만을 뒤집습니다.
  • 시사점: 실패는 전송 오차의 크기가 아니라, 범주적 판독의 날카로움에 의해 주도됩니다.

2. CCI (범주적 전념 지수)

CCI는 되돌릴 수 없는 이산적 선택이 이루어진 위치의 비율을 측정합니다.

• 연속 흐름 (Continuous Flow): CCI = 0 (이산적 선택 없음).
• 자기회귀(AR) / 마스크 확산 (Masked Diffusion): CCI = 1 (각 단계에서 하드 선택 수행).

3. DABI $\times$ CCI 분류 체계

본 논문은 이 두 가지 직교하는 축을 기준으로 시스템을 분류합니다.

• 낮은 DABI, CCI = 0 (이미지 VAE): 성공. 매끄러운 디코더가 블러를 허용합니다.
• 높은 DABI, CCI = 0 (ELF 텍스트 흐름): 실패. 날카로운 판독이 작은 구조적 잔사를 토큰 오류로 변환합니다.
• 높은 DABI, 높은 CCI (AR, Masked dLM): 성공. 범주적 전념(Categorical commitment)이 생성기를 불연속적으로 만들어 연속적 하한선을 탈출하게 합니다.

실험 결과

1. 오라클 롤인 (Oracle Roll-In)

ELF-B 오토인코더를 사용하여, 깨끗한 잠재값을 노이즈 처리한 후 결정론적 ODE를 $t=1$까지 적분하는 "오라클 롤인"을 수행했습니다.

• 결과: 최종 플립 비율이 튜브 법칙($s(t)$)에 의해 예측된 단일 곡선에 수렴했습니다.
• 이방성 (Anisotropy): 구조적 잔사가 등방성 대조군보다 10~33배 더 많은 토큰을 뒤집었으며, 이는 오차가 결정 경계와 정렬되어 있음을 확인시켜 줍니다.
• 규모: $K=4, 8, 16$일 때 최종 플립 비율은 12~41%에 달하며, 이는 약 90%의 누적 오류로 이어집니다.

2. 결정론적 ODE vs. 확률적 SDE

• ELF-B: 동일한 모델에서, 결정론적 ODE 샘플러는 PPL(Perplexity) 294를 기록한 반면, 확률적 SDE 샘플러는 P P L 50을 기록했습니다.
• 증류 (Distillation): 점진적 증류를 수행하더라도 ODE와 SDE 사이의 격차는 지속됩니다 (ODE가 15–38% 더 높은 PPL). 이는 확률적 재주입(stochastic re-injection)이 경계를 벗어나는 데 필수적임을 나타냅니다.

3. 범주적 전념 절제 실험 (Categorical Commitment Ablation)

AR 및 마스크 확산 모델(예: Llama-2, LLaDA, Dream)에서 판독은 날카롭게 유지하면서 "하드 전념" 단계를 제거했습니다.

• 결과: 생성 능력이 즉시 붕괴되었습니다. 다양성이 감소하고 모델은 반복되는 퇴보 현상을 보였습니다.
• 결론: 범주적 전념이 날카로운 판독을 가진 모델을 성공하게 만드는 작동 기제이며, 판독의 매끄러움이 중요한 것이 아님을 보여줍니다.

4. 디코더 개입

판독(readout)을 수정하여 문제를 해결할 수 있는지 테스트했습니다.

• 로그릿 평활화(Logit Smoothing) / 최대 마진 훈련(Max-Margin Training): 이러한 개입은 뒤집힌 토큰을 복구하는 데 실패했습니다. 어떤 경우에는 마진을 높여(판독을 더 "확신"하게 만듦) 오히려 DABI를 높이고 생성을 악화시켰는데, 이는 결정적인 절벽(decision cliff)을 더 날카롭게 만들기 때문입니다.
• 비선형 판독 (Nonlinear Readouts): 2계층 MLP로 판독을 재학습시켜도 뒤집힌 토큰을 복구하지 못했습니다. 이는 일단 사후 평균이 분기 위에서 평균화되면, 올바른 토큰은 더 이상 잠재값의 함수가 아님을 확인해 줍니다.

의의 및 주장

본 논문은 연속적 잠재 공간을 사용하는 결정론적 몇 단계 텍스트 생성의 구조적 장벽을 식별했다고 주장합니다.

1. 기하학적 원인: 이는 훈련이나 스케 scaling의 문제가 아니라, 매끄러운 맵이 날카로운 판독 이전에 이산적 선택을 해결할 수 없다는 기하학적 불가능성의 문제입니다.
2. 불가피한 비용: 결정론적-연속적 생성기 클래스 내에서, 발생하는 비용(단계 수 또는 강성 측면)은 줄일 수 없는 것입니다.
3. 두 가지 탈출구: 본 논문은 이 경계를 벗어나는 정확히 두 가지 메커니즘을 식별합니다:
   • 범주적 전념 (Categorical Commitment): 생성기를 불연속적으로 만드는 것 (AR 모델과 같이).
   • 확률적 재주입 (Stochastic Re-injection): 단계마다 새로운 노이즈를 주입하는 것 (SDE), 이는 결정론적 클래스를 벗어납니다.
4. 진단적 유용성: DABI와 CCI는 어떤 시스템이 성공하거나 실패할지를 예측하는 분류 체계를 제공하며, 이는 여러 독립적인 텍스트 및 이미지 코덱을 통해 검증되었습니다.

저자들은 매끄러운 연속 잠재 공간을 사용하여 몇 단계의 결정론적 단계 내에 유창한 개방형 텍스트를 생성하는 모든 시스템은, 도출된 하한선(lower bounds)의 가정(즉, 확률적이거나 범주적이어야 함)을 위반해야 한다고 결론짓습니다. 본 논문은 결정론적 사례를 "해결"하기 위한 새로운 아키텍처를 제안하는 것이 아니라, 현재 패러다임의 이론적 한계를 명확히 규정하는 데 목적이 있습니다.