Continuous Language Diffusion as a Decoder-Interface Problem

기술 요약: 연속적 언어 확산(Continuous Language Diffusion)으로서의 디코더-인터페이스 문제

문제 정의
연속적 및 잠재 확산 언어 모델(DLM)은 가우시안 노이즈로 오염된 문장 임베딩을 디노이징함으로써 유창한 텍스트를 생성한다. 이는 근본적인 수수께끼를 제시한다. 공간적 구조가 시각적으로 유지되는 노이즈 섞인 이미지와 달리, 노이즈가 섞인 문장 임베딩은 직접적인 언어적 해석이 불가능하다. 문맥적 임베딩에 가해진 가우시안 섭동(perturbation)은 읽을 수 있는 부분적인 문장에 대응하지 않음에도 불구하고, 이러한 모델들은 성공적으로 일관된 텍스트를 생성한다. 핵심 질문은 이 성공이 디노이징 네트워크가 언어 생성을 위한 새로운 연속적 도메인을 학습한 결과인지(네트워크 가설), 아니면 사전 학습된 표현과 그 디코더가 제공하는 복구 가능한 구조를 디노이저가 단순히 탐색하는 것인지(인터페이스 가설)이다. 또한, 평균 제곱 오차(MSE)나 퍼플렉시티(PPL)와 같은 표준 지표들은 저엔트로피 붕괴(low-entropy collapse)나 언어적 내용의 탈락과 같은 인터페이스 실패를 드러내는 데 종종 실패한다.

방법론
저자들은 **임베딩 언어 흐름(Embedded Language Flows, ELF)**을 중심으로 하는 진단 프레임워크를 제안한다. ELF는 고정된 T5 문맥 임베딩 공간에서 디노이징을 수행하고, 공유 가중치 비선형 디코더를 통해 최종 상태를 토큰으로 매핑한다. 본 연구는 표현-디코더 쌍을 고정된 인터페이스로 취급하며, 이를 다음과 같은 다축 진단 프로토콜을 통해 평가한다:

1. 5가지 준비성 축(Five Axes of Readiness): 프로토콜은 다섯 가지 차원에 따라 상태 공간을 평가한다:

   • 디노이저 가능성(Denoisability): 단순 선형 맵이 상태를 복구할 수 있는가?
   • 의미론적 복구 가능성(Semantic Recoverability): 언어적 속성이 오염 후에도 살아남는가?
   • 순서 민감도(Order Sensitivity): 상태가 실제 텍스트와 단어가 섞인 텍스트를 구분하는가?
   • 디코더 호환성(Decoder Compatibility): 상태가 "디코더 분지(decoder basin)"(네이티브 디코더가 안정적인 토큰 결정을 내리는 영역) 내에 머무는가?
   • 궤적 신뢰성(Trajectory Reliability): 내부 신호(예: 자기 조건화 델타)가 최종 샘플 품질과 상관관계가 있는가?

2. 이론적 프레임워크: 논문은 디코더 마진 경계(decoder-margin bound)(정리 1)를 도입하여, 토큰 복구가 단순히 잠재 재구축 오차(latent reconstruction error)가 아니라, 올바른 토큰과 대안 토큰 사이의 마진이 로컬 디코더 민감도와 비교하여 얼마나 큰지에 달려 있다고 주장한다. 이는 왜 낮은 MSE가 성공적인 디코딩을 보장하지 못하는지를 설명한다.

3. 실험 설계:

   • 대조군: 통계적 특성으로부터 언어적 구조를 격리하기 위해 공분산이 일치하는 가우시안, 토큰이 섞인 임베딩, PCA 병목 현상을 사용한다.
   • 궤적 감사(Trajectory Audits): 저자들은 단계별로 ELF 궤적을 분석하여 디코더 마진, 엔트로피, 자기 조건화 불일치를 측정함으로써 "분지 탐색(basin navigation)" 과정을 매핑한다.
   • 최소 프로브(Minimal Probes): 최종 분지의 성격을 테스트하기 위해 세 가지 훈련 불필요 프로브를 도입한다:
     • 분지 유도 조기 종료(Basin-Guided Early Exit, BGEE): 궤적이 높은 마진 영역에 진입하면 샘플링을 중단한다.
     • 제로샷 분지 디코딩(Zero-Shot Basin Decoding, ZSBD): 고정된 T5 토큰 임베딩 최근접 이웃 탐색을 사용하여 최종 상태를 디코딩한다(새로운 판독기 없음).
     • 최소 디코더 프로토콜(Minimal Decoder Protocol, MDP): 생성된 최종 상태에 대해 단일 선형 판독기를 훈련시켜 네이티브 디코더의 결정 경계 중 얼마나 많은 부분이 선형적으로 복구 가능한지 측정한다.
   • 경계 검사: 프레임워크를 LangFlow, BitstreamDiffusion, Cola-DLM 등 다른 시스템에 적용하여 인터페이스 질문의 일반성을 테스트한다.

주요 결과

• 디노이저 가능성 $\neq$ 복구 가능성: MSE 기반의 디노이저 가능성은 언어적으로 비어 있는 상태(예: 공분산이 일치하는 가우시안)에 대해 높을 수 있는 반면, 의미론적 복구 가능성은 좋은 MSE에도 불구하고 낮을 수 있다. PCA 병목 실험은 잠재 랭크를 줄이면 분산은 보존하지만 디코더 마진과 생성 다양성을 붕괴시켜, 오해의 소지가 있는 낮은 PPL을 초래함을 보여주었다.
• "제안, 비교, 분지 진입" 메커니즘: ELF 궤적은 뚜렷한 페이즈 다이어그램을 따른다:
  • 진입 전(Pre-entry): 약한 가독성.
  • 경쟁(Competition): 중간 궤적에서 자기 조건화 불일치가 정점에 달하며, 이는 후보 수정이 일어나고 있음을 나타낸다.
  • 잠금(Locked): 후기 궤적은 높은 마진의 네이티브 디코더 분지에 진입하여 토큰 결정이 안정화된다.
• 디코더 호환성은 국소적이며 비등방성이다: "디코더 분지"는 균일한 구체가 아니다. 무작위 섭동은 흡수되지만, 특정 고분산 방향(예: PCA 방향)은 쉽게 토큰 경계를 넘을 수 있다.
• 최소 프로브의 성공:
  • BGEE: 보수적인 마진 게이트를 사용하면 품질 저하 없이 디노이징 단계를 17~27% 더 일찍 종료할 수 있다.
  • ZSBD: 고정된 토큰 임베딩 룩업은 네이티브 디코더 결정의 93~96%를 복구하며, 이는 최종 상태가 토큰 임베딩과 기하학적으로 정렬되어 있음을 증명한다.
  • MDP: 32k 샘플로 훈련된 단일 선형 판독기는 네이티브 디코더와 97.9%의 일치율을 보인다. 남은 오차는 네이티브 디코더가 보정하는 구조화된 "잔차 꼬리(residual tail)"(희귀 토큰, 숫자, 서브워드, 저마진 케이스)에 집중되어 있다.
• 지표의 한계: 낮은 PPL은 저엔트로피 붕괴나 반복으로 인해 발생할 수 있다. 연구는 낮은 PPL만으로는 불충분하며, 반드시 엔트로피, 다양성(MAUVE), 디코더 일치도 지표와 함께 사용되어야 함을 보여준다.
• 훈련 시사점: 훈련 중 디코더 입력 노이즈(깨끗한 잠재값과 가우시안 노이즈의 혼합)를 사용하는 것이 디코더 분지를 넓히는 데 효과적이지만, 단순한 마진 페널티는 그렇지 않다. 이는 디노이저와 디코더가 깨끗한 매니폴드뿐만 아니라 노이즈가 섞인 이웃에서도 호환되도록 훈련되어야 함을 시사한다.

의의 및 주장
본 논문은 연속적 언어 확산이 순수한 생성 모델링 문제라기보다 근본적으로 인터페이스 문제라고 주장한다. ELF와 같은 모델의 성공은 "비대칭적 협력"에 달려 있다: 사전 학습된 인터페이스(T5 인코더 + 디코더)는 읽을 수 있는 타겟 영역(분지)을 제공하고, 디노이징 네트워크는 노이즈 섞인 상태를 해당 영역으로 이동시키는 경로 의존적 수송(path-dependent transport)을 수행한다.

저자들은 연속적 언어 표현의 자기 부트스트래핑(self-bootstrapping) 문제를 해결했다고 주장하지 않는다. 대신, 대규모 훈련에 착수하기 전에 제안된 상태 공간이 확산 준비가 되었는지 평가할 수 있는 진단 프로토콜을 제공한다. 연구의 결론은 다음과 같다:

1. 흔한 지표(MSE, PPL)는 잘못된 대상(예: 의미 없는 매끄러움)을 검증할 수 있다.
2. 디코더 호환성은 마진 성장과 궤적 신호를 통해 측정할 수 있는 동적이고 시간 분해 가능한 과정이다.
3. 미래의 DLM 설계는 훈련 중에 디코더 분지를 넓히고, 샘플링을 가이드할 수 있는 궤적 신뢰성이 존재하도록 하는 데 집중해야 한다.

이 작업은 현재의 연속적 DLM에 대한 "스트레스 테스트" 역할을 하며, ELF와 같은 고정된 인터페이스에서는 메커니즘이 작동하지만, 학습된 인터페이스(예: Cola-DLM)는 강력한 클린 재구축 능력에도 불구하고 좁은 디코더 분지를 가질 수 있음을 밝혀낸다. 제안된 프로토콜은 이러한 시스템을 감사하기 위한 최소한의 해석 가능한 방법을 제공하며, 디노이저의 수송 능력과 디코더의 구조적 제약을 분리한다.