기술 요약: 비자기회귀 텍스트 생성을 위한 초안 조건부 잠재 공간 정제

문제 정의

비자기회귀 (NAR) 텍스트 생성은 전체 시퀀스를 병렬로 생성하여 순차적 자기회귀 모델 대비 효율성과 전역 정제 능력을 제공합니다. 그러나 근본적인 과제가 존재합니다: 언어는 이산적 (discrete) 인 반면, 확산 (diffusion) 및 흐름 기반 생성 모델은 자연스럽게 연속 공간에서 작동합니다.

기존 접근법은 종종 텍스트를 연속 잠재 공간으로 인코딩한 후 잠재 벡터를 생성하거나 정제하고, 이를 다시 토큰으로 디코딩합니다. 본 연구에서 식별된 치명적인 실패 모드는 **디코더 복원성 격차 (decoder recoverability gap)**입니다: 생성된 잠재 벡터가 실제 값 (ground-truth) 잠재와 기하학적으로 매우 가까울 수 있음 (높은 코사인 유사도 또는 낮은 MSE) 에도 불구하고, 올바른 토큰으로 디코딩되지 않을 수 있습니다. 이미지와 달리 텍스트에서는 작은 잠재 오류가 어휘 전체에 걸친 확률 질량을 이동시켜 고엔트로피, 반복적, 또는 의미적으로 잘못된 출력을 초래할 수 있습니다. 이 논문은 시작 분포가 "디코더 판독 가능 분지 (decoder-readable basin)" 내에 위치하지 않는다면 잠재 기하학만 최적화하는 것은 불충분하다고 주장합니다.

방법론

제안된 시스템은 순수 노이즈로부터 텍스트 생성을 초안의 제어된 국소 정제로 재정의합니다. 아키텍처는 다음과 같은 주요 구성 요소로 이루어집니다:

1. 1 단계: 잠재 오토인코더

   • 인코더: 고정된 (frozen) BERT 인코더가 입력 토큰을 문맥적 은닉 상태로 매핑한 후, 이를 연속 잠재 벡터 ($z \in \mathbb{R}^{n \times d}$) 로 투사합니다. 실험에서는 전체 768 차원 잠재와 압축된 256 차원 잠재를 비교합니다.
   • 디코더: 병렬 디코더는 모든 토큰 분포를 동시에 예측합니다. 잠재 $z$가 주어졌을 때 예측된 토큰과 실제 값 간의 교차 엔트로피를 최소화하도록 훈련됩니다.

2. 초안 조건부 시작 분포

   • 가우시안 노이즈 ($z_0 \sim \mathcal{N}(0, I)$) 에서 시작하는 대신, 시스템은 대략적인 초안 (rough draft) $r$(예: 목표의 손상된 버전) 을 인스턴스 수준의 가이드로 사용합니다.
   • DraftPrior: 노이즈가 있는 초안 잠재가 디코더 판독 가능 분지로 이동하도록 매핑하는 탈노이즈 네트워크입니다. 교차 엔트로피, MSE, 코사인 유사도, 그리고 목표 잠재의 각도와 크기를 모두 일치시키기 위한 노름 정규화자를 포함한 결합 목적 함수로 훈련됩니다.

3. 국소 흐름 정제

   • FlowNet: 병렬 디코더 인식 네트워크가 잔차 보정 벡터장을 예측합니다. 노이즈로부터 전체 변위를 생성하는 대신, DraftPrior 출력을 전체 변위의 작은 비율 ($\rho = 0.05$) 만큼 정제합니다.
   • MetricNet: 학습된 대각 사전 조건부 행렬 ($G_\psi$) 이 흐름 매칭 목적 함수를 재가중하여 디코더 민감 방향과 정렬되도록 합니다. 이는 진정한 측지선 (geodesics) 을 계산하지 않고 리만 계량 (Riemannian metric) 을 학습하려는 시도입니다.
   • 유계 잔차: 정제 단계는 스칼라 경계 $\lambda$로 제한되어 흐름이 초안 조건부 구조에서 너무 멀리 이동하지 않도록 하여 디코더 판독성을 유지합니다.

4. 읽어내기 및 정렬

   • 융합 읽어내기 (Fused Readout): 훈련 중 보조 토큰 헤드가 추가되어 디코더 인식 그라디언트를 제공하며, 이는 잠재 이동만 사용하는 것보다 종종 더 나은 결과를 낳습니다.
   • OT 정규화: 최적 수송 (Optimal Transport, OT) 스타일 손실이 정제된 잠재의 분포를 실제 잠재와 정렬시키기 위해 테스트되었으나, 결과는 기하학을 개선하지만 토큰 복원을 보장하지는 않음을 보여줍니다.

주요 기여

이 논문은 주로 진단적 발견으로 구성된 네 가지 주요 기여를 제시합니다:

1. 디코더 복원성 실패 식별: 저자들은 높은 잠재 유사도 (코사인/MSE) 가 고정된 디코더 하에서 높은 목표 토큰 확률을 보장하지 않음을 입증합니다.
2. 초안 조건부 정제 설정: ROCStories 에 대한 새로운 실험 프로토콜로, 처음 두 문장을 프롬프트로, 마지막 세 문장을 목표로 사용하며, 목표는 정제를 위한 초안으로 제공되기 위해 손상 (토큰 드롭아웃) 됩니다.
3. 차원성 분석: 전체 768 차원 BERT 잠재가 압축된 256 차원 잠재보다 현저히 우수함을 보여주는 비교로, 압축이 이산 디코딩에 필요한 중요한 토큰 수준 정보 (서브워드 식별, 희귀 단어) 를 제거함을 나타냅니다.
4. 구성 요소 제거 분석: DraftPrior, FlowNet, MetricNet, OT 정렬의 체계적 평가. 결과는 시작 분포의 품질(DraftPrior 가 제공) 이 복원성의 주된 동인이며, 기하학적 정제 (MetricNet, OT) 는 미미한 개선만 제공함을 나타냅니다.

실험 결과

실험은 32 토큰 프롬프트와 32 토큰 목표로 분할된 ROCStories 데이터셋에서 수행되었습니다.

• DraftPrior 성능:

  • 768 차원 잠재: 0% 드롭아웃 (깨끗한 초안) 에서 목표 토큰 확률은 0.938에 도달했습니다. 3% 및 5% 토큰 드롭아웃에서 확률은 각각 0.613 및 0.483으로 견고하게 유지되었습니다.
  • 256 차원 잠재: 손상 하에서 성능이 현저히 저하되었습니다 (예: 3% 드롭아웃에서 0.543 대 768 차원의 0.613), 압축이 복원성 정보를 잃음을 확인시켰습니다.
  • 10% 드롭아웃: 성능이 붕괴되었습니다 (0.272 확률), 이는 심한 노이즈 하에서 정제 접근법의 한계를 보여줍니다.

• 정제 이득:

  • 국소 흐름: 원시 국소 흐름 정제는 DraftPrior 시작 대비 직접적인 이득을 거의 제공하지 않았습니다.
  • 융합 읽어내기: 디코더 인식 융합 읽어내기가 가장 명확한 개선을 제공했습니다 (DraftPrior 단독 0.457 대비 목표 확률 0.493).
  • 메트릭/OT: MetricNet 이 비자명한 이방성 (anisotropy) 을 학습하고 OT 가 잠재 정렬을 개선했지만, 어느 것도 오라클 (실제 잠재) 과의 격차를 유의미하게 좁히지는 못했습니다.

• 보간 진단: 생성된 잠재가 실제 잠재로 선형적으로 이동될 때 ($z_\alpha = (1-\alpha)\hat{z} + \alpha z_s$), 작은 $\alpha$(예: $\alpha=0.01$) 에서도 교차 엔트로피가 급격히 개선되어, 생성된 잠재가 올바른 이웃에 있지만 디코더의 날카로운 결정 경계 밖에 있음을 확인시켰습니다.

• 품질 - 속도: 시스템은 밀리초 단위 (샘플당 0.003 초~0.005 초) 로 출력을 생성합니다. 그러나 MAUVE 점수는 낮게 유지됩니다 (약 0.007), 이는 시스템이 무작위가 아니지만 자기회귀 기준선 대비 아직 최첨단 텍스트 품질을 달성하지 못함을 나타냅니다.

중요성 및 주장

이 논문은 비자기회귀 텍스트 생성 해결을 주장하기보다는 진단적 기술 보고서로 명시적으로 자신을 규정합니다. 그 주요 중요성은 다음과 같은 결론에 있습니다:

1. 잠재 기하학만으로는 부족함: 흐름 매칭 또는 리만 계량을 통한 연속 잠재 공간 최적화는 디코더 판독 가능 시작 분포를 대체할 수 없습니다. "디코더 분지"는 부드러운 메트릭이 완전히 근사할 수 없는 이산적 결정 경계입니다.
2. 구조화된 시작의 필요성: 연속 잠재 공간에서의 성공적인 NAR 생성은 순수 노이즈가 아닌 구조화된 인스턴스 수준 가이드 (초안) 에서 시작해야 합니다.
3. 평가 지표 전환: 잠재 공간의 텍스트 생성은 코사인 유사도나 MSE 와 같은 잠재 공간 메트릭이 아닌, 디코더 복원성(목표 토큰 확률) 과 디코더 판독 가능 구조의 보존으로 평가되어야 합니다.
4. 압축의 한계: 생성을 위해 BERT 잠재를 압축하면 정확한 토큰 복원에 필요한 특정 어휘 정보를 제거하는 병목 현상을 초래하여, 이 작업에는 전체 차원 표현을 선호하게 됩니다.

저자들은 1 단계 (오토인코더 및 진단) 가 완료되었지만, 견고한 시스템으로 가는 길에는 더 강력한 기준선, 합성 손상 대신 외부에서 생성된 초안, 그리고 디코더 인터페이스의 이산적 성격을 존중하는 정제 모델에 대한 추가 작업이 필요하다고 결론지었습니다.