Resumo Técnico: Refinamento Latente Condicionado a Rascunho para Geração de Texto Não-Autoregressiva

Declaração do Problema

A geração de texto não-autoregressiva (NAR) visa produzir sequências inteiras em paralelo, oferecendo eficiência e capacidades de refinamento global em comparação com modelos autoregressivos sequenciais. No entanto, um desafio fundamental persiste: a linguagem é discreta, enquanto modelos generativos baseados em difusão e fluxo operam naturalmente em espaços contínuos.

Abordagens existentes frequentemente codificam texto em espaços latentes contínuos, geram ou refinam latentes e os decodificam de volta para tokens. Um modo de falha crítico identificado neste trabalho é a lacuna de recuperabilidade do decodificador: vetores latentes gerados podem estar geometricamente próximos aos latentes verdadeiros (alta similaridade de cosseno ou baixo MSE), mas falhar em decodificar para os tokens corretos. No texto, ao contrário das imagens, pequenos erros latentes podem deslocar a massa de probabilidade através do vocabulário, levando a saídas de alta entropia, repetitivas ou semanticamente incorretas. O artigo postula que otimizar apenas a geometria latente é insuficiente se a distribuição inicial não aterrissar dentro da "bacia legível pelo decodificador".

Metodologia

O sistema proposto reformula a tarefa de gerar texto a partir de ruído puro para refinamento local controlado de um rascunho. A arquitetura consiste em vários componentes-chave:

1. Etapa 1: Autoencoder Latente

   • Codificador: Um codificador BERT congelado mapeia tokens de entrada para estados ocultos contextuais, que são projetados em vetores latentes contínuos ($z \in \mathbb{R}^{n \times d}$). Experimentos comparam latentes completos de 768 dimensões contra latentes comprimidos de 256 dimensões.
   • Decodificador: Um decodificador paralelo prevê todas as distribuições de tokens simultaneamente. É treinado para minimizar a entropia cruzada entre os tokens previstos e a verdade fundamental dado o latente $z$.

2. Distribuição Inicial Condicionada a Rascunho

   • Em vez de começar a partir de ruído gaussiano ($z_0 \sim \mathcal{N}(0, I)$), o sistema usa um rascunho $r$ (por exemplo, uma versão corrompida do alvo) como um guia ao nível da instância.
   • DraftPrior: Uma rede de remoção de ruído mapeia o latente de rascunho ruidoso em direção à bacia legível pelo decodificador. É treinada com um objetivo combinado incluindo entropia cruzada, MSE, similaridade de cosseno e um regularizador de norma para corresponder tanto ao ângulo quanto à magnitude do latente alvo.

3. Refinamento de Fluxo Local

   • FlowNet: Uma rede paralela consciente do decodificador prevê um campo vetorial de correção residual. Em vez de gerar o deslocamento completo a partir do ruído, refina a saída do DraftPrior por uma pequena fração ($\rho = 0.05$) do deslocamento total.
   • MetricNet: Uma matriz de pré-condicionamento diagonal aprendida ($G_\psi$) repondera o objetivo de correspondência de fluxo para alinhar com direções sensíveis ao decodificador. Isso tenta aprender uma métrica riemanniana sem calcular geodésicas verdadeiras.
   • Resíduos Limitados: A etapa de refinamento é restringida por um limite escalar $\lambda$ para impedir que o fluxo mova o latente muito longe da estrutura condicionada ao rascunho, preservando a legibilidade pelo decodificador.

4. Leitura e Alinhamento

   • Leitura Fundida: Um cabeçalho de token auxiliar é adicionado durante o treinamento para fornecer gradientes conscientes do decodificador, frequentemente produzindo melhores resultados do que o movimento latente sozinho.
   • Regularização OT: Perdas no estilo de Transporte Ótimo (OT) são testadas para alinhar a distribuição de latentes refinados com latentes reais, embora os resultados mostrem que isso melhora a geometria sem garantir a recuperação de tokens.

Contribuições Principais

O artigo faz quatro contribuições primárias, enquadradas amplamente como achados diagnósticos:

1. Identificação de Falha na Recuperabilidade do Decodificador: Os autores demonstram que alta similaridade latente (cosseno/MSE) não garante alta probabilidade de token-alvo sob um decodificador congelado.
2. Configuração de Refinamento Condicionado a Rascunho: Um novo protocolo experimental para ROCStories usando as duas primeiras sentenças como prompt e as últimas três como alvo, onde o alvo é corrompido (dropout de tokens) para servir como rascunho para refinamento.
3. Análise de Dimensionalidade: Uma comparação mostrando que latentes BERT completos de 768 dimensões superam significativamente latentes comprimidos de 256 dimensões, indicando que a compressão remove informações críticas ao nível do token (identidade de subpalavra, palavras raras) necessárias para decodificação discreta.
4. Ablação de Componentes: Avaliação sistemática de DraftPrior, FlowNet, MetricNet e alinhamento OT. Os resultados indicam que a qualidade da distribuição inicial (fornecida pelo DraftPrior) é o principal motor da recuperabilidade, enquanto refinamentos geométricos (MetricNet, OT) oferecem apenas ganhos modestos.

Resultados Experimentais

Experimentos foram conduzidos no conjunto de dados ROCStories com uma divisão de prompt de 32 tokens e alvo de 32 tokens.

• Desempenho do DraftPrior:

  • Latentes de 768-d: Com 0% de dropout (rascunho limpo), a probabilidade do token alvo atingiu 0,938. Com 3% e 5% de dropout de tokens, as probabilidades permaneceram robustas em 0,613 e 0,483, respectivamente.
  • Latentes de 256-d: O desempenho caiu significativamente sob corrupção (por exemplo, 0,543 em 3% de dropout versus 0,613 para 768-d), confirmando que a compressão perde informações de recuperabilidade.
  • 10% de Dropout: O desempenho colapsou (probabilidade de 0,272), mostrando os limites da abordagem de refinamento sob ruído pesado.

• Ganhos de Refinamento:

  • Fluxo Local: O refinamento bruto de fluxo local forneceu ganhos diretos negligenciáveis sobre o início do DraftPrior.
  • Leitura Fundida: A leitura fundida consciente do decodificador forneceu a melhoria mais clara (Probabilidade Alvo: 0,493 versus 0,457 para DraftPrior sozinho).
  • Metric/OT: Embora o MetricNet tenha aprendido anisotropia não trivial e o OT tenha melhorado o alinhamento latente, nenhum fechou significativamente a lacuna para o oráculo (latentes reais).

• Diagnóstico de Interpolação: Mover latentes gerados linearmente em direção a latentes reais ($z_\alpha = (1-\alpha)\hat{z} + \alpha z_s$) melhorou drasticamente a Entropia Cruzada mesmo para pequenos $\alpha$ (por exemplo, $\alpha=0,01$), confirmando que os latentes gerados estão no bairro correto, mas fora das fronteiras de decisão nítidas do decodificador.

• Qualidade-Velocidade: O sistema produz saídas em milissegundos (0,003s–0,005s por amostra). No entanto, as pontuações MAUVE permanecem baixas (aprox. 0,007), indicando que, embora o sistema não seja aleatório, ele ainda não alcança qualidade de texto de última geração em comparação com baselines autoregressivas.

Significado e Alegações

O artigo enquadra-se explicitamente como um relato técnico diagnóstico em vez de uma alegação de resolver a geração de texto não-autoregressiva. Seu significado primário reside nas seguintes conclusões:

1. Geometria Latente Não é Suficiente: Otimizar o espaço latente contínuo (via correspondência de fluxo ou métricas riemannianas) não pode substituir uma distribuição inicial legível pelo decodificador. A "bacia do decodificador" é uma fronteira de decisão discreta que métricas suaves não podem aproximar completamente.
2. A Necessidade de Inícios Estruturados: A geração NAR bem-sucedida em espaços latentes contínuos requer começar a partir de um guia estruturado ao nível da instância (um rascunho) em vez de ruído puro.
3. Mudança de Métrica de Avaliação: A geração de texto em espaços latentes deve ser avaliada pela recuperabilidade do decodificador (probabilidade de token alvo) e pela preservação da estrutura legível pelo decodificador, não apenas por métricas de espaço latente como similaridade de cosseno ou MSE.
4. Limites de Compressão: Comprimir latentes BERT para geração introduz um gargalo que remove informações lexicais específicas necessárias para recuperação exata de tokens, favorecendo representações de dimensão completa para esta tarefa.

Os autores concluem que, embora a Etapa 1 (autoencoder e diagnósticos) esteja completa, o caminho para um sistema robusto requer baselines mais fortes, rascunhos gerados externamente (em vez de corrupção sintética) e trabalho adicional em modelos de refinamento que respeitem a natureza discreta da interface do decodificador.