Resumo Técnico: DiHAL – Substituição de Estado Oculto Guiada por Geometria

Declaração do Problema

Os modelos de linguagem de difusão contínua historicamente ficaram atrás dos transformers autoregressivos. Embora os modelos de difusão se destaquem na geração de imagens por meio de remoção iterativa de ruído, aplicá-los ao texto é desafiador devido à natureza discreta dos tokens. Abordagens anteriores que tentaram adaptar a difusão à linguagem — como corrupção de tokens discretos, difusão mascarada ou difusão contínua sobre incorporações de tokens e latentes aprendidos — frequentemente lutam com o gargalo da recuperação "contínua para discreta". Pequenos erros no espaço de representação contínua podem levar à recuperação incorreta de tokens, degradando a qualidade da geração.

Os autores hipotetizam que a lacuna de desempenho não se deve apenas à discrição, mas decorre da aplicação da difusão em espaços contínuos com geometria inadequada. Embora os modelos de linguagem Transformer operem em estados ocultos contínuos, esses estados variam em suas propriedades geométricas entre as camadas. A questão central colocada é: Onde, dentro de um Transformer pré-treinado, o espaço de representação possui a geometria necessária para uma remoção de ruído e recuperação eficazes baseadas em difusão?

Metodologia: DiHAL

O artigo propõe o DiHAL (Arquitetura Híbrida Difusão-Transformer para Geração de Linguagem), uma estrutura de "Localizar e Substituir" que integra uma ponte de difusão em um Transformer pré-treinado, em vez de treinar um modelo de difusão independente.

1. Motivação Teórica

Os autores fundamentam sua abordagem em dinâmica de Langevin e teoria da concentração. Eles argumentam que um espaço de representação "amigo da difusão" deve satisfazer três propriedades geométricas:

• Contração Rápida: O espaço deve permitir que amostras ruidosas contraiam rapidamente em direção à distribuição-alvo (governada por forte log-concavidade/curvatura).
• Estabilidade: O processo de remoção de ruído deve ser robusto a erros de estimativa de pontuação (também governado pela curvatura).
• Baixa Complexidade Efetiva: A variação na representação deve estar concentrada em uma variedade de baixa dimensão, tornando mais fácil para o modelo de difusão aprender.

2. Localizar: Seleção de Camada Guiada por Geometria

Como a densidade verdadeira e o Hessiano dos estados ocultos não estão disponíveis, o DiHAL usa proxies geométricos empíricos para pontuar cada camada do Transformer:

• Curvatura Local ($\hat{m}_{curv}$): Estimada via o inverso do maior autovalor das covariâncias do vizinho local. Valores mais altos indicam vizinhanças compactas.
• Monotonicidade Global ($\hat{m}_{mono}$): Estimada via o quociente de Rayleigh da matriz de precisão regularizada. Valores mais altos indicam rigidez direcional global.
• Ranke Efetivo ($\hat{k}$): Estimado como o traço da covariância dividido por sua norma espectral ($\text{tr}(\Sigma)/\|\Sigma\|$). Valores mais baixos indicam concentração em uma variedade de baixa dimensão.

Uma pontuação de seleção é calculada combinando esses proxies (recompensando a curvatura e penalizando o ranque efetivo) para identificar a camada de inserção ótima $\ell^*$.

3. Substituir: Ponte de Difusão de Estado Oculto

Uma vez identificada a camada ótima $\ell^*$:

• O prefixo inferior do Transformer (camadas $1$a$\ell^*$) é substituído por uma ponte de difusão condicional.
• A ponte é treinada para reconstruir o estado oculto $h_{\ell^*}$ dada uma condição baseada em incorporação derivada da entrada do modelo fonte.
• As camadas superiores do Transformer ($\ell^*+1$ a $N$) e o cabeçalho original do Modelo de Linguagem (LM) são retidos e congelados (ou ajustados minimamente).
• Na inferência, a ponte remove o ruído da condição para produzir $\hat{h}_{\ell^*}$, que é então passado para as camadas superiores retidas para previsão de tokens. Isso evita a recuperação direta de tokens, redefinindo o problema como reconstrução de estado oculto.

Principais Contribuições

1. Formulação da Inserção de Difusão: O artigo formula a inserção de difusão em Transformers pré-treinados como um problema de seleção de interface guiada por geometria, propondo proxies práticos por camada (compactidade local, rigidez global, ranque efetivo) para identificar espaços amigos da difusão.
2. Pontuação de Geometria Fixa: Os autores introduzem uma pontuação de geometria fixa que correlaciona fortemente com a "ponteabilidade" (qualidade de reconstrução) em backbones de escala 8B. Isso permite a identificação de camadas de inserção eficazes sem o treinamento exaustivo de pontes para cada camada candidata.
3. Arquitetura DiHAL: Uma arquitetura híbrida que substitui camadas inferiores do Transformer por uma ponte de difusão condicional, reutilizando as camadas superiores e o cabeçalho do LM. Sob uma configuração de orçamento combinado para diagnóstico, o DiHAL demonstra que a recuperação de estado oculto supera as bases de difusão contínua baseadas em incorporação e latentes.

Resultados Experimentais

Os autores avaliaram o DiHAL nos backbones Llama-3.1-8B-Instruct e Qwen3-8B usando o corpus Dolma v1.7.

• Seleção de Camada: A pontuação de geometria previu com sucesso as camadas de inserção eficazes. Para o Llama-3.1-8B, a pontuação selecionou a Camada 3; para o Qwen3-8B, a Camada 2. Essas camadas estão próximas da interface de incorporação, sugerindo que os estados ocultos iniciais retêm estrutura geométrica semelhante à incorporação, adequada para difusão.
• Correlação com Ponteabilidade: A pontuação de geometria fixa mostrou forte correlação de Spearman ($\rho \approx 0,91$–$0,93$) com a perda de validação da ponte, confirmando que proxies geométricos podem identificar economicamente camadas onde pontes de difusão podem ser treinadas com sucesso.
• Comparação Diagnóstica: Em uma comparação de orçamento combinado contra bases (Diffusion-LM, SED, LD4LG, CoDAR), o DiHAL alcançou a menor perplexidade generativa (Gen.PPL) e a maior diversidade. Especificamente, no Qwen3-8B, o DiHAL melhorou o Gen.PPL de 144,83 (CoDAR) para 136,02 e a diversidade de 0,4777 para 0,5913.
• Treinamento Completo: Quando totalmente treinado, as camadas selecionadas por geometria permaneceram competitivas com oráculos de perda de validação (camadas selecionadas treinando explicitamente todas as pontes) e superaram significativamente os controles de "pior camada" e a base CoDAR.

Significado e Afirmações

O artigo afirma que a geometria do estado oculto é um fator crítico para determinar onde a difusão pode operar efetivamente dentro de um modelo de linguagem. Os resultados sugerem que o fracasso da difusão contínua na linguagem não é meramente uma consequência da discrição, mas também um descompasso entre os requisitos de remoção de ruído e a geometria do espaço de representação.

As principais conclusões incluem:

• Redefinição do Problema: A difusão contínua para linguagem não precisa gerar texto recuperando tokens diretamente; pode reconstruir uma representação interna que o Transformer pré-treinado já sabe como decodificar.
• Viabilidade de Modelos Híbridos: É viável substituir partes de um Transformer pré-treinado por uma ponte de difusão se o ponto de inserção for escolhido com base em critérios geométricos.
• Limitações: Os autores observam modestamente que o DiHAL ainda não é um modelo de linguagem de difusão independente; ele depende do sufixo do Transformer retido para previsão de tokens. Além disso, a latência de inferência é atualmente maior que a do backbone original devido às etapas de remoção de ruído. O trabalho é apresentado como um passo para entender onde a difusão pode entrar em modelos existentes, em vez de uma substituição completa da geração autoregressiva nesta escala.