Resumo Técnico: Quando a Confiança Engana: Ancoragem de Sufixo e Modulação de Confiança por Proximidade de Âncora para Modelos de Linguagem de Difusão

Declaração do Problema

Modelos de Linguagem de Difusão (DLMs) geram texto denoizando iterativamente sequências de tokens mascarados, permitindo a decodificação paralela de múltiplas posições. Um desafio central no tempo de inferência na decodificação totalmente não-autorregressiva (totalmente não-AR) é determinar quais posições mascaradas devem ser desmascaradas a cada etapa. A maioria das estratégias sem treinamento depende da confiança do modelo como sinal de seleção, operando sob a suposição de que posições de alta confiança estão prontas para serem decodificadas.

Este artigo identifica dois modos de falha críticos onde essa suposição leva a gerações subótimas:

1. Superconfiança no EOT: DLMs ajustados por instruções frequentemente atribuem alta confiança a tokens de Fim-de-Texto (EOT) no início do processo de decodificação. Estratégias baseadas em confiança desmascaram esses tokens prematuramente, resultando em gerações incompletas ou extremamente curtas.
2. Superconfiança Local Induzida por Âncora: Uma mitigação simples para o primeiro problema é a ancoragem de sufixo—inserir uma dica estrutural curta (por exemplo, "A resposta é") perto do final da região de resposta para incentivar a continuação. No entanto, isso introduz um novo modo de falha: a âncora induz confiança excessivamente alta em tokens imediatamente adjacentes a ela antes que o contexto precedente suficiente tenha sido gerado. Consequentemente, a decodificação baseada em confiança desmascara esses tokens adjacentes à âncora muito cedo, levando a saídas imprecisas (por exemplo, respostas finais geradas antes que as etapas de raciocínio estejam completas).

Metodologia

Os autores propõem a Modulação de Confiança Ancorada em Sufixo, um método sem treinamento, plug-and-play, que combina ancoragem de sufixo com um mecanismo dinâmico de reponderação de confiança. O método consiste em dois componentes principais:

1. Ancoragem de Sufixo

Antes do início da decodificação, uma âncora de sufixo curta é inserida perto do final da região de resposta (por exemplo, 20 posições a partir do final). Isso serve como uma dica leve para a continuação da resposta, desencorajando a geração prematura de EOT sem suprimir explicitamente tokens de EOT ou exigir re-treinamento do modelo.

2. Modulação de Confiança por Proximidade de Âncora

Para abordar a superconfiança local induzida pela âncora, o método modula as pontuações de confiança com base em dois fatores: proximidade espacial à âncora e progresso de decodificação.

• Peso de Proximidade à Âncora ($w_i$): Um peso é atribuído a cada posição de token $i$ com base em sua distância ao conjunto de âncoras $A$. Posições mais próximas da âncora recebem pesos mais altos, indicando que são mais suscetíveis à decodificação prematura.
  $$w_i = \min\left\{1, \beta \max_{a \in A} \exp\left(-\frac{|i - a|}{\kappa}\right)\right\}$$
  Aqui, $\kappa$ controla o decaimento espacial e $\beta$ controla a força da modulação.

• Reponderação Dependente do Progresso: A pontuação de confiança $c_i^{(t)}$ é reponderada para $\tilde{c}_i^{(t)}$ usando o progresso de decodificação $p(t)$, definido como a fração de tokens desmascarados:
  $$\tilde{c}_i^{(t)} = c_i^{(t)} \left(1 - w_i (1 - p(t))^\gamma\right)$$

  • Decodificação Precoce: Quando $p(t)$ é baixo (estágios iniciais), o termo $(1 - p(t))^\gamma$ é grande. Isso reduz significativamente a confiança de posições próximas à âncora, prevenindo o desmascaramento prematuro.
  • Decodificação Tardia: À medida que $p(t) \to 1$, o fator de redução de peso aproxima-se de zero, permitindo que as pontuações de confiança retornem aos seus valores originais. Isso garante que, uma vez gerado contexto suficiente, o comportamento padrão de seleção baseado em confiança seja restaurado.

O método não requer treinamento do modelo, módulos auxiliares ou alterações arquitetônicas.

Resultados Principais

O método foi avaliado em benchmarks de raciocínio apenas em texto, raciocínio visão-linguagem e geração de código, utilizando modelos como LLaDA 8B-Instruct, Dream 7B-Instruct e LaViDa-Instruct.

• Ganhos de Desempenho: O método melhora consistentemente a decodificação totalmente não-AR em todos os benchmarks.
  • No GSM8K (raciocínio matemático) com LLaDA e decodificação por probabilidade máxima, a precisão aumentou de 14,94% (linha de base) para 76,88%.
  • No MATH-500, as melhorias foram igualmente substanciais (por exemplo, de 14,60% para 29,00%).
  • Em tarefas de Visão-Linguagem (MathVista, ChartQA), o método melhorou a decodificação por probabilidade máxima de 25,56% para 40,26% em média.
• Comparação com Alternativas:
  • vs. Supressão de EOT: O método proposto supera a supressão explícita de EOT (que define a confiança do token EOT como $-\infty$) em todos os benchmarks, sugerindo que o guia estrutural com modulação de confiança é mais eficaz do que a supressão rígida.
  • vs. Decodificação Semi-AR: O método supera a decodificação semi-autorregressiva (que gera em blocos) em vários orçamentos de etapas. Notavelmente, sob orçamentos de etapas limitados (por exemplo, $T=32$), o método totalmente não-AR com modulação alcançou 57,70% de precisão no GSM8K, superando significativamente a melhor configuração semi-AR (36,32%), demonstrando o valor da seleção flexível de posições paralelas.
• Eficiência: O método introduz sobrecarga negligenciável. A vazão e a latência permanecem comparáveis à linha de base (aproximadamente 25,0 tokens/s e 10,2 s/amostra).

Significado e Alegações

O artigo alega que a seleção de posições baseada em confiança em DLMs totalmente não-AR não é um sinal monolítico; pode ser enganosa em contextos específicos (tokens EOT e regiões adjacentes à âncora). O significado deste trabalho reside em:

1. Identificar um Modo de Falha Específico: Destaca que simplesmente adicionar âncoras estruturais (ancoragem de sufixo) é insuficiente e pode introduzir novos erros (superconfiança local) se não for combinado com tratamento dinâmico de confiança.
2. Uma Solução Simples e Sem Treinamento: A Modulação de Confiança Ancorada em Sufixo proposta oferece uma melhoria robusta, plug-and-play, que preserva as vantagens de decodificação paralela da geração totalmente não-AR sem sacrificar a qualidade da geração ou exigir adaptação do modelo.
3. Aplicabilidade Amplo: O método é eficaz em diversas tarefas (matemática, raciocínio de senso comum, visão-linguagem, código) e em diferentes modelos base, indicando que a interação entre dicas estruturais e dinâmicas de confiança é um desafio fundamental na geração de texto baseada em difusão.

Os autores observam limitações, reconhecendo que o método não corrige erros decorrentes de conhecimento insuficiente do modelo ou capacidade de raciocínio, mas otimiza a seleção de tokens quando a confiança do modelo é alta, mas potencialmente prematura. Eles também sugerem que, embora o método seja robusto a diferentes escolhas e posições de âncora, trabalhos futuros poderiam explorar estratégias adaptativas para seleção de âncora.