Resumo Técnico: LESS: Amostragem de Estabilidade Mútua para Modelos de Linguagem de Difusão

Declaração do Problema

Os Modelos de Linguagem de Difusão (dLLMs) oferecem uma alternativa promissora à decodificação autorregressiva (AR), permitindo atualizações paralelas de tokens e condicionamento bidirecional através da remoção iterativa de ruído de sequências mascaradas. No entanto, sua eficiência prática é atualmente limitada por procedimentos de amostragem que dependem de cronogramas de denoising reverso fixos. Amostradores padrão executam um número predeterminado de passos, muitas vezes desperdiçando computação em posições onde as previsões já se estabilizaram, enquanto correm o risco de compromisso prematuro com tokens instáveis. Uma vez que um token é desmascarado em um processo de difusão, ele é tipicamente tratado como fixo; se um token incorreto for comprometido precocemente devido a um cronograma rígido, os passos reversos subsequentes não podem revisá-lo, levando à degradação da qualidade. Amostradores adaptativos existentes que não requerem treinamento abordam isso parcialmente usando critérios baseados em confiança ou margem, mas frequentemente falham em capturar a totalidade da trajetória temporal e distributiva de um token.

Metodologia

Os autores propõem o LESS (Less is More), um amostrador adaptativo, livre de treinamento e agnóstico ao modelo, que enquadra o comprometimento de tokens como um problema de parada online por posição. O LESS implementa a amostragem de estabilidade mútua, onde uma posição mascarada só é elegível para desmascaramento quando três sinais de estabilidade específicos indicam conjuntamente que a previsão se estabeleceu.

A Regra de Estabilidade Conjunta

Para cada posição mascarada $i$ no passo reverso $t$, o LESS avalia três sinais derivados da distribuição preditiva do modelo $p_{t,i}$:

1. Confiança Preditiva do Top-1: A probabilidade atribuída ao token top-1 atual ($w_{t,i}$). Uma posição deve exceder um limiar de confiança $c$.
2. Persistência do Token Top-1: O token top-1 atual deve permanecer inalterado ao longo de uma janela recente de $P$ passos reversos. Isso evita o compromisso com um token que acabou de sofrer uma alternância, mesmo que sua confiança atual seja alta.
3. Divergência de Jensen–Shannon (JSD) Inter-Passo Top-K: Esta é a contribuição novel do LESS. Ela mede a estabilidade da própria distribuição preditiva entre passos reversos consecutivos.
   • Em vez de usar a divergência de Kullback-Leibler (KL) assimétrica, o LESS utiliza a JSD simétrica e limitada.
   • Para garantir a eficiência computacional e focar em candidatos relevantes, a JSD é calculada em um vocabulário simplificado consistindo na união dos tokens top-$K$ do passo atual e do anterior, com a massa restante colapsada em um símbolo residual.
   • A JSD deve estar abaixo de um limiar $d$.

Uma posição é aceita para desmascaramento se, e somente se:
$$\text{accept}_{t,i} = (\text{conf}_{t,i} \ge c) \land \text{persist}_{t,i} \land (\text{JSD}_{t,i} \le d)$$

Política de Desmascaramento

O LESS emprega uma política de prioridade à fronteira (frontier-first policy) para modelos de difusão de sequência completa. Ele tenta desmascarar a posição mascarada mais à esquerda se ela for elegível. Se não for, ele varre uma janela de visualização (look-ahead window) para encontrar a primeira posição elegível. Se nenhuma posição for elegível, o passo é pulado. Para garantir a terminação, um fallback de desmascaramento forçado é acionado após $\Pi$ passos pulados consecutivos, embora este fallback não seja contado como um compromisso "estável".

Principais Contribuições

1. Formulação do Comprometimento de Token: O artigo enquadra o desmascaramento adaptativo em dLLMs como um problema de parada online induzido pela irreversibilidade do desmascaramento.
2. JSD Inter-Passo Top-K: Os autores introduzem a divergência de Jensen–Shannon inter-passo top-$K$ como um sinal de estabilidade limitado e simétrico. Isso aborda as limitações de trabalhos anteriores onde a confiança sozinha não consegue detectar o movimento distributivo contínuo, e a divergência KL é direcional e ilimitada.
3. Amostrador LESS: Um amostrador livre de treinamento que combina confiança, persistência de token e JSD inter-passo em uma regra de estabilidade conjunta. Ele não requer retreinamento do modelo e é compatível com checkpoints existentes de dLLM.
4. Validação Empírica: Avaliação abrangente em três famílias de dLLM (Dream-7B, LLaDA-8B, LLaDA-1.5-8B) e sete benchmarks cobrindo matemática, código e conhecimento geral.

Resultados

A avaliação demonstra que o LESS melhora significamente o equilíbrio entre precisão e eficiência em comparação tanto com a decodificação de orçamento fixo quanto com outros fortes amostradores adaptativos livres de treinamento (Prophet e KLASS).

• Eficiência: Através de três famílias de modelos, o LESS utiliza 72,1% menos passos reversos em média comparado à decodificação de orçamento fixo (Base).
• Precisão: O LESS alcança um ganho de precisão médio de +0,91 pontos sobre a linha de base de orçamento fixo enquanto utiliza menos passos. Também supera o Prophet e o KLASS em precisão média em todas as famílias de modelos.
• Desempenho em Tarefas: Os ganhos são mais pronunciados em tarefas de geração de matemática e código. Por exemplo, no Dream-7B, o LESS alcança 65,18% de precisão média (vs. 63,30% para o Base) com apenas 64,3 passos (vs. 256 para o Base).
• Economia de Computação: Como cada passo reverso requer uma passagem forward do Transformer, a redução de passos traduz-se diretamente em menor computação de inferência. No Dream-7B GSM8K, o LESS reduz a latência de tempo real de 19,45s para 5,16s e reduz o número de avaliações forward em aproximadamente 75% em orçamentos de passos elevados.
• Estudos de Ablação:
  • Complementaridade de Sinais: Nenhum sinal isolado (confiança, persistência ou JSD) performa tão bem quanto a regra conjunta. A confiança é o principal motor, mas a persistência e a JSD fornecem salvaguardas essenciais contra o compromisso prematuro e o desvio distributivo.
  • Robustez: O método performa consistentemente através de diferentes modelos e regimes de decodificação (sequência completa vs. bloco semi-autorregressivo) usando uma configuração global única $(c=0,75, d=0,040)$.

Significância e Alegações

O artigo afirma que o LESS fornece um mecanismo prático e livre de treinamento para acelerar a decodificação de modelos de linguagem de difusão, comprometendo tokens apenas quando suas previsões são confiantes, temporais e distributivamente estáveis.

Os autores enfatizam que estabilidade é mais do que apenas confiança. Uma previsão de alta confiança ainda pode ser não confiável se o token top-1 tiver mudado recentemente ou se a massa de probabilidade ainda estiver se deslocando entre alternativas. Ao tratar a estabilidade como uma propriedade conjunta da previsão atual e de sua trajetória recente, o LESS evita as armadilidades do compromisso prematuro.

O trabalho posiciona o LESS como ortogonal e complementar a outros métodos de aceleração:

• Ele complementa métodos de tempo de treinamento (ex: destilação) que encurtam o processo reverso.
• Ele complementa métodos de sistemas (ex: cache, decodificação especulativa) que reduzem a latência por passo.
• Atua como uma política de tempo de inferência pronta para uso que pode ser combinada com esses métodos sem modificar o modelo subjacente.

O artigo conclui que a estabilidade mútua é um critério viável para o compromisso precoce de tokens robusto, permitindo que os dLLMs alcancem maior eficiência sem sacrificar, e muitas vezes melhorando, a qualidade da geração. Os autores reconhecem que o método expõe um compromisso entre qualidade e eficiência controlado pelos limiares de estabilidade, o que pode exigir ajuste para modelos ou tarefas específicas, embora uma configuração global fixa tenha se mostrado eficaz em sua diversificada suíte de avaliação.