Resumo Técnico: Decodificação Consciente de Candidatos para Modelos de Linguagem de Difusão

1. Definição do Problema

Modelos de Linguagem de Difusão (DLMs) geram texto através da denoise (redução de ruído) iterativa de uma sequência totalmente mascarada. Ao contrário dos modelos autorregressivos, os DLMs mantêm uma previsão provisória para cada posição em cada etapa intermediária. Isso cria uma oportunidade para aceleração sem treinamento ao longo de dois eixos distintos:

1. Amostragem Adaptativa: Decidir o quão rápido as posições individuais se comprometem com um token enquanto a decodificação continua (ex: Fast-dLLM, SlowFast, KLASS).
2. Saída Antecipada no Tempo de Geração: Decidir quando toda a sequência pode ser interrompida e preenchida, congelando todas as posições restantes de uma só vez (ex: Prophet, SchED).

Os métodos existentes falham em equilibrar efetivamente esses eixos porque dependem de evidências que são incompatíveis com o escopo da decisão:

• Terminação Prematura: Os gates de saída antecipada existentes (como o Prophet) frequentemente dependem de estatísticas de confiança de regiões fixas ou regras dependentes de cronograma. Eles agregam sinais de nível de posição que podem parecer estáveis mesmo enquanto a resposta candidata subjacente ainda está flutuando. Consequentemente, esses gates disparam prematuramente em tarefas de cadeia de pensamento (CoT) longas, congelando a sequência antes que a resposta se estabilize, levando a quedas significativas de precisão (até 69 pontos em algumas configurações).
• Amostragem Ineficiente: Amostradores adaptativos controlam o ritmo do compromisso de tokens, mas nunca verificam se a sequência está finalizada. Eles continuam a decodificar cada token restante mesmo se a resposta já tiver se estabilizado, perdendo o potencial de economia de uma parada global.
• Dependência de Tarefa: O tempo de estabilização do candidato é altamente dependente da tarefa. Tarefas de resposta curta podem se estabilizar após ~4% das etapas de decodificação, enquanto tarefas de raciocínio longo frequentemente não se estabilizam até os 4% finais. Uma única regra baseada em "progresso" não pode atender a ambos.

2. Metodologia: LATCH

Os autores propõem o LATCH (Localized Acceleration with Tracked-Candidate Halting), um framework sem treinamento que separa os dois eixos de aceleração e aplica um gate específico para cada um, combinando a evidência ao escopo da decisão.

A. Compromisso Verificado por Confiança (CVC): Decidindo Quando Parar

O CVC governa a decisão de terminação global (preencher e parar). Diferente de métodos anteriores que monitoram uma região fixa, o CVC opera no espaço do candidato extraído dinamicamente.

• Mecanismo: Em cada etapa, o CVC reextrai a resposta candidata do buffer com base no formato de saída da tarefa (ex: a parte final para tarefas de matemática).
• Critério de Convergência Conjunta: O gate só permite a terminação se duas condições forem atendidas simultaneamente sobre o espaço extraído:
  1. Confiança: A confiança média do softmax ($c_t$) do candidato excede um limiar ($\tau_{CVC}$).
  2. Estabilidade: O valor do candidato permanece inalterado por um número sustentado de etapas ($run_t$). Este contador incrementa apenas quando o valor extraído é idêntico ao passo anterior e pausa se nenhum candidato puder ser extraído. A duração da execução é dinâmica: $run_t \ge \max(p_{min}, \lceil \gamma \cdot changes_t \rceil)$, onde $changes_t$ é a contagem de mudanças de valor.
• Benefício: Isso garante que a sequência pare apenas quando a própria resposta estiver estabilizada, evitando a terminação prematura em tarefas de raciocínio longo, onde o raciocínio intermediário pode parecer estável, mas a resposta final ainda está sendo revisada.

B. Compromisso Antecipado por Bloco (BWEC): Decidindo Onde Acelerar

O BWEC governa o ritmo local de compromisso para blocos não finais.

• Mecanismo: Ele aplica uma regra de confiança local mais barata aos blocos $B_0$ até $B_{N-2}$. Se a confiança de uma posição mascarada exceder um limiar ($\tau_{BWEC}$), ela se compromete imediatamente, ignorando o cronograma de remascaramento top-$k$.
• Proteção: O bloco final ($B_{N-1}$) é excluído do BWEC. Ele segue o cronograma base para garantir que a resposta final não seja comprometida prematuramente por uma regra local. A terminação global permanece estritamente sob o controle do CVC.
• Benefício: Isso acelera as etapas de raciocínio intermediárias (que frequentemente se estabilizam cedo) sem arriscar a integridade da resposta final.

3. Principais Contribuições

1. Análise de Estabilização Dependente de Tarefa: Os autores demonstram que o tempo de estabilização do candidato varia drasticamente entre tarefas (de 4% a 96% do progresso de decodificação), tornando o compromisso antecipado baseado apenas em progresso pouco confiável.
2. Framework LATCH: Um sistema de dual-gate que separa "onde" (BWEC para blocos não finais) e "quando" (CVC para terminação global).
   • O CVC verifica a identidade e a estabilidade do candidato extraído dinamicamente antes de parar.
   • O BWEC acelera blocos não finais usando sinais de confiança locais.
3. Transferibilidade Zero-Shot e Cross-Backbone: O LATCH requer apenas um conjunto congelado de hiperparâmetros ($\tau_{CVC}=0.7, \gamma=2.0, p_{min}=3, \tau_{BWEC}=0.9$) calibrado uma única vez em um backbone (LLaDA). Ele se transfere sem ajustes para um backbone diferente (Dream) e através de 11 tarefas diversas sem necessidade de ajuste por tarefa ou construção de sufixo-prompt.

4. Resultados Experimentais

Avaliado no LLaDA-8B-Instruct e Dream-7B-Instruct em 11 tarefas (6 de resposta curta, 5 de raciocínio longo) em configurações zero-shot:

• Precisão: O LATCH mantém-se dentro de 2,0 pontos percentuais da precisão de decodificação total em todas as 22 configurações de avaliação.
  • Em contraste, os gates de terminação existentes (Prophet, SchED) e amostradores (SlowFast) frequentemente excedem essa tolerância em tarefas de raciocínio longo, com quedas de precisão variando de 5 a 69 pontos.
  • O LATCH evita a dependência de "sufixo-prompt" de trabalhos anteriores, operando de forma robusta em prompts de texto livre.
• Aceleração (TPS):
  • Tarefas de resposta curta: Alcança um aumento de velocidade de 9,3× – 17,8×.
  • Tarefas de raciocínio longo: Alcança um aumento de velocidade de 2,0× – 3,3×.
• Eficiência: O ganho de velocidade em tarefas de raciocínio longo é impulsionado principalmente pelo BWEC (acelerando blocos intermediários), enquanto o CVC proporciona o maior ganho em tarefas de resposta curta ao permitir a terminação global antecipada.

5. Significância e Alegações

O artigo alega que o principal modo de falha da aceleração de DLMs existentes é o descompasso entre a evidência utilizada (sinais agregados de nível de posição) e o escopo da decisão (terminação global da sequência).

• Verificação sobre Proxy: O LATCH desloca o alvo de verificação de um proxy (confiança de região fixa) para o objeto em si (o candidato extraído dinamicamente). Isso permite que o sistema distinga entre um palpite transitoriamente estável e uma resposta genuinamente convergida.
• Componibilidade: Demonstra-se que as economias da amostragem adaptativa (compromisso local) e da saída antecipada (parada global) se compõem em vez de competir. Ao proteger o bloco final com o CVC enquanto acelera os blocos anteriores com o BWEC, o LATCH alcança velocidades que nenhum dos eixos alcançaria sozinho sem sacrificar a precisão.
• Praticidade: O framework é inteiramente livre de treinamento, não requer engenharia de sufixo-prompt e transfere-se entre diferentes arquiteturas de modelos com um único conjunto de hiperparâmetros, tornando-o uma solução prática para implantar DLMs de forma eficiente.