🤖 machine learning

CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

Este artigo introduz o CForce, um método de destilação de força de consistência que melhora o equilíbrio entre velocidade e qualidade de modelos de linguagem difusos ao alinhar as previsões de máscara de estágio inicial com os refinamentos de estágio posterior por meio de um novo objetivo de divergência KL adaptativa de confiança.

Autores originais: Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

Publicado 2026-08-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas leem palavras uma por uma, como uma pessoa virando as páginas de um livro, mas conseguem olhar para uma frase inteira e adivinhar as partes que faltam de uma só vez. Este é o reino dos Modelos de Linguagem de Grande Escala de Difusão (dLLMs). Pense neles como um detetive tentando resolver um mistério onde a cena do crime está coberta por uma névoa. O detetive começa com uma página cheia de pontos de interrogação (máscaras) e, passo a passo, afasta a névoa para revelar as palavras ocultas. Quanto mais rápido eles conseguirem afastar a névoa, mais rápido conseguirão escrever uma história.

No entanto, há uma armadilha. Se o detetive tentar afastar muita névoa de uma só vez para economizar tempo, pode adivinhar as palavras erradas precocemente. Uma vez que um erro é cometido, é difícil corrigi-lo, e toda a história pode sair dos trilhos. Este artigo aborda esse problema específico: como tornar esses detetives de "afastar a névoa" super rápidos sem torná-los descuidados. Os autores introduzem um novo truque de treinamento chamado Consistência Forçada (CForce) para ajudar o modelo a confiar mais em seus palpites iniciais, mesmo quando está com pressa.

O Problema: O Erro da Hora do Rush

Imagine um grupo de artistas tentando pintar um mural juntos. Em uma configuração tradicional, eles pintam uma pequena seção, esperam secar e depois passam para a próxima. É lento, mas seguro. Os modelos de difusão são como uma equipe que tenta pintar dez seções de uma vez. Isso é incrível para a velocidade, mas se as primeiras seções forem pintadas com as cores erradas porque os artistas estavam com pressa, o restante do mural pode parecer estranho, e consertar isso mais tarde é um pesadelo.

O artigo aponta que, quando esses modelos tentam ser super rápidos (usando "paralelismo agressivo"), eles frequentemente fazem palpites não confiáveis nos estágios iniciais. Esses erros precoces se espalham como um boato ruim, arruinando o resultado final. O objetivo não era apenas tornar o modelo mais rápido; era tornar os palpites iniciais confiáveis o suficiente para suportar essa velocidade.

A Solução: O Treinador de "Viagem no Tempo"

Entra o Consistência Forçada (CForce). Imagine um treinador que observa um atleta estudando. Normalmente, o treinador poderia apenas dizer: "Faça de novo". Mas o CForce é um tipo especial de treinador que usa um truque de "viagem no tempo".

Veja como funciona:

O Autojogo (Self-Play): O modelo é solicitado a gerar uma história por conta própria, criando um caminho completo de uma página em branco até uma frase finalizada. Este é o seu "autodesenvolvimento" (self-rollout).
Os Estágios: Em vez de olhar para cada passo minúsculo, o treinador divide este caminho em "estágios". Pense nisso como assistir a um filme em modo acelerado, mas pausando apenas quando um bloco significativo do enredo foi revelado.
A Lição: O treinador pega um estágio inicial (onde a história ainda está nebulosa e incerta) e o compara com um estágio posterior (onde a história está mais clara e completa). O treinador diz ao modelo: "Ei, o palpite que você fez quando a história estava nebulosa deve se parecer muito com o palpite que você faz quando a história está clara".

O modelo é treinado para alinhar suas previsões iniciais e instáveis com as suas previsões posteriores e confiantes. É como dizer a um aluno: "Seu primeiro rascunho da redação já deve ter as ideias principais corretas, porque sua versão final definitivamente as terá".

O Ingrediente Secreto: Confiança e Âncoras

Para fazer este treinamento funcionar perfeitamente, os autores adicionaram duas ferramentas inteligentes:

Divergência KL Adaptativa à Confiança: Esta é uma forma elegante de dizer: "Ouça com mais atenção quando estiver seguro". Se o estágio posterior da história estiver muito confiante sobre uma palavra, o modelo é pressionado fortemente para corresponder a essa previsão. Se o estágio posterior ainda estiver incerto, o modelo tem permissão para ser um pouco mais flexível. É um professor dinâmico que sabe quando ser rigoroso e quando ser condescendente.
A Âncora CE: Funciona como uma rede de segurança. Quando uma palavra é finalmente revelada (pintada no mural), o modelo recebe um pequeno empurrão extra para garantir que ela esteja exatamente correta. Isso evita que o modelo se desvie demais do caminho no momento crítico em que uma palavra é assumida.

O Que Eles Descobriram: Velocidade Sem o Desastre

A equipe testou este método em dois tipos de modelos: um que apenas escreve novos textos (não-edição) e outro que também pode voltar e corrigir erros (capaz de edição).

Para os Modelos de "Correção": Os resultados foram impressionantes. Ao usar o CForce, o modelo pôde gerar 9,08 tokens (palavras ou partes de palavras) por passagem direta, subindo de 6,94, enquanto na verdade se tornou mais preciso (saltando de 85,57% para 86,41% de precisão). Foi mais rápido e mais inteligente ao mesmo tempo.
Para os Modelos de "Escrita": Aqui, houve uma compensação, mas uma boa. O modelo pôde gerar 6,42 tokens por passagem (em vez de 3,60), o que é um enorme aumento de velocidade. Embora a precisão tenha caído ligeiramente em comparação com a versão lenta e cuidadosa, ainda era muito melhor do que outros métodos rápidos.

O artigo sugere que este método funciona porque ensina o modelo a ser consistente consigo mesmo. Ao forçar os palpites iniciais de baixo contexto a corresponderem à realidade de alto contexto posterior, o modelo aprende a tomar melhores decisões desde o início.

A Conclusão

Este artigo não afirma ter resolvido todos os problemas da velocidade da IA, mas oferece uma nova maneira muito promissora de lidar com a "hora do rush" da geração de texto. Ao usar o seu próprio eu futuro para guiar o seu eu presente, a Consistência Forçada ajuda os modelos de difusão a rodarem mais rápido sem tropeçarem nos próprios pés. É um lembrete de que, às vezes, a melhor maneira de avançar rapidamente é garantir que você esteja olhando na mesma direção que a pessoa que você será mais tarde.

Resumo Técnico: CForce: Impulsionando a Decodificação Paralela para dLLMs via Forçamento de Consistência

1. Declaração do Problema

Os Modelos de Linguagem de Difusão (dLLMs) aceleram a geração de texto ao prever múltiplos tokens mascarados em uma única passagem de forward, alcançando alta paralelidade. No entanto, sob estratégias agressivas de decodificação paralela (onde muitos tokens são comprometidos simultaneamente com base em limiares de confiança), os estágios iniciais de denoising frequentemente sofrem com previsões pouco confiáveis devido ao contexto limitado. Esses erros precoces propagam-se para os estágios subsequentes, degradando a qualidade geral da geração.

Os métodos de aceleração existentes enfrentam duas limitações primárias:

Abordagens de tempo de inferência (ex: caching, decodificação especulativa) não modificam os parâmetros do modelo para melhorar a confiabilidade inerente da previsão.
Abordagens baseadas em treinamento frequentemente dependem de trajetórias construídas, geradas por professores ou privilegiadas. Esses alvos diferem dos estados de inferência reais do modelo estudante (baixo contexto, caminhos decididos por limiar), levando a um descompasso entre treinamento e inferência.

O desafio central é melhorar a confiabilidade das previsões de estágio inicial sob alta paralelidade de decodificação sem depender de professores externos ou alterar o algoritmo de decodificação fundamental.

2. Metodologia: Forçamento de Consistência (CForce)

O CForce é um método de destilação projetado para alinhar as previsões dos estágios de denoising iniciais e de baixo contexto com os estágios posteriores e mais informativos dentro da própria trajetória de decodificação do modelo.

2.1 Construção de Trajetória por Estágios

Em vez de treinar em cada passo nativo de decodificação, o CForce constrói trajetórias "estagiadas" a partir de auto-rollouts de um dLLM pré-treinado:

Auto-Rollout: O modelo gera uma trajetória usando decodificação paralela baseada em confiança (revelando tokens acima de um limiar $\tau$ ).
Particionamento de Estágios: A trajetória é subamostrada em estágios baseados no número cumulativo de tokens recém-revelados (tamanho do estágio $S$ ), em vez de contagens de passos nativos. Isso garante que estágios adjacentes representem mudanças significativas de contexto.
Pares Adjacentes: Os pares de treinamento consistem em um estágio anterior ( $\bar{s}_i$ ) e um estágio posterior ( $\bar{s}_{i+1}$ ). O estágio posterior serve como um alvo de stop-gradient para o estágio anterior.

2.2 Objetivo de Treinamento

O método emprega uma função de perda composta para impor consistência:

Divergência KL Adaptativa à Confiança (CAD):
- Aplicada a posições que permanecem mascaradas em ambos os estágios ( $U_i$ ).
- Interpola dinamicamente entre Forward KL e Reverse KL com base na confiança ( $c_j$ ) da previsão do estágio posterior.
- Forward KL: Minimiza o desvio de distribuição (estável).
- Reverse KL: Incentiva a busca de modo (sharpening das previsões), mas é ponderada pela confiança para evitar o colapso em alvos incertos.
- Fórmula: $L_{CAD} = \frac{1}{|U_i|} \sum_{j \in U_i} [D_{KL}(p^{tar}_j \| p^{stu}_j) + c_j D_{KL}(p^{stu}_j \| p^{tar}_j)]$
Âncora de Entropia Cruzada (CE):
- Aplicada às posições recém-reveladas ( $\Delta_i$ ) entre os estágios.
- Ancorar a previsão do estudante ao token alvo limpo imediatamente antes do compromisso, estabilizando a transição dos estados mascarado para revelado.
Aprendizado por Currículo:
- Para lidar com a dificuldade de prever tokens revelados muito à frente, o modelo é gradualmente exposto à lacuna total entre os estágios. A fração de tokens revelados usada no estado alvo aumenta de 10% para 100% ao longo dos passos de treinamento.

2.3 Extensão para Modelos Capazes de Edição

Para modelos que suportam refinamento Token-para-Token (T2T) (ex: LLaDA 2.1), o CForce aproveita as correções de estágios posteriores:

Sinais de Edição: Posições onde tokens são revisados em estágios posteriores ( $\bar{E}_i$ ) são incluídas no domínio CAD.
Supervisão: Essas correções T2T fornecem supervisão mais rica para as previsões de Mask-para-Token (M2T) iniciais, permitindo que o modelo aprenda com sua própria capacidade de autocorreção.

2.4 Justificativa Teórica

O artigo fornece um limite teórico mostrando que o erro de previsão do estágio inicial é limitado superiormente pela soma do desvio de distribuição entre estágios adjacentes e o erro de token na fronteira de revelação. O termo CAD minimiza o desvio, enquanto a âncora CE minimiza o erro de fronteira, minimizando assim, aproximadamente, o erro de previsão do estágio inicial.

3. Principais Contribuições

Reenquadramento da Aceleração: Muda o foco da aceleração de dLLM de meramente reduzir passos de amostragem para melhorar a confiabilidade das previsções de estágio inicial sob decodificação de limiar agressiva.
Forçamento de Consistência: Introduz um método de destilação que alinha estágios adjacentes na própria trajetória de decodificação do modelo usando um alvo de stop-gradient do mesmo modelo, eliminando a necessidade de professores congelados.
Objetivo Inovador: Propõe a Divergência KL Adaptativa à Confiança (CAD) para equilibrar estabilidade de distribuição e busca de modo, combinada com uma âncora CE para compromisso de token.
Integração Capaz de Edição: Demonstra como os sinais de refinamento T2T em modelos capazes de edição podem supervisionar o rascunho M2T anterior, melhorando o desempenho tanto em cenários de edição quanto não-edição.

4. Resultados Experimentais

Experimentos foram conduzidos no LLaDA 2.0 (não-edição) e LLaDA 2.1 (capaz de edição) através de quatro benchmarks: GSM8K, MATH500, MBPP e HumanEval.

Modelos Capazes de Edição (LLaDA 2.1-mini):
- O CForce aumentou a média de Tokens Por Forward (TPF) de 6.94 para 9.08.
- A acurácia média melhorou de 85.57% para 86.41%.
- Os ganhos foram particularmente fortes em benchmarks de geração de código (MBPP, HumanEval).
Modelos Não-Edição (LLaDA 2.0-mini):
- O CForce deslocou o modelo para um ponto de operação de maior paralelismo, aumentando o TPF médio de 3.60 para 6.42.
- Embora a acurácia média tenha sido ligeiramente inferior à do modelo base (devido ao trade-off inerente entre velocidade e qualidade), superou significativamente o baseline CAP em alta paralelismo.
- Sob orçamentos de TPF fixos e agressivos (ex: TPF=8), o CForce alcançou a maior acurácia entre todas as variantes.
Throughput:
- O CForce melhorou o throughput de tempo real (wall-clock) em 42.82% sobre o LLaDA 2.0-mini base e 22.84% sobre o LLaDA 2.1-mini base, em média.
Estudos de Ablação:
- Tamanho do Estágio: $S=8$ proporcionou o melhor equilíbrio entre paralelismo e acurácia.
- Tipo de Alvo: Alvos de stop-gradient do mesmo modelo superaram os baselines de professor congelado.
- Forma de KL: O CAD superou o Forward KL puro (maior paralelismo) e o Reverse KL puro (maior acurácia), alcançando um trade-off superior.

5. Significância e Alegações

O artigo afirma que o Forçamento de Consistência aborda efetivamente o gargalo de confiabilidade na decodificação de alta paralelidade de dLLMs. Ao forçar as previsões do estágio inicial a se alinharem com estados posteriores mais informados derivados da própria trajetória do modelo, o CForce permite:

Maior Paralelismo: Modelos podem comprometer mais tokens por passagem de forward sem propagação catastrófica de erro.
Melhor Trade-off Velocidade-Qualidade: O método empurra a fronteira de operação, permitindo geração mais rápida mantendo ou até melhorando a qualidade, especialmente em cenários capazes de edição, onde sinais de autocorreção estão disponíveis.
Aplicabilidade Geral: A abordagem é eficaz tanto para difusão mascarada padrão quanto para modelos capazes de edição, utilizando as forças específicas de cada um (rascunho M2T e refinamento T2T).

Os autores observam que o método atualmente depende de trajetórias pré-coletadas de uma inicialização fixa, que podem divergir da distribuição do estudante conforme o treinamento progride. Sugere-se que trabalhos futuros explorem a coleta de trajetórias online para adaptar o objetivo de forçamento ao modelo em evolução.