💬 NLP

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

O D-Cut é um método de poda de profundidade de verificação adaptativo para decodificação especulativa em lote que aloca dinamicamente orçamentos de verificação entre solicitações concorrentes com base na confiança do rascunho e modelos de custo de tempo de execução, melhorando significamente a aceleração da inferência sob alta concorrência enquanto evita o desperdício de computação em tokens rejeitados.

Autores originais: Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma biblioteca massiva e de alta velocidade, onde um único bibliotecário incrivelmente inteligente (a IA) responde a perguntas de milhares de pessoas ao mesmo tempo. Este bibliotecário é brilhante, mas trabalha de uma forma muito específica: ele só consegue escrever uma palavra de cada vez. Para responder a uma pergunta complexa, ele tem que pausar, pensar, escrever uma palavra, pausar novamente, pensar, escrever a próxima palavra, e assim por diante. Esta regra de "uma palavra de cada vez" é o principal motivo pelo qual a biblioteca fica congestionada; o bibliotecário passa a maior parte do tempo apenas esperando para pegar a próxima palavra nas prateleiras.

Para acelerar as coisas, engenheiros inventaram um truque inteligente chamado "decodificação especulativa" (speculative decoding). Em vez de o bibliotecário escrever uma palavra de cada vez, eles contratam um assistente ligeiramente menos inteligente (o "assistente/drafter") para adivinhar as próximas palavras em um surto. O bibliotecário então verifica rapidamente esses palpites. Se os palpites estiverem certos, o bibliotecário aceita todos de uma vez, pulando o ciclo lento de "pensar-pausar-escrever" para essas palavras. É como se o assistente gritasse: "Eu aposto que as próximas três palavras são 'O', 'rápido' e 'marrom'!" e o bibliotecário dissesse: "Sim, você está certo!", seguindo em frente. Isso funciona muito bem quando a biblioteca está calma. Mas o que acontece quando a biblioteca está lotada com 64 pessoas gritando perguntas ao mesmo tempo? O assistente pode gritar uma longa lista de palpites para todos, mas o bibliotecário fica sobrecarregado tentando verificar todos eles. Se os palpites estiverem errados, o bibliotecário desperdiça um tempo precioso verificando palavras que são descartadas, atrasando todo o funcionamento da biblioteca. Este é o enigma que este artigo aborda: como manter o ganho de velocidade quando a multidão fica enorme.

O Problema: Palpites Demais, Tempo de Menos

Os pesquisadores da Tencent Hunyuan notaram uma falha no sistema. Recentemente, novos assistentes (como um chamado DFlash) tornaram-se muito bons em gritar longas listas de palpites — digamos, 15 palavras de cada vez. Quando a biblioteca estava vazia, isso era um superpoder; o bibliotecário aceitava a maioria deles e a biblioteca fluía rapidamente pelas perguntas.

Mas conforme a multidão crescia (quando o "tamanho do lote" ou número de solicitações simultâneas aumentava), o sistema começava a travar. O assistente continuava gritando longas listas, mas o bibliotecário, agora esticado ao limite, não conseguia verificá-las rápido o suficiente. Pior ainda, muitas dessas longas listas estavam erradas. O bibliotecário gastava toda a sua energia verificando palavras que acabavam sendo lixo, apenas para rejeitá-las. Era como um segurança em um show lotado verificando os IDs de 15 pessoas em uma fila, apenas para perceber que 10 delas eram falsas, desperdiçando tempo que poderia ter sido usado para deixar os fãs reais entrarem. Os pesquisadores descobriram que, em multidões altas, esse método de "palpite longo" era, na verdade, mais lento do que deixar o bibliotecário trabalhar sozinho, uma palavra de cada vez.

A Solução: D-cut (O Segurança Inteligente)

Para corrigir isso, a equipe propôs uma nova estratégia chamada D-cut. Pense no D-cut como um segurança superinteligente parado entre o assistente e o bibliotecário.

Em vez de deixar o assistente gritar uma longa lista fixa de palpites para todos e fazer o bibliotecário verificar todos eles, o D-cut observa a multidão e os palpites em tempo real. Ele faz duas perguntas simples:

Quão confiante o assistente está? Se o assistente estiver gritando com alta confiança, o segurança deixa esses palpites passarem. Se o assistente estiver resmungando ou incerto, o segurança encurta a lista.
O quanto o bibliotecário está cansado? O segurança verifica a carga de trabalho atual do bibliotecário. Se o bibliotecário estiver sobrecarregado (como em um chip de GPU ocupado), o segurança torna-se mais rigoroso e corta mais palpites. Se o bibliotecário estiver descansado e poderoso (como em um chip diferente e mais rápido), o segurança deixa passar mais palpites.

O D-cut não corta a lista apenas para uma pessoa; ele olha para o lote inteiro de solicitações. Ele percebe que, para algumas pessoas, o assistente é um gênio, mas para outras, o assistente está adivinhando loucamente. Assim, o D-cut pega o "orçamento de verificação" (o tempo que o bibliotecário tem para verificar) e o entrega às pessoas que têm maior probabilidade de estar certas. Ele poda (corta) as caudas longas de baixa confiança dos palpites de quem não tem certeza e foca a energia do bibliotecário nas partes de alta confiança.

Como Funciona no Mundo Real

Os pesquisadores testaram essa ideia em uma variedade de modelos de IA, desde os pequenos até os massivos, e em diferentes tipos de chips de computador. Eles descobriram que o D-cut foi um divisor de águas para tempos de lotação:

Salvando o Dia em Multidões Altas: Quando o número de solicitações era alto (como 64 pessoas ao mesmo tempo), o método antigo (DFlash) muitas vezes desacelerava tanto que era, na verdade, mais lento do que o método padrão de "uma palavra de cada vez". O D-cut corrigiu isso. Ele manteve o ganho de velocidade vivo mesmo quando a biblioteca estava lotada.
Os Números: Em seus testes, o D-cut aumentou a velocidade média de 1,26 vezes mais rápido para 1,65 vezes mais rápido em comparação ao método padrão sob alta carga. Em alguns modelos específicos, muito grandes, chegou a atingir até 3,0 vezes a velocidade.
Adaptando-se ao Hardware: Um dos recursos mais legais é que o D-cut aprende o quão rápido o bibliotecário é antes da multidão chegar. Ele perfila o chip do computador (como um GPU H20 ou H800) para ver o quão caro é verificar uma palavra. Se verificar uma palavra é caro (como em um chip mais lento), o D-cut corta de forma mais agressiva. Se é barato, o D-cut corta menos. Isso significa que ele não precisa de um humano para ajustá-lo para cada novo computador; ele descobre isso automaticamente.

O Que Ele Não Faz (E o Que Ele Descarta)

É importante saber o que o D-cut não é. Ele não tenta tornar o assistente mais inteligente ou mudar a forma como o bibliotecário pensa. Ele não altera as respostas finais que a IA fornece; o resultado permanece exatamente o mesmo como se o bibliotecário tivesse verificado tudo, apenas chega muito mais rápido.

O artigo argumenta explicitamente contra a ideia de que "quanto mais longo, melhor". Eles mostraram que gerar cegamente longas listas de palpites (como os blocos de 15 palavras do DFlash) é uma má ideia quando a multidão é grande. A abordagem de "tamanho único" de verificar o mesmo número de palpites para todos falha porque nem todos precisam da mesma quantidade de verificação. O D-cut prova que ser seletivo é melhor do que ser exaustivo.

A Conclusão

Os pesquisadores não apenas sugeriram que isso poderia funcionar; eles mediram. Eles rodaram simulações e testes do mundo real em servidores reais com milhares de solicitações. Os resultados mostraram que, ao ser um segurança inteligente e adaptável que corta os palpites de baixa confiança e foca nos de alta confiança, o D-cut mantém a biblioteca de IA rápida mesmo quando as portas estão sendo invadidas. Ele transforma um sistema que, de outra forma, desaceleraria até quase parar, em um que permanece eficiente, provando que, às vezes, a melhor maneira de ir rápido é parar de verificar as coisas que você sabe que estão erradas.

Resumo Técnico: D-cut: Poda de Profundidade de Verificação Adaptativa para Decodificação Especulativa em Lote

1. Declaração do Problema

A decodificação especulativa emergiu como uma abordagem loss-less (sem perda) líder para acelerar a inferência de Grandes Modelos de Linguagem (LLMs) ao desacoplar a geração de rascunho da verificação. Avanços recentes, como os drafters de bloco paralelo (ex: DFlash), geram blocos inteiros de tokens de rascunho em uma única passagem forward, desacoplando o comprimento do rascunho da latência de rascunho e alcançando um alto MAT (Mean Accepted Tokens) em configurações de baixa concorrência.

No entanto, o artigo identifica um gargalo crítico na serventia em lote de alta concorrência:

Explosão do Custo de Verificação: À medida que o tamanho do lote ( $B$ ) aumenta, o modelo alvo deve verificar $B \times (D+1)$ tokens por passo (onde $D$ é o comprimento do rascunho). Isso desloca o processo de verificação de ser limitado por memória para ser limitado por computação.
Alocação Ineficiente de Recursos: Em cenários de alta concorrência, rascunhos de profundidade fixa e longa frequentemente resultam em uma alta taxa de rejeição. Por exemplo, com um comprimento de rascunho de 15, o comprimento médio de aceitação pode ser de apenas ~6 tokens, o que significa que cerca de 60% dos tokens verificados são rejeitados.
Throughput Subótimo: O custo computacional de verificar esses tokens rejeitados infla o tempo de passo, fazendo com que o throughput da decodificação especulativa sature ou até caia abaixo da decodificação autorregressiva (AR) padrão em grandes tamanhos de lote (ex: $bs=64$).
Necessidades Estáticas vs. Dinâmicas: Métodos existentes tipicamente aplicam uma profundidade de verificação uniforme para todas as requisições em um lote. Isso falha em considerar a significativa variância nos comprimentos de aceitação entre requisições concorrentes e os custos computacionais variáveis de verificação em diferentes ambientes de hardware (ex: GPUs H20 limitadas por computação vs. H800 ricas em computação).

2. Metodologia: D-cut

Os autores propõem o D-cut, uma estratégia de poda adaptativa que trata o orçamento de verificação como um recurso compartilhado em todo o lote, alocando-o dinamicamente aos tokens com maior probabilidade de serem aceitos. O método opera sem modificar o modelo alvo ou exigir treinamento adicional.

Mecanismos Principais

Poda Transversal de Requisições (Guiada por Confiança):
- Em vez de verificar uma profundidade fixa para cada requisição, o D-cut pontua cada posição de token candidato no lote usando a confiança de predição do drafter.
- Ele calcula um score de "produto-prefixo" ( $s_{i,k}$ ) para cada posição, representando a probabilidade de o bloco sobreviver até a profundidade $k$ .
- Todas as posições candidatas em todo o lote são classificadas globalmente por esses scores. Sufixos de baixa confiança são podados, enquanto prefixos de alta confiança são retidos. Isso garante que o orçamento de verificação seja deslocado de requisições de baixo rendimento para requisições de alto rendimento.
Seleção de Profundidade Adaptativa em Tempo de Execução:
- Reconhecendo que o custo de verificar tokens extras depende fortemente do ambiente de execução (tipo de GPU, arquitetura do modelo, estratégia de paralelismo e tamanho do lote), o D-cut incorpora um modelo de custo perfilado.
- Perfilamento: No startup do servidor, o D-cut perfila a latência end-to-end dos passos especulativos para vários ratios discretos de orçamento de verificação ( $\rho \in \{0.25, 0.50, 0.75, 1.00\}$ ) e tamanhos de lote.
- Otimização: Durante a serventia, o D-cut seleciona dinamicamente o ratio de orçamento global ideal ( $\rho^*$ ) que maximiza o speedup projetado. O speedup é formulado como o ratio entre o benefício esperado (MAT estimado baseado nos scores de confiança) e o custo de execução perfilado pelo hardware.
- Isso permite que o D-cut seja agressivo na poda em hardware limitado por computação (ex: H20) ou quando a qualidade do rascunho é baixa, enquanto retém mais tokens em hardware rico em computação (ex: H800), onde a verificação é barata.

Visão Geral do Pipeline

Drafting (Rascunho): O drafter gera um bloco de tokens com scores de confiança associados.
Scoring & Ranking (Pontuação e Classificação): O seletor achata todas as posições, computa scores de produto-prefixo e as classifica globalmente.
Budget Selection (Seleção de Orçamento): O seletor consulta a tabela de custos pré-perfilada para escolher o ratio de orçamento $\rho^*$ que maximiza a razão utilidade-custo.
Packing (Empacotamento): As posições de maior score (top- $K$ ) são empacotadas em um lote de verificação denso. Crucialmente, como os scores são produtos-prefixo, as posições retidas para cada requisição formam um prefixo contíguo, garantindo compatibilidade com motores de inferência existentes e CUDA graphs.
Verification (Verificação): O modelo alvo verifica o lote empacotado.

3. Principais Contribuições

Identificação do Gargalo: O artigo demonstra empiricamente que, em serventia em lote de alta concorrência, rascunhos de profundidade fixa e longa (como o DFlash) podem degradar o throughput abaixo da decodificação AR devido ao alto custo de verificar tokens rejeitados.
Algoritmo D-cut: Uma estratégia de poda lossless, livre de treinamento, que realiza a poda de profundidade de verificação transversal de requisições guiada pela confiança do rascunho e seleção de profundidade adaptativa ao tempo de execução.
Modelagem de Custo em Tempo de Execução: A introdução de um modelo de custo perfilado que permite à estratégia de poda adaptar-se a ambientes de implantação específicos (hardware, tamanho de lote, arquitetura de modelo) em vez de depender de heurísticas estáticas.
Integração de Sistema: O método é projetado para trabalhar com motores de inferência existentes (ex: vLLM) ao restringir o orçamento de verificação a ratios discretos, garantindo compatibilidade com captura de CUDA graph em partes (piecewise) e evitando a explosão de formas (shape explosion).

4. Resultados Experimentais

Os autores avaliaram o D-cut em seis modelos alvo (cobrindo arquiteturas densas e MoE) através de cinco benchmarks (matemática, código, chat) usando GPUs NVIDIA H20 e H800.

Melhoria de Throughput: Sob alta concorrência (tamanho de lote 32), o D-cut melhora o speedup médio sobre a decodificação autorregressiva de 1.26× para 1.65× em comparação com a baseline DFlash.
Restauração de Aceleração: Para modelos densos onde o DFlash (com rascunhos longos) cai abaixo da decodificação AR em alta concorrência, o D-cut restaura a aceleração positiva.
Performance MoE: Em modelos Mixture-of-Experts (MoE), o D-cut alcança até 3.0× de speedup sobre a decodificação autorregressiva.
Adaptabilidade de Hardware:
- Na H20, limitada por computação, o D-cut realiza podas agressivas (frequentemente selecionando um budget de 25%), superando significativamente as baselines de ratio fixo.
- Na H800, rica em computação, o D-cut se adapta para reter mais tokens (frequentemente 50% ou mais), maximizando o throughput sem poda desnecessária.
Robustez: O D-cut mantém sua vantagem mesmo sob amostragem estocástica do alvo (temperatura 1), onde métodos padrão de rascunho longo falham completamente.

5. Significância e Alegações

O artigo afirma que o D-cut aborda um descompasso fundamental nos sistemas atuais de decodificação especulativa: a suposição de que rascunhos mais longos são sempre melhores. Os autores argumentam que, na serventia em lote, a computação de verificação é o recurso escasso, não apenas a capacidade de gerar rascunhos.

Mudança de Paradigma: O trabalho desloca o foco de maximizar comprimentos de aceitação de requisições individuais para gerenciar a eficiência da verificação em lote.
Impacto Prático: O D-cut permite o uso de drafters poderosos de bloco paralelo em ambientes de produção de alta concorrência onde eles seriam, de outra forma, prejudiciais.
Limitações: Os autores reconhecem um desafio de integração de sistema: a variação de forma do lote de verificação exige um tratamento cuidadoso para se ajustar às suposições de forma estática de motores de inferência atuais (como Spec-V2 e CUDA graphs em partes). Eles observam que realizar o potencial total da verificação dinâmica pode exigir um co-design mais estreito com frameworks de serventia.

Em resumo, o D-cut fornece um mecanismo para equilibrar dinamicamente o trade-off entre o benefício algorítmico de aceitar mais tokens e o custo de hardware de verificá-los, garantindo que a decodificação especulativa permaneça uma técnica de aceleração viável mesmo sob carga pesada.