Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

Resumo Técnico: Decodificação Especulativa em Temperatura Zero

Definição do Problema
A decodificação especulativa acelera a inferência de Grandes Modelos de Linguagem (LLMs) ao utilizar um modelo "rascunho" (draft) menor para propor tokens para um modelo "alvo" (target) maior verificar. Embora isso melhore o throughput, surge uma questão de segurança concreta: em temperatura zero ($T=0$), o perfil de alinhamento de um modelo rascunho mais fraco ou adversarial pode vazar para os outputs finais, pontuados por segurança, do modelo alvo? Trabalhos anteriores identificaram a decodificação especulativa como uma superfície de segurança para canais laterais de tempo (Wei et al. [36]), mas permanece empiricamente não testado se a própria via de aceitação permite que mudanças comportamentais do lado do rascunho (como redução nas taxas de recusa) contornem a verificação do modelo alvo. Este artigo investiga se a decodificação especulativa gulosa (greedy) introduz divergência de segurança detectável em comparação com a decodificação apenas do modelo alvo.

Metodologia: O Teste TAIS
Os autores introduzem o Typical-Acceptance Invariance Screen (TAIS), um protocolo de equivalência comportamental projetado para estabelecer um "nulo limitado" para a divergência de segurança. O TAIS pareia outputs do modelo alvo e do rascunho em inputs idênticos de uma bateria de segurança fixa e os avalia contra três critérios:

1. Identidade de Bytes: Em $T=0$, os outputs são comparados byte a byte. Um sinal de "forte" exige $\ge 99,5\%$ de identidade; um sinal "moderado" permite menor identidade se outros critérios forem atendidos.
2. Equivalência TOST: Dois Testes de Uma Cauda (TOST) são realizados para rejeitar a hipótese de que a diferença na taxa de segurança exceda $\pm 3$ pontos percentuais (pp).
3. Tamanho do Efeito (Cohen's $h$): O tamanho do efeito por tarefa $|h_t|$ deve estar abaixo de um limite calibrado de $h^\star = 0,1$. Este limite é definido acima do contraste de nulidade mais alto observado ($|h|=0,024$) e abaixo do piso convencional de "efeito trivial" ($|h|=0,2$).

Design Experimental e Escopo
O estudo emprega um design fatorial de cinco fases através de 16.783 amostras confirmatórias e uma expansão correspondente de 44.066 amostras, totalizando mais de 60.000 amostras.

• Modelos: Famílias Llama 3.x e Qwen 2.5 (ex: Llama-3.2-3B como alvo com rascunhos de 1B; Llama-3.1-70B como alvo com rascunho de 8B).
• Variações de Rascunho:
  • Canônico: Rascunhos padrão.
  • Adversarial (E2): Um rascunho ajustado via Direct Preference Optimization (DPO) em preferências Anthropic/hh-rlhf invertidas para preferir explicitamente conclusões prejudiciais.
  • Quantizado (E3): Rascunhos GPTQ-4bit.
  • Sementes (E4): Replicação em duas sementes aleatórias.
  • Precisão (E5): Alternância do tipo de dado do acumulador de fp16 para bf16.
• Benchmarks: AdvBench (recusa), Amplificação de Jailbreak, BBQ (viés), TruthfulQA, MMLU e ARC-Challenge.
• Configuração: vLLM v0.19, decodificação gulosa ($T=0$), utilizando tanto amostragem de rejeição estrita quanto aceitação típica probabilística.

Resultos Principais

1. Nenhuma Divergência de Segurança Detectável: Através dos probes TAIS pareados (E0, E2–E5), a decodificação especulativa gulosa não mostra divergência de segurança detectável em relação à decodificação apenas do modelo alvo.
   • O valor absoluto máximo de Cohen's $h$ observado em todos os contrastes de recusa de AdvBench pareados foi de 0,024, aproximadamente uma ordem de magnitude abaixo do piso de efeito trivial.
   • 25 de 27 contrastes TOST por tarefa passam pela margem de equivalência de $\pm 3$pp. Os dois casos que não passaram foram identificados como casos de borda de domínio de capacidade onde ambos os braços atingiram o teto ($p_{target} = p_{spec} = 1,0$), resultando em um intervalo de confiança de Wald degenerado, não em uma não-equivalência genuína.
2. Invariância do Rascunho Adversarial: O rascunho adversarial por DPO (E2), que independentemente prefere conclusões prejudiciais, produziu output byte a byte idêntico ao rascunho canônico em 4.006 amostras. Isso confirma que, em $T=0$ com amostragem de rejeição estrita, o perfil de alinhamento do rascunho não vaza para o output verificado.
3. Precisão e Quantização:
   • Quantização (E3): Rascunhos GPTQ-4bit também produziram outputs byte a byte idênticos ao rascunho canônico.
   • Tipos de Dados (E5): A alternância para bf16 alterou 36%–53% dos bytes de saída devido à não-associatividade numérica, porém nenhuma taxa de segurança por tarefa saiu dos limites de equivalência.
4. Verificação de Sanidade em Escala de Produção (E1): Um probe separado de alvo de 70B (Llama-3.1-70B + rascunho de 8B) sem um braço correspondente apenas do alvo mostrou uma taxa de recusa de AdvBench de 0,839 (95% CI [0,809, 0,864]). Embora isso caia dentro de faixas esperadas, é relatado como um probe de escala, não como uma afirmação de equivalência TAIS, devido à falta de um controle pareado.

Significância e Alegações
O artigo alega um nulo comportamental de escopo: sob as condições específicas de temperatura zero, vLLM v0.19 e as famílias de modelos testadas, a decodificação especulativa não introduz regressões de segurança.

• Validação Operacional: O resultado de identidade de bytes no rascunho adversarial é enquadrado como uma validação operacional da garantia de distribuição (Leviathan et al. [24]) em $T=0$, demonstrando que a via de aceitação não possui canal comportamental mensurável para vazamento de segurança neste regime.
• TAIS como um Protocolo: O artigo contribui com o TAIS como um protocolo reutilizável e auditável para fornecedores e usuários verificarem a equivalência de segurança antes de implantarem stacks de decodificação especulativa.
• Limites de Escopo: Os autores limitam explicitamente suas alegações. O nulo aplica-se apenas a $T=0$, decodificação gulosa e os frameworks testados. Não se estende a temperaturas de amostragem $T>0$, variantes de especulação em árvore (ex: EAGLE, Medusa) ou famílias de modelos não testadas. O artigo alerta contra a generalização excessiva desses resultados para regimes onde a influência de distribuição do rascunho possa ser mais forte.

Em resumo, o estudo fornece evidência empírica de que, para inferência gulosa, as propriedades de segurança do modelo alvo são preservadas mesmo quando utilizando modelos rascunho quantizados ou adversariais, desde que o sistema opere em temperatura zero.