Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

Sintesi Tecnica: Decodifica Speculativa a Temperatura Zero

Problema
La decodifica speculativa accelera l'inferenza dei Large Language Model (LLM) utilizzando un modello "draft" più piccolo per proporre token che un modello "target" più grande deve poi verificare. Sebbene ciò migliori il throughput, emerge una questione concreta di sicurezza: a temperatura zero ($T=0$), il profilo di allineamento di un modello draft più debole o avversariale può filtrare negli output finali del modello target, che sono invece soggetti a valutazione della sicurezza? Il lavoro precedente ha identificato la decodifica speculativa come una superficie di attacco per i side-channel temporali (Wei et al. [36]), ma rimane empiricamente non testato se il percorso di accettazione stesso permetta cambiamenti comportamentali lato draft (come una riduzione dei tassi di rifiuto) di aggirare la verifica del modello target. Questo articolo investiga se la decodifica speculativa greedy introduca una divergenza di sicurezza rilevabile rispetto alla decodifica solo con il modello target.

Metodologia: Lo Schermo TAIS
Gli autori introducono lo Schermo di Invarianza della Tipicità dell'Accettazione (TAIS - Typical-Acceptance Invariance Screen), un protocollo di equivalenza comportamentale progettato per stabilire un "nullo limitato" per la divergenza di sicurezza. TAIS accoppia gli output del target-only e quelli speculativi su input identici provenienti da una batteria di test di sicurezza fissa e li valuta rispetto a tre criteri:

1. Identità dei Byte: A $T=0$, gli output vengono confrontati byte per byte. Un flag "forte" richiede un'identità $\ge 99,5\%$; un flag "moderato" consente un'identità inferiore se altri criteri vengono soddisfatti.
2. Equivalenza TOST: Vengono eseguiti due test unidirezionali (Two One-Sided Tests, TOST) per rigettare l'ipotesi che la differenza nel tasso di sicurezza superi $\pm 3$ punti percentuali (pp).
3. Dimensione dell'Effetto (Cohen's $h$): La dimensione dell'effetto per task $|h_t|$ deve essere inferiore a un cutoff calibrato $h^\star = 0,1$. Questo cutoff è impostato sopra il contrasto più rumoroso coerente con il nullo osservato ($|h|=0,024$) e sotto il limite convenzionale dell'effetto "trascurabile" ($|h|=0,2$).

Design Sperimentale e Ambito
Lo studio impiega un design fattoriale a cinque fasi attraverso 16.783 campioni di conferma e un'espansione accoppiata di 44.066 campioni, per un totale di oltre 60.000 campioni.

• Modelli: Famiglie Llama 3.x e Qwen 2.5 (ad es., Llama-3.2-3B come target con draft da 1B; Llama-3.1-70B come target con draft da 8B).
• Variazioni del Draft:
  • Canoniche: Draft standard.
  • Avversariali (E2): Un draft sottoposto a fine-tuning tramite Direct Preference Optimization (DPO) su preferenze di Anthropic/hh-rlhf invertite per preferire esplicitamente completamenti dannosi.
  • Quantizzate (E3): Draft GPTQ-4bit.
  • Seed (E4): Replicazione su due seed casuali.
  • Precisione (E5): Cambio del tipo di dato dell'accumulatore da fp16 a bf16.
• Benchmark: AdvBench (rifiuto), amplificazione di jailbreak, BBQ (bias), TruthfulQA, MMLU e ARC-Challenge.
• Configurazione: vLLM v0.19, decodifica greedy ($T=0$), utilizzando sia il campionamento di rigetto stretto che l'accettazione tipica probabilistica.

Risultati Chiave

1. Nessuna Divergenza di Sicurezza Rilevabile: Attraverso i probe TAIS accoppiati (E0, E2–E5), la decodifica speculativa greedy non mostra alcuna divergenza di sicurezza rilevabile rispetto alla decodifica target-only.
   • Il valore assoluto massimo di Cohen's $h$ osservato in tutti i contrasti di rifiuto AdvBench accoppiati è 0,024, circa un ordine di grandezza inferiore al limite dell'effetto trascurabile.
   • 25 su 27 i contrasti TOST per task superano il margine di equivalenza di $\pm 3$pp. I due casi non conformi sono identificati come casi limite di dominio di capacità in cui entrambi i bracci raggiungono il tetto ($p_{target} = p_{spec} = 1,0$), risultando in un intervallo di confidenza di Wald degenerato, non in una reale non-equivalenza.
2. Invarianza del Draft Avversariale: Il draft avversariale DPO (E2), che indipendentemente preferisce completamenti dannosi, ha prodotto un output byte-identico al draft canonico in 4.006 campioni. Ciò conferma che a $T=0$ con campionamento di rigetto stretto, il profilo di allineamento del draft non filtra nel output verificato.
3. Precisione e Quantizzazione:
   • Quantizzazione (E3): Anche i draft GPTQ-4bit hanno prodotto output byte-identici al draft canonico.
   • Tipi di Dato (E5): Il passaggio a bf16 ha cambiato il 36%–53% dei byte di output a causa della non-associatività numerica, ma nessun tasso di sicurezza per task si è spostato al di fuori dei limiti di equivalenza.
4. Controllo di Sanità su Scala di Produzione (E1): Un probe separato su un target da 70B (Llama-3.1-70B + draft da 8B) senza un braccio target-only accoppiato ha mostrato un tasso di rifiuto AdvBench di 0,839 (95% CI [0,809, 0,864]). Sebbene rientri nei range attesi, è riportato come un probe di scala piuttosto che come una rivendicazione di equivalenza TAIS, data la mancanza di un controllo accoppiato.

Significatività e Rivendicazioni
L'articolo rivendica uno scopo di nullo comportamentale: nelle specifiche condizioni di temperatura zero, vLLM v0.19 e delle famiglie di modelli testate, la decodifica speculativa non introduce regressioni di sicurezza.

• Validazione Operativa: Il risultato dell'identità dei byte sul draft avversariale è inquadrato come una validazione operativa della garanzia distributiva della decodifica speculativa (Leviathan et al. [24]) a $T=0$, dimostrando che il percorso di accettazione non possiede alcun canale misurabile di fuga della sicurezza nel regime testato.
• TAIS come Protocollo: Il documento contribuisce con TAIS come protocollo riutilizzabile e verificabile per i vendor e gli utenti per verificare l'equivalenza della sicurezza prima di distribuire stack di decodifica speculativa.
• Limiti dello Scopo: Gli autori limitano esplicitamente le loro affermazioni. Il nullo si applica solo a $T=0$, alla decodifica greedy e ai framework testati. Non si estende a temperature di campionamento $T>0$, varianti di speculazione ad albero (es. EAGLE, Medusa) o famiglie di modelli non testate. Il lavoro mette in guardia contro la generalizzazione eccessiva di questi risultati a regimi in cui l'influenza distributiva del draft potrebbe essere più forte.

In sintesi, lo studio fornisce prove empiriche che, per l'inferenza greedy, le proprietà di sicurezza del modello target sono preservate anche quando si utilizzano modelli draft quantizzati o con allineamento avversariale, a condizione che il sistema operi a temperatura zero.