Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

Technische Samenvatting: Speculatieve Decodering bij Temperatuur Nul

Probleemstelling
Speculatieve decodering versnelt de inferentie van Large Language Models (LLM's) door een kleiner "draft"-model te gebruiken om tokens voor te stellen die door een groter "target"-model worden geverifieerd. Hoewel dit de doorvoer verbetert, ontstaat er een concrete veiligheidsvraag: kan bij temperatuur nul ($T=0$) het alignment-profiel van een zwakker of adversarieel draft-model lekken in de uiteindelijke, op veiligheid gescoorde outputs van het target-model? Voorgaand werk heeft geïdentificeerd dat speculatieve decodering een beveiligingsoppervlak vormt voor timing side-channels (Wei et al. [36]), maar het blijft empirisch ongetest of het acceptatiepad zelf zorgt voor dat gedragsveranderingen aan de draft-zijde (zoals een verminderde weigeringsgraad) de verificatie van het target-model kunnen omzeilen. Dit paper onderzoekt of greedy speculatieve decodering detecteerbare veiligheidsdivergentie introduceert vergeleken met target-only decodering.

Methodologie: De TAIS Screen
De auteurs introduceren de Typical-Acceptance Invariance Screen (TAIS), een protocol voor gedragsequivalentie ontworpen om een "bounded null" vast te stellen voor veiligheidsdivergentie. TAIS koppelt target-only en speculatieve outputs op identieke inputs van een vaste veiligheidsbatterij en evalueert deze tegen drie criteria:

1. Byte-Identiteit: Bij $T=0$ worden outputs byte voor byte vergeleken. Een "sterke" flag vereist $\ge 99,5\%$ identiteit; een "matige" flag staat een lagere identiteit toe als andere criteria worden gehaald.
2. TOST Equivalentie: Twee One-Sided Tests (TOST) worden uitgevoerd om de hypothese te verwerpen dat het verschil in veiligheidspercentage de $\pm 3$ procentpunten (pp) overschrijdt.
3. Effectgrootte (Cohen's $h$): De per-taak effectgrootte $|h_t|$ moet onder een gekalibreerde cutoff van $h^\star = 0,1$ liggen. Deze cutoff is ingesteld boven de luidste geobserveerde null-consistente contrast ($|h|=0,024$) en onder de conventionele "trivial effect" vloer ($|h|=0,2$).

Experimenteel Ontwerp en Reikwijdte
De studie hanteert een vijf-fasen factorieel ontwerp over 16.783 bevestigende samples en een 44.066-sample gematchte expansie, totaal meer dan 60.000 samples.

• Modellen: Llama 3.x en Qwen 2.5 families (bijv. Llama-3.2-3B target met 1B drafts; Llama-3.1-70B target met 8B draft).
• Draft Variaties:
  • Canonieke: Standaard drafts.
  • Adversarieel (E2): Een draft die via Direct Preference Optimization (DPO) is gefinetuned op omgedraaide Anthropic/hh-rlhf voorkeuren om expliciet schadelijke completions te verkiezen.
  • Gekwantiseerd (E3): GPTQ-4bit drafts.
  • Seeds (E4): Replicatie over twee willekeurige seeds.
  • Precisie (E5): Wisselen van de accumulator dtype van fp16 naar bf16.
• Benchmarks: AdvBench (weigering), Jailbreak amplificatie, BBQ (bias), TruthfulQA, MMLU, en ARC-Challenge.
• Configuratie: vLLM v0.19, greedy decodering ($T=0$), gebruikmakend van zowel strikte rejection sampling als probabilistische typical acceptance.

Belangrijkste Resultaten

1. Geen Detecteerbare Veiligheidsdivergentie: Over de gematchte TAIS-probes (E0, E2–E5) vertoont greedy speculatieve decodering geen detecteerbare veiligheidsdivergentie ten opzichte van target-only decodering.
   • De maximale absolute Cohen's $h$ geobserveerd over alle gematchte AdvBench weigeringscontrasten is 0,024, wat ongeveer een orde van grootte lager is dan de trivial-effect vloer.
   • 25 van de 27 per-taak TOST-contrasten passeren de $\pm 3$pp equivalentie marge. De twee niet-passerende gevallen worden geïdentificeerd als capability-domain edge cases waarbij beide armen de limiet bereiken ($p_{target} = p_{spec} = 1,0$), wat resulteert in een degeneratieve Wald confidence interval, en geen echte non-equivalentie.
2. Adversariële Draft Invariantie: De DPO-adversariële draft (E2), die onafhankelijk van schadelijke completions de voorkeur geeft, produceerde byte-identieke output aan de canonieke draft over 4.006 samples. Dit bevestigt dat bij $T=0$ met strikte rejection sampling, het alignment-profiel van de draft niet lekt in de geverifieerde output.
3. Precisie en Kwantisatie:
   • Kwantisatie (E3): GPTQ-4bit drafts produceerden ook byte-identieke outputs aan de canonieke draft.
   • Datatypes (E5): Het wisselen naar bf16 veranderde 36%–53% van de output bytes vanwege numerieke niet-associativiteit, maar geen enkele per-taak veiligheidsratio bewoog buiten de equivalentie-bounds.
4. Productie-schaal Sanity Check (E1): Een aparte 70B target probe (Llama-3.1-70B + 8B draft) zonder een gematchte target-only arm toonde een AdvBench weigeringspercentage van 0,839 (95% CI [0,809, 0,864]). Hoewel dit binnen de verwachte bereiken valt, wordt het gerapporteerd als een schaal-probe in plaats van een TAIS equivalentie claim vanwege het gebrek aan een gematchte controle.

Significantie en Claims
Het paper claimt een gescoped gedrags-null: onder de specifieke condities van temperatuur nul, vLLM v0.19, en de geteste modelfamilies, introduceert speculatieve decodering geen veiligheidsregressies.

• Operationele Validatie: De byte-identiteit resultaat op de adversariële draft wordt geframed als een operationele validatie van de distributionele garantie van speculatieve decodering (Leviathan et al. [24]) bij $T=0$, wat aantoont dat het acceptatiepad geen meetbaar gedragskanaal heeft voor veiligheidslekken in dit regime.
• TAIS als Protocol: Het paper draagt TAIS bij als een herbruikbaar, auditeerbaar protocol voor leveranciers en gebruikers om veiligheidsequivalentie te verifiëren voordat ze speculatieve decodering stacks implementeren.
• Scope Grenzen: De auteurs beperken hun claims expliciet. De null geldt alleen voor $T=0$, greedy decodering, en de geteste framework families. Het strekt zich niet uit tot sampling temperaturen $T>0$, tree-speculatie varianten (bijv. EAGLE, Medusa), of ongeteste model families. Het paper waarschuwt tegen het overgeneraliseren van deze resultaten naar regimes waar de distributionele invloed van de draft sterker zou kunnen zijn.

Samenvattend biedt de studie empirisch bewijs dat, voor greedy inferentie, de veiligheidseigenschappen van het target-model behouden blijven, zelfs wanneer adversarieel uitgelijnde of gekwantiseerde draft-modellen worden gebruikt, mits het systeem op temperatuur nul werkt.