Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion

Resumen Técnico: Decodificación Especulativa a Temperatura Cero

Planteamiento del Problema
La decodificación especulativa acelera la inferencia de los Modelos de Lenguaje de Gran Escala (LLM) utilizando un modelo "borrador" (draft) más pequeño para proponer tokens que un modelo "objetivo" (target) más grande debe verificar. Si bien esto mejora el rendimiento, surge una pregunta de seguridad concreta: a temperatura cero ($T=0$), ¿puede el perfil de alineación de un modelo borrador más débil o adversarial filtrarse en los resultados finales, ya puntuados en seguridad, del modelo objetivo? Trabajos previos han identificado la decodificación especulativa como una superficie de seguridad para canales laterales de tiempo (Wei et al. [36]), pero sigue sin probarse empíricamente si la vía de aceptación misma permite que cambios de comportamiento del lado del borrador (como una reducción en las tasas de rechazo) eludan la verificación del modelo objetivo. Este artículo investiga si la decodificación especulativa codiciosa (greedy) introduce una divergencia de seguridad detectable en comparación con la decodificación de solo el modelo objetivo.

Metodología: La Pantalla TAIS
Los autores introducen la Pantalla de Invarianza de Aceptación Típica (TAIS, por sus siglas en inglés), un protocolo de equivalencia conductual diseñado para establecer un "nulo acotado" para la divergencia de seguridad. TAIS empareja salidas de solo el modelo objetivo y salidas especulativas sobre entradas idénticas de una batería de seguridad fija y las evalúa frente a tres criterios:

1. Identidad de Bytes: A $T=0$, las salidas se comparan byte por byte. Una bandera "fuerte" requiere una identidad $\ge 99.5\%$; una bandera "moderada" permite una identidad menor si otros criterios se cumplen.
2. Equivalencia TOST: Se realizan dos Pruebas de Un Solo Lado (TOST) para rechazar la hipótesis de que la diferencia en la tasa de seguridad exceda $\pm 3$ puntos porcentuales (pp).
3. Tamaño del Efecto (Cohen's $h$): El tamaño del efecto por tarea $|h_t|$ debe estar por debajo de un punto de corte calibrado de $h^\star = 0.1$. Este punto de corte se establece por encima del contraste más ruidoso consistente con el nulo observado ($|h|=0.024$) y por debajo del umbral convencional de "efecto trivial" ($|h|=0.2$).

Diseño Experimental y Alcance
El estudio emplea un diseño factorial de cinco fases a través de 16,783 muestras de confirmación y una expansión emparejada de 44,066 muestras, sumando un total de más de 60,000 muestras.

• Modelos: Familias Llama 3.x y Qwen 2.5 (por ejemplo, Llama-3.2-3B como objetivo con borradores de 1B; Llama-3.1-70B como objetivo con un borrador de 8B).
• Variaciones del Borrador:
  • Canónica: Borradores estándar.
  • Adversarial (E2): Un borrador ajustado mediante Optimización de Preferencia Directa (DPO) sobre preferencias invertidas de Anthropic/hh-rlhf para preferir explícitamente completaciones perjudiciales.
  • Cuantizada (E3): Borradores GPTQ-4bit.
  • Semillas (E4): Replicación a través de dos semillas aleatorias.
  • Precisión (E5): Cambio del tipo de dato del acumulador de fp16 a bf16.
• Benchmarks: AdvBench (rechazo), Amplificación de Jailbreak, BBQ (sesgo), TruthfulQA, MMLU y ARC-Challenge.
• Configuración: vLLM v0.19, decodificación codiciosa ($T=0$), utilizando tanto el muestreo de rechazo estricto como la aceptación típica probabilística.

Resultos Clave

1. Sin Divergencia de Seguridad Detectable: A través de las sondas TAIS emparejadas (E0, E2–E5), la decodificación especulativa codiciosa no muestra una divergencia de seguridad detectable respecto a la decodificación de solo el modelo objetivo.
   • El valor absoluto máximo de Cohen's $h$ observado en todos los contrastes de rechazo de AdvBench es 0.024, aproximadamente un orden de magnitud por debajo del umbral de efecto trivial.
   • 25 de 27 los contrastes TOST por tarea pasan el margen de equivalencia de $\pm 3$ pp. Los dos casos no pasados se identifican como casos límite de dominio de capacidad donde ambos brazos alcanzan el techo ($p_{target} = p_{spec} = 1.0$), lo que resulta en un intervalo de confianza de Wald degenerado, no en una falta de equivalencia genuina.
2. Invarianza del Borrador Adversarial: El borrador adversarial de DPO (E2), que independientemente prefiere completaciones perjudiciales, produjo una salida byte-idéntica a la del borrador canónico a través de 4,006 muestras. Esto confirma que, a $T=0$ con muestreo de rechazo estricto, el perfil de alineación del borrador no se filtra en la salida verificada.
3. Precisión y Cuantización:
   • Cuantización (E3): Los borradores GPTQ-4bit también produjeron salidas byte-idénticas al borrador canónico.
   • Tipos de Datos (E5): Cambiar a bf16 cambió entre el 36% y el 53% de los bytes de salida debido a la no asociatividad numérica, pero ninguna tasa de seguridad por tarea se movió fuera de los límites de equivalencia.
4. Control de Sanidad a Escala de Producción (E1): Una sonda separada de un objetivo de 70B (Llama-3.1-70B + borrador de 8B) sin un brazo de control de solo el modelo objetivo mostró una tasa de rechazo de AdvBench de 0.839 (95% IC [0.809, 0.864]). Aunque esto cae dentro de los rangos esperados, se reporta como una sonda de escala en lugar de una afirmación de equivalencia TAIS debido a la falta de un control emparejado.

Significado y Reivindicaciones
El artículo reivindica un nulo conductual acotado: bajo las condiciones específicas de temperatura cero, vLLM v0.19 y las familias de modelos probadas, la decodificación especulativa no introduce regresiones de seguridad.

• Validación Operacional: El resultado de identidad de bytes en el borrador adversarial se enmarca como una validación operacional de la garantía de distribución (Leviathan et al. [24]) de la decodificación especulativa a $T=0$, demostrando que la vía de aceptación no tiene un canal conductual medible para la filtración de seguridad en este régimen.
• TAIS como Protocolo: El artículo contribuye con TAIS como un protocolo reutilizable y auditable para que los proveedores y usuarios verifiquen la equivalencia de seguridad antes de desplegar pilas de decodificación especulativa.
• Límites del Alcance: Los autores limitan explícitamente sus afirmaciones. El nulo se aplica solo a $T=0$, decodificación codiciosa y los marcos probados. No se extiende a temperaturas de muestreo $T>0$, variantes de especulación de árbol (EAGLE, Medusa) o familias de modelos no probadas. El artículo advierte contra la generalización excesiva de estos resultados a regímenes donde la influencia de la distribución del borrador podría ser más fuerte.

En resumen, el estudio proporciona evidencia empírica de que, para la inferencia codiciosa, las propiedades de seguridad del modelo objetivo se preservan incluso cuando se utilizan modelos borradores cuantizados o alineados adversialmente, siempre que el sistema opere a temperatura cero.