Resumen Técnico: Más allá del objetivo: De la imitación a la colaboración en la Decodificación Especulativa

1. Declaración del Problema

La Decodificación Especulativa (SPD) es una técnica estándar para acelerar la inferencia de Modelos de Lenguaje Grandes (LLM). Emplea un modelo "borrador" más pequeño para proponer una secuencia de tokens futuros, los cuales son luego verificados en paralelo por un modelo "objetivo" más grande. El paradigma dominante en SPD se basa en la imitación: el modelo borrador se entrena para aproximar la distribución del modelo objetivo, y un token borrador se acepta solo si coincide exactamente con la predicción del objetivo.

Los autores argumentan que este paradigma es subóptimo porque asume implícitamente que el modelo objetivo es la única autoridad en cada posición de token. En realidad, aunque el modelo objetivo es superior en general, no es uniformemente mejor en cada decisión local. En tareas como el razonamiento y la generación de código, una discrepancia entre el borrador y el objetivo no indica necesariamente un error del borrador; puede representar una ruta alternativa útil que evita un error del modelo objetivo. Los métodos actuales de SPD descartan estas fortalezas "no anidadas" del modelo borrador, limitando el sistema al techo de rendimiento del modelo objetivo por sí solo.

2. Metodología: Decodificación Especulativa Colaborativa (CoSpec)

El artículo introduce la Decodificación Especulativa Colaborativa (CoSpec), un marco que cambia la relación entre los modelos borrador y objetivo de una imitación pura a una colaboración activa. En lugar de tratar las discrepancias como fallos de verificación, CoSpec las trata como oportunidades para seleccionar la rama (borrador u objetivo) que maximice la utilidad final de la tarea.

Arquitectura Central

CoSpec mantiene la estructura computacional estándar de SPD:

1. Redacción: El modelo borrador propone un bloque de $K$ tokens.
2. Verificación: El modelo objetivo verifica el bloque en un solo paso paralelo.
3. Arbitraje: En las posiciones donde el borrador y el objetivo discrepan (discrepancias), una política de arbitraje aprendida decide si aceptar el token borrador o recurrir al token objetivo.

La Política de Arbitraje

La política de arbitraje ($\pi_\theta$) es un modelo ligero (que utiliza adaptadores LoRA en la base del borrador) que observa:

• El prompt de entrada y el prefijo verificado.
• El bloque borrador.
• Los tokens de verificación del objetivo.

Utiliza una máscara de atención híbrida: el contexto atiende causalmente, mientras que la región borrador-objetivo utiliza atención bidireccional para comparar candidatos. La política genera una probabilidad de aceptar el token borrador en cada discrepancia.

Entrenamiento mediante Aprendizaje por Refuerzo

La política se entrena utilizando una pipeline de dos etapas:

1. Calentamiento Supervisado: Inicializado utilizando preferencias etiquetadas por jueces en despliegues de SPD estándar.
2. Aprendizaje por Refuerzo (RL): Optimizado mediante Optimización de Política Relativa de Grupos (GRPO) en despliegues completos de CoSpec.

Formulación de Recompensas:
La función de recompensa está diseñada para maximizar la utilidad final de la tarea (por ejemplo, la corrección de la respuesta) en lugar de la preservación de la distribución.

• Despliegues Correctos: Las recompensas son proporcionales a la longitud del tramo aceptado más allá de la primera discrepancia ($\rho_r$), incentivando a la política a aceptar continuaciones útiles del borrador.
• Despliegues Incorrectos: Se aplican penalizaciones por:
  • Aceptar tokens borrador que son altamente improbables bajo la distribución del objetivo (regularización de riesgo).
  • Rechazar una discrepancia y recurrir a una rama objetivo que finalmente conduce a un error (evitando que la política trate el recurso como un "seguro" predeterminado).
• Normalización: Las ventajas se normalizan dentro de grupos de prompts, con escalado específico para grupos mixtos de despliegues correctos e incorrectos para equilibrar la magnitud de las señales positivas y negativas.

3. Contribuciones Clave

1. Cambio de Paradigma: El artículo formula un paradigma generalizado de SPD que pasa de la "imitación acotada al objetivo" a la "decodificación colaborativa", permitiendo que el modelo borrador contribuya cuando su continuación es más útil para el resultado final de la tarea.
2. Marco CoSpec: La introducción de una política de arbitraje aprendida que acepta selectivamente tokens borrador en las discrepancias, aprovechando las fortalezas complementarias de ambos modelos.
3. Fundamento Teórico: La Proposición 3.1 establece una "brecha de complementariedad local", demostrando que un árbitro oráculo puede superar estrictamente a un verificador fiel al objetivo siempre que la rama del borrador tenga una utilidad esperada mayor en un subconjunto no nulo de estados de discrepancia.
4. Validación Empírica: Extensos experimentos que demuestran que CoSpec logra un rendimiento de vanguardia tanto en velocidad como en precisión de la tarea en múltiples puntos de referencia.

4. Resultados Experimentales

Los autores evaluaron CoSpec utilizando pares de LLaMA-3.3-70B/8B y Qwen3-32B/4B en razonamiento matemático (GSM8K, MATH-500), generación de código (HumanEval, MBPP) y tareas de conocimiento general.

• Rendimiento vs. Solo Objetivo: CoSpec supera consistentemente el rendimiento independiente del modelo objetivo.
  • LLaMA-70B (Greedy): La puntuación media mejoró de 90.05 (Solo objetivo) a 91.73 con una aceleración de 3.96×.
  • Qwen3-32B (Greedy): La puntuación media mejoró de 83.84 a 86.46 con una aceleración de 2.05×.
• Comparación con Líneas Base: CoSpec supera a los métodos que preservan el objetivo (SpS, REST, EAGLE-3) en precisión y a los métodos de verificación laxa (FLy) tanto en velocidad como en precisión. También supera a las líneas base que mejoran la utilidad como AASD.
• Análisis de Complementariedad: Los experimentos muestran que, aunque el modelo objetivo resuelve más ejemplos en general, la "unión oráculo" (ejemplos resueltos por cualquiera de los modelos) es consistentemente superior a la del objetivo por sí solo. CoSpec recupera aproximadamente el 50–65% de estos éxitos no anidados.
• Generalización: El árbitro entrenado se generaliza a dominios no vistos (diálogo, preguntas y respuestas factuales, razonamiento multilingüe) sin reentrenamiento específico de la tarea, lo que sugiere que la política de arbitraje aprende patrones de interacción en lugar de contenido específico de la tarea.

5. Significado y Afirmaciones

El artículo afirma que CoSpec ofrece una nueva perspectiva sobre la decodificación especulativa redefiniendo el papel del modelo borrador. En lugar de servir meramente como un acelerador que aproxima al objetivo, el modelo borrador actúa como un proponente complementario.

Los autores enfatizan que este enfoque es particularmente relevante para tareas donde las salidas se juzgan por la corrección de la respuesta (por ejemplo, matemáticas, código, preguntas y respuestas factuales) en lugar de la adhesión estricta a la distribución del objetivo. Al cambiar el objetivo de la "preservación de la distribución" a la "utilidad final de la tarea", CoSpec demuestra que es posible romper el techo de rendimiento del modelo objetivo manteniendo aceleraciones sustanciales en la inferencia. El trabajo sugiere que los futuros sistemas de decodificación especulativa deberían centrarse en explotar las fortalezas no anidadas de los modelos mediante arbitraje aprendido en lugar de imitación estricta.