💻 computer science

Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation

Este artículo presenta COOL-SD, una relajación con recocido teóricamente fundamentada de la decodificación especulativa que acelera la generación de imágenes autorregresiva mediante la optimización de las distribuciones de remuestreo y el aprovechamiento del análisis de perturbación para lograr compensaciones entre velocidad y calidad superiores en comparación con los métodos existentes.

Autores originales: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

Publicado 2026-01-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El problema del "Pintor Lento"

Imagina que tienes a un artista de clase mundial (el Modelo Objetivo) que puede pintar imágenes increíblemente realistas, pero es muy lento. Pinta un pequeño trazo a la vez, y antes de añadir el siguiente, debe revisar cuidadosamente el anterior. Si quieres una imagen de alta resolución con miles de pinceladas, este proceso tarda una eternidad.

Para acelerar esto, contratas a un bocetador amateur que es muy rápido (el Modelo de Borrador). El bocetador adivina rápidamente cómo deberían verse las próximas pinceladas. Luego, el maestro artista revisa rápidamente estas conjeturas. Si las conjeturas son perfectas, el artista las acepta todas de una vez, ahorrando tiempo. Si una conjetura es errónea, el artista la rechaza y pinta la pincelada correcta él mismo.

Esto se llama Decodificación Especulativa. Funciona de maravilla para el texto, pero para las imágenes, a menudo se topa con un muro. ¿Por qué? Porque las imágenes son "difusas". Hay muchas formas de pintar una nube o un árbol que se ven casi idénticas. El bocetador suele adivinar una nube "buena", pero el maestro artista prefiere una nube ligeramente diferente. En el sistema antiguo, si la conjetura no es una coincidencia exacta, se rechaza. Esto sucede tan a menudo que la aceleración desaparece.

La solución del artículo: COOL-SD

Los autores proponen un nuevo método llamado COOL-SD (Cool Speculative Decoding). Se dieron cuenta de que ser demasiado estricto con las "coincidencias exactas" ralentiza las cosas. En su lugar, introdujeron un sistema que es más flexible pero sigue siendo matemáticamente sólido.

Aquí están los dos "trucos" principales que utilizaron, explicados de forma sencilla:

1. La regla de "Suficientemente bueno" (Aceptación Relajada)

En el sistema antiguo, si el bocetador adivinaba una nube azul y el artista quería una ligeramente distinta, la conjetza se descartaba.
COOL-SD dice: "Espera, esa nube está casi bien. Aceptémosla".

Permiten que las conjeturas del bocetador sean aceptadas incluso si no son una coincidencia del 100%. Esto es como un profesor calificando un examen: en lugar de exigir que cada respuesta sea perfecta, otorga crédito parcial por respuestas "suficientemente cercanas". Esto permite que el artista acepte más conjeturas y pinte más rápido.

2. El programa de "Enfriamiento" (Annealing)

Aquí está la parte difícil: si aceptas respuestas "suficientemente buenas" con demasiada facilidad, la imagen final podría empezar a verse extraña o borrosa (esto se llama "deriva" o drift). Necesitas una forma de equilibrar la velocidad con la calidad.

Los autores descubrieron un patrón que llaman Annealing (Recocido). Piensa en esto como enfriar un metal caliente para hacerlo fuerte.

Al principio de la pintura: El bocetador apenas se está calentando. Las reglas son laxas. Aceptamos casi cualquier conjetura "suficientemente buena" para poner las cosas en marcha.
A medida que la pintura progresa: Nos volvemos más estrictos. A medida que nos acercamos a los detalles finales, exigimos que las conjeturas sean más precisas.

Demostraron matemáticamente que empezar de forma laxa y volverse más estricto (un programa de "decaimiento") es la mejor manera de mantener la alta calidad de la imagen y, al mismo tiempo, ser rápido.

3. El "Arreglo Mágico" (Resampling Óptimo)

A veces, incluso con la regla de "Suficientemente bueno", el bocetador hace una conjetura que está demasiado alejada. En el sistema antiguo, el artista simplemente pintaría la pincelada correcta.
COOL-SD hace algo más inteligente: Cuando una conjetza es rechazada, el artista no elige la pincelada "correcta" al azar. Utiliza una fórmula matemática especial para elegir una nueva pincelada que equilibre perfectamente el error del bocetador con la visión del artista. Esto asegura que la imagen final no se distorsione, a pesar de que hayamos aceptado algunas conjetzas "imperfectas" anteriormente.

Los Resultados: Más rápido, no peor

El artículo probó esto en dos generadores de imágenes potentes (LlamaGen y Lumina-mGPT).

Velocidad: Hicieron que la generación de imágenes fuera de 2.7 a 3.1 veces más rápida que el método estándar.
Calidad: Las imágenes se veían casi exactamente iguales que el método lento y perfecto.
Comparación: Superaron al mejor método "relajado" anterior (como LANTERN++) por un margen significativo, ofreciendo un mejor equilibrio entre velocidad y calidad de imagen.

Resumen

Imagina que estás conduciendo un coche.

Método Antiguo: Conduces con mucho cuidado, deteniéndote en cada semáforo en rojo, incluso si no hay nadie. Es seguro, pero lento.
Métodos "Relajados" Anteriores: Conduces más rápido, pero a veces te saltas los semáforos en rojo y chocas, o conduces tan rápido que el coche se desmorona.
COOL-SD: Tienes un sistema de navegación inteligente. Te permite acelerar cuando la carretera está despejada (al principio del viaje) pero te dice que frenes y seas preciso a medida que te acercas a una intersección complicada (más tarde en el viaje). También tiene un sistema de "recuperación de accidentes" que arregla instantáneamente cualquier pequeño error para que nunca llegues a chocar.

¿El resultado? Llegas a tu destino (la imagen terminada) mucho más rápido, sin sacrificar la seguridad o la calidad del viaje.

Resumen Técnico: Relajación por Recocido de la Decodificación Especulativa para la Generación de Imágenes Autorregresiva más Rápida

Planteamiento del Problema

Los modelos autorregresivos (AR) han emergido como un paradigma poderoso para la generación de imágenes, igualando o incluso superando a menudo a los métodos basados en difusión. Sin embargo, su naturaleza secuencial —predecir un token a la vez— resulta en una latencia de inferencia sustancial, particularmente para imágenes de alta resolución que requieren miles de tokens. Si bien la Decodificación Especulativa (SD) ha acelerado con éxito la inferencia de los Modelos de Lenguaje Extensos (LLM) mediante el uso de un modelo de borrador rápido para proponer tokens que luego son verificados por un modelo objetivo más lento, su aplicación a la generación de imágenes ha sido limitada.

Investigaciones previas atribuyen esta limitación a la ambigüedad en la selección de tokens: en la generación de imágenes, múltiples tokens candidatos suelen recibir probabilidades casi idénticas, lo que dificulta que el modelo de borrador prediga con precisión los tokens con mayor rango del modelo objetivo. Este desajuste conduce a tasas de aceptación de tokens bajas durante la etapa de verificación. Los intentos existentes para abordar esto, como LANTERN y LANTERN++, introducen esquemas de verificación "relajados" que permiten una divergencia limitada de la distribución objetivo. Sin embargo, estos métodos dependen de diseños heurísticos impulsados empíricamente que carecen de un fundamento teórico respecto a su divergencia de la distribución objetivo, lo que resulta en ganancias de rendimiento modestas.

Metodología: COOL-SD

El artículo propone COOL-SD (Relajación por Recocido de la Decodificación Especulativa), un marco construido sobre dos ideas teóricas clave para mejorar la relación velocidad-calidad en la generación de imágenes AR.

1. Fundamento Teórico de la SD Relajada

Los autores generalizan el marco estándar de SD reemplazando la prueba de aceptación rígida de coincidencia exacta por una probabilidad de aceptación controlable $f_i$ . Esta relajación permite prefijos aceptados esperados más largos, pero introduce un sesgo de deriva distributiva.

Remuestreo Óptimo: Los autores derivan un límite superior casi ajustado de la distancia de Variación Total (TV) entre la distribución de salida de la SD relajada y la distribución objetivo. Al minimizar este límite, derivan las distribuciones de remuestreo óptimas por token ( $G^*_i$ ). Estas distribuciones están diseñadas para corregir el sesgo introducido por la aceptación relajada, asegurando que la salida se aproxime estrechamente al modelo objetivo.
Propiedad de Recocido (Annealing): A través del análisis de perturbación, los autores revelan que, para un número fijo de tokens aceptados esperados, el límite de TV se minimiza cuando las probabilidades de aceptación disminuyen monótonamente a través de las posiciones de los tokens. Esto sugiere que relajar el criterio de aceptación de forma más agresiva al principio de una secuencia y endurecerlo más tarde es teóricamente superior a una relajación uniforme.

2. El Algoritmo COOL-SD

Basándose en estos conocimientos, COOL-SD integra:

Programación de Aceptación con Decaimiento Exponencial: En lugar de un parámetro de relajación fijo, COOL-SD emplea una probabilidad de aceptación $f_i$ que decae exponencialmente a medida que la posición de decodificación $i$ aumenta ( $\omega_i = \delta \cdot \exp(-\nu \cdot i - \mu)$ ). Esta estrategia de "recocido" reduce el cambio distributivo en comparación con la relajación uniforme.
Remuestreo Principiado: El algoritmo utiliza la distribución de remuestreo óptima derivada $G^*_i$ (Ecuación 5) para corregir los tokens rechazados, en lugar de depender de ajustes heurísticos utilizados en trabajos previos.

Contribuciones Clave

Análisis Teórico de la SD Relajada: El artículo establece una base teórica rigurosa para la decodificación especulativa relajada. Deriva el número esperado de tokens aceptados y un límite casi ajustado de la distancia TV entre la salida relajada y la distribución objetivo.
Derivación de Remuestreo Óptimo: Proporciona una solución de forma cerrada para las distribuciones de remuestreo óptimas por token que minimizan el límite de TV derivado, ofreciendo una alternativa principiada a las estrategias de remuestreo heurísticas.
Perspectiva de Recocido (Annealing): Los autores demuestran que un esquema de aceptación de decaimiento monótono minimiza el límite de sesgo distributivo, motivando el diseño del criterio de aceptación por recocido.
Marco COOL-SD: Proponen COOL-SD, que combina las distribuciones de remuestreo óptimas derivadas con un esquema de aceptación de decaimiento exponencial.
Validación Empírica: Experimentos extensos demuestran que COOL-SD mejora consistentemente la frontera de Pareto de velocidad-calidad sobre las variantes de SD existentes (Eagle-1, LANTERN++) en tareas de generación de imágenes AR.

Resultados Experimentales

Los autores evaluaron COOL-SD en dos modelos objetivo: LlamaGen-XL (775M) y Lumina-mGPT (7B), utilizando el conjunto de validación MS-COCO 2017.

Relación Velocidad-Calidad: COOL-SD logra una inferencia significativamente más rápida que las líneas base sin pérdida (Eagle-1) y los métodos relajados previos (LANTERN++) con solo una degradación menor en la calidad.
- En Lumina-mGPT, COOL-SD aumentó la longitud aceptada promedio de 2.76 (Eagle-1) a 3.11, reduciendo la latencia de ~71.6s a ~63.2s (una aceleración de 2.69x) manteniendo puntuaciones de FID y CLIP comparables.
- En LlamaGen-XL, COOL-SD logró una aceleración de 2.72x (3.72s de latencia) con una longitud aceptada de 3.34, mostrando una degradación insignificante en las puntuaciones de FID y CLIP en comparación con la línea base.
Comparación con LANTERN++: COOL-SD produjo consistentemente imágenes de mayor calidad al mismo nivel de latencia o logró una mayor aceleración con niveles de calidad similares. Los resultados cualitativos mostraron que LANTERN++ sufrió de artefactos visibles y fondos fragmentados en aceleraciones más altas, mientras que COOL-SD preservó la fidelidad hasta una aceleración de 3.10x.
Estudios de Ablación:
- Recocido vs. Uniforme: Reemplazar el decaimiento exponencial con un parámetro de relajación uniforme (UNIFORMRSD) resultó en intercambios de FID-Longitud Aceptada inferiores, confirmando el beneficio del esquema de recocido.
- Distribución de Remuestreo: Aplicar la distribución de remuestreo óptima derivada $G^*_i$ a LANTERN++ mejoró significativamente su rendimiento, validando la importancia de la estrategia de remuestreo principiada sobre la heurística utilizada en LANTERN++.

Significado y Afirmaciones

El artículo afirma que COOL-SD ofrece un enfoque principiado y con fundamento teórico para acelerar la generación de imágenes autorregresivas. A diferencia de los métodos heurísticos anteriores, COOL-S está respaldado por un análisis matemático de la fidelidad distributiva. Los autores aseguran que su método:

Proporciona un límite más ajustado sobre el sesgo distributivo mediante el remuestreo óptimo.
Logra una superior relación velocidad-calidad aprovechando un esquema de aceptación por recocido.
Ofrece una base modular para avances futuros, ya que las distribuciones de remuestreo derivadas pueden integrarse sin problemas en otras variantes de SD relajada (demostrado por las mejoras al aplicarse a LANTERN++).

Este trabajo posiciona a COOL-SD como un paso significativo hacia la realización de modelos de imágenes AR más prácticos para aplicaciones en tiempo real e interactivas, abordando eficazmente el problema de la ambigüedad de los tokens inherente a la generación de imágenes.