🤖 machine learning

CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

Este artículo presenta CForce, un método de destilación de forzado de consistencia que mejora la relación entre velocidad y calidad de los modelos de lenguaje de difusión mediante la alineación de las predicciones de máscara de etapa temprana con los refinamientos de etapa tardía a través de un novedoso objetivo de divergencia KL adaptativa de confianza.

Autores originales: Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

Publicado 2026-08-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo leen palabras una por una, como una persona pasando las páginas de un libro, sino que pueden mirar una oración completa y adivinar las piezas faltantes de un solo golpe. Este es el reino de los Modelos de Lenguaje de Difusión (dLLMs). Piensa en ellos como un detective tratando de resolver un misterio donde la escena del crimen está cubierta por la niebla. El detective comienza con una página llena de signos de interrogación (máscaras) y, paso a paso, despeja la niebla para revelar las palabras ocultas. Cuanto más rápido puedan despejar la niebla, más rápido podrán escribir una historia.

Sin embargo, hay un inconveniente. Si el detective intenta despejar demasiada niebla a la vez para ahorrar tiempo, podría adivinar las palabras equivocadas al principio. Una vez que se comete un error, es difícil de corregir y toda la historia puede descarrilarse. Este artículo aborda ese problema específico: cómo hacer que estos detectives que "despejan la niebla" sean súper rápidos sin volverse descuidados. Los autores introducen un nuevo truco de entrenamiento llamado Consistency Forcing (CForce) para ayudar al modelo a confiar más en sus primeras suposiciones, incluso cuando tiene prisa.

El Problema: El Error de la Hora Pico

Imagina a un grupo de artistas intentando pintar un mural juntos. En una configuración tradicional, pintan una sección pequeña, esperan a que se seque y luego pasan a la siguiente. Es lento pero seguro. Los modelos de difusión son como un equipo que intenta pintar diez secciones a la vez. Esto es increíble para la velocidad, pero si las primeras secciones se pintan con los colores equivocados porque los artistas tenían prisa, el resto del mural podría verse extraño, y arreglarlo después es una pesadilla.

El artículo señala que cuando estos modelos intentan ser súper rápidos (usando "paralelismo agresivo"), a menudo hacen suposiciones poco fiables en las etapas iniciales. Estos errores tempranos se propagan como un mal rumor, arruinando el resultado final. El objetivo no era solo hacer el modelo más rápido; era hacer que las suposiciones tempranas fueran lo suficientemente fiables como para manejar esa velocidad.

La Solución: El Entrenador de "Viaje en el Tiempo"

Entra el Consistency Forcing (CForce). Imagina a un entrenador que observa a un estudiante atleta practicar. Normalmente, el entrenador podría simplemente decir: "Hazlo de nuevo". Pero CForce es un tipo especial de entrenador que utiliza un truco de "viaje en el tiempo".

Así es como funciona:

El Auto-Juego (Self-Play): Se le pide al modelo que genere una historia por su cuenta, creando un camino completo desde una página en blanco hasta una oración terminada. Este es su "auto-despliegue" (self-rollout).
Las Etapas: En lugar de mirar cada paso diminuto, el entrenador divide este camino en "etapas". Piensa en ello como ver una película en cámara rápida, pero haciendo pausas solo cuando se ha revelado un fragmento significativo de la trama.
La Lección: El entrenador toma una etapa temprana (donde la historia aún es brumosa e incierta) y la compara con una etapa posterior (donde la historia es más clara y completa). El entrenador le dice al modelo: "Oye, la suposición que hiciste cuando la historia aún estaba brumosa debería parecerse mucho a la suposición que hagas cuando la historia esté clara".

El modelo es entrenado para alinear sus predicciones tempras y temblorosas con sus predicciones posteriores y seguras. Es como decirle a un estudiante: "Tu primer borrador del ensayo ya debería tener las ideas principales correctas, porque tu versión final definitivamente las tendrá".

La Fórmula Secreta: Confianza y Anclajes

Para que este entrenamiento funcione perfectamente, los autores añadieron dos herramientas ingeniosas:

Divergencia KL Adaptativa a la Confianza (Confidence Adaptive KL Divergence): Esta es una forma elegante de decir: "Escucha más fuerte cuando estés seguro". Si la etapa posterior de la historia es muy segura sobre una palabra, se presiona fuertemente al modelo para que coincida con esa predicción. Si la etapa posterior aún no está segura, se le permite al modelo ser un poco más flexible. Es un maestro dinámico que sabe cuándo ser estricto y cuándo ser permisivo.
El Ancla CE (The CE Anchor): Esto actúa como una red de seguridad. Cuando una palabra es finalmente revelada (pintada en el mural), el modelo recibe un pequeño empujón adicional para asegurarse de que sea exactamente correcta. Esto evita que el modelo se desvíe demasiado del camino en el momento crítico en que se compromete una palabra.

Lo que Encontraron: Velocidad Sin el Choque

El equipo probó este método en dos tipos de modelos: uno que solo escribe texto nuevo (no-edición) y uno que también puede volver atrás y corregir errores (capaz de edición).

Para los Modelos "Fixer" (Correctores): Los resultados fueron impresionantes. Al usar CForce, el modelo podía generar 9.08 tokens (palabras o partes de palabras) por cada pasada hacia adelante, subiendo desde 6.94, mientras que en realidad era más preciso (saltando de un 85.57% a un 86.41% de precisión). Era más rápido y más inteligente al mismo tiempo.
Para los Modelos "Writer" (Escritores): Aquí, hubo una compensación, pero una buena. El modelo podía generar 6.42 tokens por pasada (frente a los 3.60 anteriores), lo cual es un enorme aumento de velocidad. Aunque la precisión disminuyó ligeramente en comparación con la versión lenta y cuidadosa, seguía siendo mucho mejor que otros métodos rápidos.

El artículo sugiere que este método funciona porque enseña al modelo a ser consistente consigo mismo. Al forzar las suposiciones tempranas, de bajo contexto, a coincidir con la realidad posterior de alto contexto, el modelo aprende a tomar mejores decisiones desde el principio.

La Conclusión

Este artículo no pretende haber resuelto todos los problemas de la velocidad de la IA, pero ofrece una nueva y prometedora forma de manejar la "hora pico" de la generación de texto. Al usar el yo futuro del modelo para guiar a su yo presente, el Consistency Forcing ayuda a los modelos de difusión a funcionar más rápido sin tropezar con sus propios pies. Es un recordatorio de que, a veces, la mejor manera de avanzar rápidamente es asegurarse de que estás mirando en la misma dirección que la persona en la que te convertirás más tarde.

Resumen Técnico: CForce: Impulsando la Decodificación Paralela para dLLMs mediante el Forzado de Consistencia

1. Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (dLLMs) aceleran la generación de texto al predecir múltiples tokens enmascarados en una sola pasada hacia adelante (forward pass), logrando una alta paralelización. Sin embargo, bajo estrategias de decodificación paralela agresivas (donde se comprometen muchos tokens simultáneamente basados en umbrales de confianza), las etapas tempranas de eliminación de ruido suelen sufrir de predicciones poco fiables debido a un contexto limitado. Estos errores tempranos se propagan a las etapas posteriores, degradando la calidad general de la generación.

Los métodos de aceleración existentes enfrentan dos limitaciones primarias:

Los enfoques en tiempo de inferencia (por ejemplo, caché, decodificación especulativa) no modifican los parámetros del modelo para mejorar la fiabilidad inherente de la predicción.
Los enfoques basados en entrenamiento a menudo dependen de trayectorias construidas, generadas por un profesor o con privilegios. Estos objetivos difieren de los estados de inferencia reales del modelo estudiante (trayectorias de bajo contexto y decididas por umbrales), lo que provoca un desajuste entre el entrenamiento y la inferencia.

El desafío central es mejorar la fiabilidad de las predicciones en las etapas tempranas bajo una decodificación de alta paralelismo sin depender de profesores externos ni alterar el algoritmo de decodificación fundamental.

2. Metodología: Forzado de Consistencia (CForce)

CForce es un método de destilación diseñado para alinear las predicciones de las etapas de eliminación de ruido tempranas y de bajo contexto con las de las etapas posteriores y más informativas dentro de la propia trayectoria de decodificación del modelo.

2.1 Construcción de Trayectorias por Etapas

En lugar de entrenar en cada paso nativo de decodificación, CForce construye trayectorias "por etapas" a partir de auto-ejecuciones (self-rollouts) de un dLLM preentrenado:

Auto-ejecución (Self-Rollout): El modelo genera una trayectoria utilizando decodificación paralela basada en confianza (revelando tokens por encima de un umbral $\tau$ ).
Partición de Etapas: La trayectoria se submuestrea en etapas basadas en el número acumulado de tokens recién revelados (tamaño de etapa $S$ ), en lugar de conteos de pasos nativos. Esto asegura que las etapas adyacentes representen cambios significativos de contexto.
Pares Adyacentes: Los pares de entrenamiento consisten en una etapa temprana ( $\bar{s}_i$ ) y una etapa posterior ( $\bar{s}_{i+1}$ ). La etapa posterior sirve como objetivo de gradiente detenido (stop-gradient target) para la etapa temprana.

2.2 Objetivo de Entrenamiento

El método emplea una función de pérdida compuesta para imponer consistencia:

Divergencia KL Adaptativa a la Confianza (CAD):
- Aplicada a las posiciones que permanecen enmascaradas en ambas etapas ( $U_i$ ).
- Interpola dinámicamente entre la KL Directa (Forward KL) y la KL Inversa (Reverse KL) basándose en la confianza ( $c_j$ ) de la predicción de la etapa posterior.
- KL Directa: Minimiza la deriva de la distribución (estable).
- KL Inversa: Fomenta la búsqueda de la moda (agudización de predicciones) pero está ponderada por la confianza para evitar el colapso sobre objetivos inciertos.
- Fórmula: $L_{CAD} = \frac{1}{|U_i|} \sum_{j \in U_i} [D_{KL}(p^{tar}_j \| p^{stu}_j) + c_j D_{KL}(p^{stu}_j \| p^{tar}_j)]$
Ancla de Entropía Cruzada (CE):
- Aplicada a las posiciones recién reveladas ( $\Delta_i$ ) entre etapas.
- Ancla la predicción del estudiante al token objetivo limpio inmediatamente antes del compromiso, estabilizando la transición de los estados enmascarados a los revelados.
Aprendizaje Curricular:
- Para manejar la dificultad de predecir tokens revelados mucho más adelante, el modelo es expuesto gradualmente a la brecha completa entre etapas. La fracción de tokens revelados utilizados en el estado objetivo aumenta del 10% al 100% durante los pasos de entrenamiento.

2.3 Extensión a Modelos con Capacidad de Edición

Para modelos que soportan refinamiento de Token-a-Token (T2T) (por ejemplo, LLaDA 2.1), CForce aprovecha las correcciones de etapas posteriores:

Señales de Edición: Las posiciones donde los tokens son revisados en etapas posteriores ( $\bar{E}_i$ ) se incluyen en el dominio de CAD.
Supervisión: Estas correcciones T2T proporcionan una supervisión más rica para las predicciones de Máscara-a-Token (M2T) tempranas, permitiendo que el modelo aprenda de su propia capacidad de autocorrección.

2.4 Justificación Teórica

El artículo proporciona un límite teórico que muestra que el error de predicción de la etapa temprana está acotado superiormente por la suma de la deriva de la distribución de las etapas adyacentes y el error de token en el límite de revelación. El término CAD minimiza la deriva, mientras que el ancla CE minimiza el error en el límite, minimizando así aproximadamente el error de predicción de la etapa temprana.

3. Contribuciones Clave

Reencuadre de la Aceleración: Cambia el enfoque de la aceleración de dLLM de simplemente reducir los pasos de muestreo a mejorar la fiabilidad de las predicciones de las etapas tempranas bajo una decodificación de umbral agresiva.
Forzado de Consistencia: Introduce un método de destilación que alinea las etapas adyacentes en la propia trayectoria de decodificación del modelo utilizando un objetivo de gradiente detenido del mismo modelo, eliminando la necesidad de profesores congelados.
Objetivo Novedoso: Propone la Divergencia KL Adaptativa a la Confianza (CAD) para equilibrar la estabilidad de la distribución y la búsqueda de la moda, combinada con un ancla de CE para el compromiso de tokens.
Integración con Capacidad de Edición: Demuestra cómo las señales de refinamiento T2T en modelos con capacidad de edición pueden supervisar el borrador M2T, mejorando el rendimiento tanto en entornos de edición como de no edición.

4. Resultados Experimentales

Los experimentos se realizaron en variantes de LLaDA 2.0 (no edición) y LLaDA 2.1 (capacidad de edición) a través de cuatro benchmarks: GSM8K, MATH500, MBPP y HumanEval.

Modelos con Capacidad de Edición (LLaDA 2.1-mini):
- CForce aumentó el promedio de Tokens Por Forward (TPF) de 6.94 a 9.08.
- La precisión promedio mejoró de 85.57% a 86.41%.
- Las ganancias fueron particularmente fuertes en los benchmarks de generación de código (MBPP, HumanEval).
Modelos Sin Edición (LLaDA 2.0-mini):
- CForce desplazó al modelo hacia un punto de operación de mayor paralelismo, aumentando el TPF promedio de 3.60 a 6.42.
- Aunque la precisión promedio fue ligeramente inferior a la del modelo base (debido al compromiso inherente entre velocidad y calidad), superó significativamente al baseline CAP bajo alto paralelismo.
- Bajo presupuestos de TPF fijos y agresivos (por ejemplo, TPF=8), CForce logró la precisión más alta entre todas las variantes.
Rendimiento (Throughput):
- CForce mejoró el rendimiento de tiempo real (wall-clock throughput) en un 42.82% sobre el LLaDA 2.0-mini base y un 22.84% sobre el LLaDA 2.1-mini base en promedio.
Estudios de Ablación:
- Tamaño de Etapa: $S=8$ proporcionó el mejor equilibrio entre paralelismo y precisión.
- Tipo de Objetivo: Los objetivos de gradiente detenido del mismo modelo superaron a los baselines de profesor congelado.
- Forma de KL: CAD superó tanto a la KL Directa pura (mayor paralelismo) como a la KL Inversa pura (mayor precisión), logrando un compromiso superior.

5. Significado y Reivindicaciones

El artículo afirma que el Forzado de Consistencia aborda eficazmente el cuello de botella de la fiabilidad en la decodificación de dLLM de alto paralelismo. Al forzar las predicciones de las etapas tempranas a alinearse con estados posteriores más informados derivados de su propia trayectoria, CForce permite:

Mayor Paralelismo: Los modelos pueden comprometer más tokens por pasada hacia adelante sin una propagación catastrófica de errores.
Mejor Compromiso Velocidad-Calidad: El método empuja la frontera operativa, permitiendo una generación más rápida manteniendo o incluso mejorando la calidad, especialmente en escenarios con capacidad de edición donde las señales de autocorrección están disponibles.
Aplicabilidad General: El enfoque es efectivo tanto para la difusión enmascarada estándar como para modelos con capacidad de edición, utilizando las fortalezas específicas de cada uno (borrador M2T y refinamiento T2T).

Los autores señalan que el método actualmente depende de trayectorias pre-recolectadas de una inicialización fija, las cuales pueden divergir de la distribución del estudiante a medida que el entrenamiento progresa. Se sugiere como trabajo futuro explorar la recolección de trayectorias en línea para adaptar el objetivo de forzado a la evolución del modelo.