Resumen Técnico: Decodificación Consciente del Candidato para Modelos de Lenguaje de Difusión

1. Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (DLM) generan texto mediante la denoise iterativa de una secuencia completamente enmascarada. A diferencia de los modelos autorregresivos, los DLM mantienen una predicción provisional para cada posición en cada paso intermedio. Esto crea una oportunidad para la aceleración sin entrenamiento a lo largo de dos ejes distintos:

1. Muestreo Adaptativo: Decidir qué tan rápido las posiciones individuales se comprometen con un token mientras la decodificación continúa (ej. Fast-dLLM, SlowFast, KLASS).
2. Salida Temprana en Tiempo de Generación: Decidir cuándo toda la secuencia puede detenerse y completarse, congelando todas las posiciones restantes de una sola vez (ej. Prophet, SchED).

Los métodos existentes fallan al equilibrar eficazmente estos ejes porque dependen de evidencia que no coincide con el alcance de la decisión:

• Terminación Prematura: Las compuertas de salida temprana existentes (como Prophet) suelen depender de estadísticas de confianza de regiones fijas o reglas dependientes del cronograma. Estas agregan señales a nivel de posición que pueden parecer estables incluso cuando la respuesta candidata subyacente aún está fluctuando. En consecuencia, estas compuertas se activan prematuramente en tareas de cadena de pensamiento (CoT) largas, congelando la secuencia antes de que la respuesta se estabilice, lo que provoca caídas significativas en la precisión (hasta 69 puntos en algunos entornos).
• Muestreo Ineficiente: Los muestreadores adaptativos regulan el ritmo del compromiso de los tokens, pero nunca verifican si la secuencia ha terminado. Continúan decodificando cada token restante incluso si la respuesta ya se ha estabilizado, perdiendo la oportunidad de ahorro de un paro global.
• Dependencia de la Tarea: El tiempo de estabilización del candidato depende altamente de la tarea. Las tareas de respuesta corta pueden estabilizarse tras aproximadamente el 4% de los pasos de decodificación, mientras que las tareas de razonamiento largo a menudo no se estabilizan hasta el 4% final. Una única regla basada en el "progreso" no puede servir a ambos.

2. Metodología: LATCH

Los autores proponen LATCH (Localized Acceleration with Tracked-Candidate Halting), un marco de trabajo sin entrenamiento que separa los dos ejes de aceleración y aplica una compuerta específica a cada uno, haciendo coincidir la evidencia con el alcance de la decisión.

A. Compromiso Verificado por Confianza (CVC): Decidir Cuándo Detenerse

CVC gobierna la decisión de terminación global (llenado y parada). A diferencia de los métodos anteriores que monitorean una región fija, CVC opera sobre el segmento candidato extraído dinámicamente.

• Mecanismo: En cada paso, CVC re-extrae la respuesta candidata del búfer basándose en el formato de salida de la tarea (ej. la parte final para tareas matemáticas).
• Criterio de Convergencia Conjunta: La compuerta solo permite la terminación si dos condiciones se cumplen simultáneamente sobre el segmento extraído:
  1. Confianza: La media de la confianza softmax ($c_t$) del candidato supera un umbral ($\tau_{CVC}$).
  2. Estabilidad: El valor del candidato permanece sin cambios durante un número sostenido de pasos ($run_t$). Este contador solo se incrementa cuando el valor extraído es idéntico al paso anterior y se pausa si no se puede extraer un candidato. La longitud de ejecución requerida es dinámica: $run_t \ge \max(p_{min}, \lceil \gamma \cdot changes_t \rceil)$, donde $changes_t$ es el recuento de cambios de valor.
• Beneficio: Esto asegura que la secuencia se detenga solo cuando la respuesta misma se ha estabilizado, evitando la terminación prematura en tareas de razonamiento largo donde el razonamiento intermedio puede parecer estable pero la respuesta final aún está siendo revisada.

B. Compromiso Temprano por Bloques (BWEC): Decidir Dónde Acelerar

BWEC gobierna el ritmo local de compromiso para los bloques no finales.

• Mecanismo: Aplica una regla de confianza local más económica a los bloques $B_0$ hasta $B_{N-2}$. Si la confianza de una posición enmascarada supera un umbral ($\tau_{BWEC}$), se compromete inmediatamente, saltándose el esquema programado de re-enmascaramiento top-$k$.
• Protección: El bloque final ($B_{N-1}$) queda excluido de BWEC. Este sigue el esquema base para asegurar que la respuesta final no sea comprometida prematuramente por una regla local. La terminación global permanece estrictamente bajo el control de CVC.
• Beneficio: Esto acelera los pasos de razonamiento intermedio (que a menudo se estabilizan temprano) sin arriesgar la integridad de la respuesta final.

3. Contribuciones Clave

1. Análisis de Estabilización Dependiente de la Tarea: Los autores demuestran que el tiempo de estabilización del candidato varía drásticamente entre tareas (del 4% al 96% del progreso de decodificación), lo que hace que el compromiso temprano basado solo en el progreso sea poco fiable.
2. Marco LATCH: Un sistema de doble compuerta que separa el "dónde" (BWEC para bloques no finales) y el "cuándo" (CVC para la terminación global).
   • CVC verifica la identidad y estabilidad del candidato extraído dinámicamente antes de detenerse.
   • BWEC acelera los bloques no finales utilizando señales de confianza locales.
3. Transferibilidad Zero-Shot y Entre Backbones: LATCH requiere solo un conjunto congelado de hiperparámetros ($\tau_{CVC}=0.7, \gamma=2.0, p_{min}=3, \tau_{BWEC}=0.9$) calibrado una vez en un único backbone (LLaDA). Se transfiere sin ajustes a un backbone diferente (Dream) y a través de 11 tareas diversas sin necesidad de ajuste por tarea o construcción de sufijos de prompt.

4. Resultados Experimentales

Evaluado en LLaDA-8B-Instruct y Dream-7B-Instruct en 11 tareas (6 de respuesta corta, 5 de razonamiento largo) en configuraciones zero-shot:

• Precisión: LATCH se mantiene dentro de un 2.0 por ciento de puntos de la precisión de decodificación completa en todos los 22 escenarios de evaluación.
  • En contraste, las compuertas de terminación existentes (Prophet, SchED) y los muestreadores (SlowFast) frecuentemente exceden este margen de tolerancia en tareas de razonamiento largo, con caídas de precisión que oscilan entre 5 y 69 puntos.
  • LATCH evita la dependencia de "sufijos de prompt" del trabajo previo, funcionando de manera robusta en prompts de texto libre.
• Aceleración (TPS):
  • Tareas de respuesta corta: Logra una aceleración de 9.3× – 17.8×.
  • Tareas de razonamiento largo: Logra una aceleración de 2.0× – 3.3×.
• Eficiencia: La aceleración en las tareas de razonamiento largo es impulsada principalmente por BWEC (acelerando bloques intermedios), mientras que CVC proporciona la mayor parte de la ganancia en las tareas de respuesta corta al permitir la terminación global temprana.

5. Significación y Reivindicaciones

El artículo sostiene que el principal modo de fallo de la aceleración actual de los DLM es el desajuste entre la evidencia utilizada (señales agregadas a nivel de posición) y el alcance de la decisión (terminación global de la secuencia).

• Verificación sobre Proxy: LATCH desplaza el objetivo de verificación de un proxy (confianza de región fija) al objeto mismo (el candidato extraído dinámicamente). Esto permite al sistema distinguir entre una suposición transitoriamente estable y una respuesta genuinamente convergente.
• Componibilidad: Se demuestra que los ahorros del muestreo adaptativo (compromiso local) y la salida temprana (parada global) se componen en lugar de competir. Al proteger el bloque final con CVC mientras se aceleran los bloques anteriores con BWEC, LATCH logra aceleraciones que ninguno de los dos ejes podría alcanzar por sí solo sin sacrificar la precisión.
• Practicidad: El marco de trabajo es completamente libre de entrenamiento, no requiere ingeniería de sufijos de prompt y se transfiere entre diferentes arquitecturas de modelos con un único conjunto de hiperparámetros, lo que lo convierte en una solución práctica para desplegar DLM de manera eficiente.