Resumen Técnico: Inferencia Eficiente de dLLM en Dispositivos mediante NPU Móvil

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje de Difusión (dLLMs) ofrecen una alternativa prometedora a los modelos autorregresivos al permitir la generación paralela de tokens, su despliegue en dispositivos móviles enfrenta obstáculos significativos. A diferencia de la decodificación autorregresiva, que genera tokens secuencialmente, los dLLMs denuean secuencias enmascaradas de forma iterativa. Este proceso introduce tres desafíos específicos al dirigirse a las Unidades de Procesamiento Neuronal (NPU) móviles:

1. Compromiso de Tokens y Reducción de Cargas de Trabajo: En la decodificación por bloques de los dLLM, a medida que avanza el denoise, el número de tokens enmascarados restantes en un bloque disminuye. Esto conduce a "pasos de cola" (tail steps) donde la carga de trabajo efectiva es demasiado pequeña para utilizar plenamente los motores de tensores de alto rendimiento de la NPU, lo que resulta en una mala amortización del hardware.
2. Revisión de Tokens y Reutilización del Caché KV: Los dLLM requieren la refinación iterativa de los estados de los tokens. Los tokens comprometidos tempranamente en un bloque aún pueden necesitar revisión a medida que se dispone de más contexto. Esto crea actualizaciones dispersas e irregulares en el caché de Clave-Valor (KV) que interrumpen los patrones de ejecución densos y regulares preferidos por las NPU.
3. Acceso a Memoria y Restricciones del Espacio de Direccionamiento: Las NPU móviles tienen un espacio de direcciones virtuales (VA) limitado. La inferencia de dLLM requiere el intercambio frecuente de pesos del modelo, cachés KV y activaciones entre la memoria del sistema y la NPU. Esto incurre en sobrecargas de remapeo y transferencia de datos que pueden anular los beneficios computacionales de la aceleración por NPU.

Las soluciones existentes suelen depender de un offloading ingenuo a la NPU, el cual no logra abordar la naturaleza dinámica de la inferencia de dLLM frente al modelo de ejecución estático basado en teselas (tiles) de las NPU móviles.

2. Metodología: llada.cpp

Los autores proponen llada.cpp, el primer marco de inferencia consciente de la NPU diseñado para alinear la naturaleza de decodificación paralela de los dLLM con las características de ejecución de las NPU móviles. El marco integra tres técnicas principales:

A. Decodificación Especulativa Multi-Bloque

Para abordar el problema de la reducción de la carga de trabajo en las etapas finales de la decodificación, llada.cpp expande dinámicamente la ventana de ejecución.

• Mecanismo: En lugar de limitar el pase forward de la NPU al bloque actual, el sistema incorpora especulativamente tokens de bloques futuros en la ventana de decodificación actual.
• Estrategia: Emplea Deslizamiento Continuo (desplazando la ventana hacia la derecha a medida que los tokens se comprometen) y Lookahead Adaptativo (extendiendo proactivamente la ventana para incluir bloques futuros cuando el recuento de tokens enmascarados del bloque actual cae por debajo de un umbral).
• Beneficio: Esto mantiene una alta densidad de tokens activos para la NPU, asegurando que los costos fijos (lanzamiento de kernels, transferencias de datos) se amorticen sobre una carga de trabajo más grande y productiva sin violar la semántica de decodificación original.

B. Revisión Progresiva de Doble Vía

Para manejar la irregularidad de las revisiones de tokens sin detener la NPU, el marco desacopla la computación densa de las actualizaciones dispersas.

• Estabilización de Tokens por Etapas: Los tokens pasan por tres estados: Invisible (enmascarado/baja confianza), Visible (predicción concreta pero revisable) y Estable (fiable para reutilización a largo plazo).
• Ejecución de Doble Vía:
  • Vía NPU: Dedicada al denoise denso del bloque actual.
  • Vía CPU: Maneja las actualizaciones dispersas para los tokens "Visibles" que requieren revisión. La CPU recomputa asíncronamente la confianza, refresca los estados KV y actualiza las identidades de los tokens utilizando kernels especializados que interpretan los diseños tileados específicos de la NPU (HMX).
• Omisión Selectiva de Logits: Para reducir aún más la carga de la CPU, el sistema omite la proyección de salida y la estimación de confianza para los tokens que ya han alcanzado el estado "Estable".
• Fusión Diferida: Las entradas KV refrescadas de la CPU se fusionan en el caché de prefijo solo en los límites de los pasos (step boundaries), evitando la sincronización de grano fino.

C. Tiempo de Ejecución Optimizado para el Intercambio (Swap)

Para mitigar el espacio de direccionamiento limitado de la NPU y las sobrecargas de transferencia, el marco optimiza la gestión de memoria.

• Mapeo de Buffers Guiado por Grafos: El tiempo de ejecución analiza el grafo computacional para clasificar los tensores como "de larga duración" (pesos, caché KV) o "de corta duración" (activaciones). Utiliza métricas perfiladas para determinar qué objetos permanecen residentes en el espacio de direcciones virtuales visible para la NPU y cuáles se mapean temporalmente, minimizando la fragmentación.
• Transferencia de Datos Basada en Pipeline: El sistema emplea un almacenamiento intermedio (staging) de doble búfer. Mientras la NPU ejecuta los operadores, el host prepara los descriptores de búfer y transfiere los datos para el siguiente operador en un slot de staging separado. Esto solapa el movimiento de datos y los costos de mapeo con la computación, ocultando la latencia.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

• Identificación del Desajuste: Caracteriza el desalineamiento fundamental entre los modelos de ejecución estáticos de las NPU móviles y la inferencia dinámica por bloques de los dLLM, destacando específicamente los desafíos en el compromiso de tokens, la revisión y el acceso a la memoria.
• Marco llada.cpp: Introduce el primer marco de inferencia consciente de la NPU para dLLM en smartphones, combinando innovaciones algorítmicas (decodificación especulativa, revisión progresiva) con optimizaciones a nivel de sistema (tiempo de ejecución de memoria).
• Evaluación Exhaustiva: Valida el marco a través de diversas plataformas de hardware (Qualcomm SM8650, SM8750, SM8850) y cargas de trabajo (LLaDA-8B, Dream-7B), demostrando una traducción efectiva del paralelismo de dLLM en una reducción de latencia.

4. Resultados

La evaluación se realizó en smartphones que incluyen el OnePlus Ace5 Pro (SM8750). Los hallazgos clave incluyen:

• Reducción de Latencia: llada.cpp reduce la latencia de generación de extremo a extremo de LLaDA-8B entre 17× y 42× en comparación con una línea base de CPU con reutilización de caché KV de prefijo.
• Comparación con Modelos Autorregresivos: En SoCs más nuevos (SM8750, SM8850), llada.cpp logra hasta un aceleración de 3.9× sobre un modelo autorregresivo del mismo tamaño (Llama-3-8B) ejecutándose en el mismo hardware, resaltando la ventaja del paralelismo de difusión en las NPU móviles.
• Preservación de la Calidad: El marco mantiene una calidad de generación comparable a las líneas base de CPU. Los estudios de ablación muestran que, si bien la decodificación especulativa multi-bloque por sí sola puede reducir ligeramente la precisión debido al uso prematuro de tokens futuros, el mecanismo de revisión progresiva de doble vía recupera la calidad al mantener los tokens tempranos como revisables.
• Eficiencia Energética: Al proporcionar suficiente trabajo paralelo a la NPU, llada.cpp reduce tanto la potencia promedio como la energía por solicitud. En contraste, ejecutar modelos autorregresivos en NPU mostró un mayor consumo de potencia debido a la sobrecarga de programar cargas de trabajo pequeñas y secuenciales.
• Escalabilidad: El sistema maneja con éxito ejecuciones de salida larga (hasta 512 tokens) y diferentes arquitecturas de dLLM (Dream-7B), demostrando la robustez de la gestión de memoria y las estrategias de decodificación.

5. Significado y Reivindicaciones

El artículo posiciona a llada.cpp como un paso crítico para hacer que los dLLM sean prácticos para aplicaciones móviles sensibles a la latencia. Argumenta que la "computación paralela repetida" de los dLLM, a menudo vista como una desventaja, puede convertirse en una ventaja aprovechando las capacidades de computación tensorial de las modernas NPU móviles.

Los autores enfatizan que el simple hecho de realizar offloading de los dLLM a las NPU es insuficiente; el éxito requiere un enfoque de co-diseño que respete las restricciones del hardware (formas de teselas estáticas, espacio de direcciones limitado) mientras explota las fortalezas del algoritmo (denoise paralelo). El trabajo demuestra que, con las optimizaciones de sistema adecuadas, los dLLM pueden superar a los modelos autorregresivos tradicionales en dispositivos móviles, ofreciendo un camino hacia una IA de baja latencia, preservadora de la privacidad y accesible en los smartphones.