Resumen Técnico: Lever – Inferencia Especulativa de LLM en Smartphones

Declaración del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) de alta calidad en smartphones está fundamentalmente limitado por la capacidad restringida de la DRAM. Aunque los modelos más avanzados contienen miles de millones de parámetros, los smartphones comerciales suelen ofrecer solo ~10 GB de DRAM, gran parte de la cual se comparte con el sistema operativo y otras aplicaciones. Aunque descargar los pesos del modelo a almacenamiento flash permite utilizar modelos más grandes, introduce un cuello de botella severo en el rendimiento: la decodificación autoregresiva requiere invocaciones repetidas del modelo, y cargar los pesos desde flash para cada generación de token resulta en una latencia de E/S prohibitiva.

Los métodos de decodificación especulativa existentes, que utilizan un pequeño modelo borrador para proponer tokens y un modelo objetivo más grande para verificarlos, no son adecuados para este entorno. Están diseñados para hardware de clase servidor donde ambos modelos residen en memoria de alto ancho de banda y la verificación explota el paralelismo abundante. En dispositivos móviles, estos métodos fallan porque:

1. Comunicación Limitada por Flash: La verificación requiere cargar pesos objetivo desde flash, haciendo que la latencia de E/S sea el costo dominante en lugar del cómputo.
2. Cómputo Limitado por Paralelismo: Las NPU móviles ofrecen significativamente menos paralelismo que las GPU de servidor, haciendo que la verificación de grandes árboles de tokens sea computacionalmente costosa.
3. Ejecución Irregular: La especulación de árboles de tokens introduce ramificación irregular y estructuras dinámicas que no se alinean bien con las operaciones tensoriales fijas y regulares optimizadas para las NPU móviles.

Metodología: El Sistema Lever

Los autores presentan Lever, un sistema integral que optimiza conjuntamente las tres etapas de la decodificación especulativa (redacción, verificación y ejecución) específicamente para la jerarquía de memoria heterogénea DRAM-flash y el hardware móvil CPU-NPU.

1. Construcción de Redacción Optimizada para Móviles

Lever redefine el objetivo de la construcción del árbol de tokens. En lugar de maximizar la tasa de aceptación de los tokens borrador (como en los métodos del lado del servidor), Lever optimiza para los tokens de salida esperados por unidad de latencia del ciclo especulativo.

• Modelado de Ganancia-Costo: Lever estima la ganancia marginal (probabilidad de que un token sea aceptado) y el costo marginal (latencia de generación del borrador + verificación objetivo) para cada expansión potencial del árbol.
• Expansión Codiciosa: Utilizando un algoritmo codicioso, Lever expande el árbol de tokens seleccionando los nodos frontera con la mayor relación ganancia-costo. Esto asegura que el tamaño del árbol esté equilibrado: lo suficientemente grande para amortizar la costosa E/S de flash, pero lo suficientemente pequeño para no abrumar los recursos de cómputo móviles con una sobrecarga excesiva de verificación.
• Detención Adaptativa: La expansión se detiene cuando la ganancia marginal del siguiente mejor candidato cae por debajo de la tasa de ganancia promedio del árbol actual, evitando restricciones de presupuesto fijas.

2. Poda de Verificación Basada en Predictores

Para mitigar el cuello de botella de cómputo de verificar grandes árboles de tokens en los SoC móviles, Lever introduce un mecanismo de salida anticipada.

• Predictor Intermedio: Un predictor de red neuronal ligero se adjunta a una capa intermedia del modelo objetivo. Puntuar las ramas del borrador basándose en estados ocultos para predecir qué ramas tienen más probabilidades de sobrevivir a la verificación final.
• Candidatos Sombra y Normalización: Para garantizar la fiabilidad de la puntuación incluso cuando un nodo padre tiene pocos hijos, Lever incluye "candidatos sombra" (tokens borrador no presentes en el árbol) en el proceso de normalización. Esto evita puntuaciones altas triviales para nodos con un solo hijo.
• Poda Conservadora: Las ramas con puntuaciones predichas bajas se podan antes de recorrer las capas objetivo restantes. Se preserva una "ruta principal" para asegurar que el árbol mantenga profundidad, y salvaguardas evitan una poda excesivamente agresiva que descartaría secuencias válidas. Esto reduce el cómputo de verificación manteniendo la corrección de la salida, ya que la aceptación final del token sigue siendo determinada por el modelo objetivo completo.

3. Aceleración de Ejecución Híbrida de Hardware

Lever reestructura el flujo de ejecución para maximizar la utilización tanto de la CPU como de la NPU.

• Redacción Consciente de Lotes: Aunque la redacción está tradicionalmente limitada por la CPU, Lever identifica que a medida que el árbol de tokens crece, múltiples nodos frontera de alto valor pueden expandirse simultáneamente. Programa estas expansiones en lotes en la NPU para mejorar el rendimiento, mientras maneja expansiones pequeñas y dinámicas en la CPU.
• Separación por Capas en la Verificación: Lever desacopla las capas del transformador de la proyección de salida.
  • NPU: Ejecuta las capas del transformador para todos los nodos preservados de manera por lotes.
  • CPU: Realiza la proyección de salida (generación de logits) bajo demanda solo a lo largo de la ruta aceptada real. Esto evita el cómputo redundante de calcular logits para ramas que finalmente son rechazadas, una fuente significativa de ciclos desperdiciados en las NPU móviles con formas de lote fijas.

Contribuciones Clave

1. Análisis a Nivel de Sistema: El artículo identifica que la decodificación especulativa en dispositivos móviles requiere un cambio de la optimización algorítmica al co-diseño algoritmo-sistema, abordando específicamente las compensaciones entre la latencia de E/S de flash, el paralelismo limitado y los patrones de ejecución irregulares.
2. El Sistema Lever: Un sistema novedoso que integra tres componentes optimizados:
   • Un objetivo de ganancia-costo para la construcción de árboles de tokens consciente de móviles.
   • Un mecanismo de poda basado en predictores para reducir el cómputo de verificación.
   • Una estrategia de ejecución híbrida CPU-NPU que minimiza el cómputo redundante y maximiza la utilización del hardware.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran la efectividad de Lever en múltiples modelos (Llama-3.1-8B, variantes de Qwen3), tareas (código, matemáticas, diálogo) y plataformas de hardware (Snapdragon 8 Gen 3, 8 Elite).

Resultados

Las evaluaciones se realizaron en smartphones comerciales (OnePlus 12, Honor 500 Pro, Honor Magic V5) utilizando modelos cuantizados Q4_0.

• Reducción de Latencia: Lever reduce la latencia de inferencia en un promedio de 2.93× en comparación con la inferencia autoregresiva descargada a flash (Flash-AR) de referencia.
• Mejora sobre la Decodificación Especulativa: Lever logra una aceleración de 1.50× sobre los métodos convencionales de decodificación especulativa (Chain-SD) y de 1.27× sobre EdgeLLM, una línea base específica para móviles.
• Eficiencia: El sistema reduce con éxito la brecha de latencia entre la inferencia respaldada por flash y la residente en memoria. Los estudios de ablación confirman que los tres componentes (optimización de redacción, poda y ejecución híbrida) son necesarios para lograr estas ganancias.
• Robustez: Lever mantiene el rendimiento a través de presupuestos de DRAM variables (0% a 100% de las capas en DRAM), diferentes calidades de modelos borrador y longitudes de salida variables.

Significancia

El artículo afirma que Lever demuestra la viabilidad de ejecutar LLMs de alta calidad y gran número de parámetros directamente en smartphones sin depender de servidores en la nube. Al tratar la decodificación especulativa como un problema de sistemas y no solo como uno algorítmico, Lever gestiona eficazmente las limitaciones de las jerarquías de almacenamiento móvil y las unidades de cómputo heterogéneas. Esto habilita aplicaciones de LLM interactivas, que preservan la privacidad y son rentables (como asistencia de escritura y edición interactiva) que anteriormente eran poco prácticas debido a las limitaciones de memoria y latencia.