Resumen Técnico: Predicción de Latencia Transferible para el Cribado Rápido de LLM en Dispositivos Perimetrales Heterogéneos

Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLM) en dispositivos perimetrales (edge) heterogéneos (por ejemplo, teléfonos móviles, computadoras de placa única, GPUs integradas) es cada vez más crítico para aplicaciones de baja latencia, sensibles a la privacidad y con restricciones de conectividad. Sin embargo, determinar qué modelo es adecuado para un dispositivo específico bajo requisitos de despliegue determinados sigue siendo un cuello de botella significativo en los sistemas.

El desafío central es que la latencia de inferencia de los LLM no está determinada únicamente por la arquitectura estática del modelo o las capacidades del hardware. En su lugar, es una función compleja de:

• Factores Estáticos: Arquitectura del modelo, escala de parámetros, formato de cuantización y especificaciones del hardware.
• Factores Dinámicos: Longitud del prompt, comportamiento de los tokens generados, Escalamiento Dinámico de Voltaje y Frecuencia (DVFS), utilización del hardware, presión de memoria y estrangulamiento térmico (thermal throttling).
• Fases de Ejecución: La inferencia de LLM consta de fases distintas de prefill (procesamiento del prompt y construcción del KV cache) y decode (generación autoregresiva de tokens), las cuales exhiben diferentes características de latencia y comportamientos de hardware.

Una solución directa —evaluar exhaustivamente cada modelo candidato en cada dispositivo objetivo— es prohibitivamente costosa debido a los costos de configuración en tiempo de ejecución, conversión de modelos, ejecución y recolección de telemetría. Los predictores de latencia existentes suelen basarse solo en características estáticas, fallando al capturar los comportamientos de ejecución específicos de la plataforma, los efectos de programación (scheduling) y las diferencias de ejecución dependientes del backend. Por consiguiente, existe la necesidad de un marco de trabajo consciente del tiempo de ejecución (runtime-aware) y transferible que pueda cribar modelos candidatos antes de la ejecución costosa en el dispositivo objetivo.

Metodología

El artículo propone un marco de predicción de latencia consciente del tiempo de ejecución diseñado para la selección de modelos de despliegue en entornos heterogéneos. El sistema opera a través de cuatro etapas principales:

1. Representación de Configuración

Cada solicitud de inferencia se modela como una tupla de configuración $c = (m, d, r, p)$, donde:

• $m$: Modelo preentrenado (familia, tamaño, cuantización).
• $d$: Dispositivo (perfil de hardware, capacidades de telemetría).
• $r$: Backend de tiempo de ejecución y ajustes de la plataforma (por ejemplo, MLC-LLM, PyTorch, CPU/GPU/NPU).
• $p$: Configuración del prompt/tarea (longitud de entrada, longitud máxima de generación).

2. Arquitectura de Predictor de Doble Ruta

El marco emplea un predictor transferible con dos ramas complementarias fusionadas mediante un mecanismo de compuerta (gated mechanism):

• Ruta Estática: Codifica descriptores estables (perfil del dispositivo, descriptor del modelo, configuración de despliegue) en un embedding estático ($S$). Esto captura la compatibilidad esperada antes de la ejecución.
• Ruta Dinámica: Procesa trazas de telemetría de tiempo de ejecución recolectadas durante el perfilado. Crucialmente, aplica un modelado consciente de las fases:
  • Las trazas de prefill se alinean bajo un tiempo de fase normalizado para reconstruir estados de hardware dispersos y erráticos (bursty).
  • Las trazas de decode preservan el orden temporal para capturar el comportamiento autoregresivo.
  • Un codificador temporal agrega estos elementos en un embedding dinámico ($D$).
• Fusión por Compuerta (Gated Fusion): Una red de compuerta ligera calcula pesos adaptativos ($w_s, w_d$) para fusionar $S$ y $D$. Esto permite que el modelo dependa más de la información estática cuando las configuraciones son estables y más de los datos dinámicos cuando las variaciones de tiempo de ejecución predominan.
• Cabezal de Regresión: Genera la predicción de la latencia de prefill, la latencia de decode y la latencia total.

3. Transferencia y Calibración

Para manejar el despliegue entre distintos dispositivos, el sistema utiliza un conjunto de calibración. Se mide un número reducido de ejecuciones en el dispositivo objetivo para corregir los sesgos específicos del dispositivo. Esto alinea el predictor entrenado en la fuente con la escala de latencia y el régimen de tiempo de ejecución del dispositivo objetivo sin requerir un perfilado exhaustivo.

4. Cribado Basado en Pareto

La latencia predicha se combina con la precisión del modelo (o calidad de la tarea) para realizar una optimización de Pareto. El sistema filtra los candidatos dominados (aquellos con peor latencia y menor calidad) para identificar un conjunto compacto de modelos óptimos de Pareto, equilibrando la capacidad de respuesta y la calidad de la salida.

Principales Contribuciones

1. Formulación: Definió la predicción de latencia de LLM como un problema de configuración de hardware-tiempo de ejecución-modelo-prompt, permitiendo la predicción a través de diversos dispositivos, modelos, prompts y backends.
2. Arquitectura: Propuso un predictor transferible consciente del tiempo de ejecución que integra descriptores estáticos con telemetría dinámica, separa los comportos de prefill/decode mediante modelado consciente de fases y utiliza fusión por compuerta para la combinación adaptativa de embeddings.
3. Flujo de Trabajo: Diseñó un flujo de trabajo de cribado orientado al despliegue que utiliza predicciones calibradas para filtrar candidatos antes de la ejecución en el dispositivo objetivo, apoyando el análisis de compromiso entre latencia y calidad.
4. Validación: Construyó y evaluó un pipeline de perfilado multiplataforma a través de dispositivos móviles Pixel, Jetson Nano, Orange Pi 5 Pro y una GPU de clase RTX 3090, validando la precisión de la predicción móvil y la cobertura de perfilado heterogéneo.

Resultados Experimentales

El marco fue evaluado en dispositivos Pixel 8 y Pixel 8 Pro, con validación de perfilado en hardware Jetson Nano, Orange Pi 5 Pro y una clase de hardware RTX 3090.

• Predicción Dentro del Mismo Dispositivo: En el Pixel 8, el predictor completo mejoró el $R^2$ de la latencia total de 0.953 a 0.960 y el $R^2$ de la latencia de decode de 0.957 a 0.973 en comparación con una línea base puramente estática. En el Pixel 8 Pro, mejoró significativamente el $R^2$ de la latencia de prefill de -1.383 a 0.966.
• Transferencia Entre Dispositivos: La calibración resultó esencial. Sin ella, los valores de $R^2$ de transferencia eran a menudo negativos (por ejemplo, -0.974 para la latencia total de Pixel 8 Pro $\to$ Pixel 8). Con la calibración, el $R^2$ mejoró a 0.940.
• Perfilado Heterogéneo: Los resultados confirmaron que la latencia es altamente dependiente del dispositivo y del tiempo de ejecución. Por ejemplo, el modelo SmolLM2-1.7B alcanzó 64.38 tokens/s en una GPU de clase RTX 3090 pero solo 8.42 tokens/s en un Orange Pi 5 Pro. Además, en la RTX 3090, los modelos más pequeños no siempre fueron más rápidos, lo que indica que el overhead de los kernels y el comportamiento de la memoria pueden dominar la escala de conteo de parámetros.
• Estudios de Ablación: Confirmaron que los descriptores estáticos por sí solos son insuficientes para la transferencia entre dispositivos y que la calibración es el factor más crítico para estabilizar las predicciones. El modelado consciente de fases proporcionó beneficios claros para la predicción de la latencia de prefill.
• Eficiencia de Cribado: El predictor redujo con éxito el conjunto de modelos candidatos (ratios de filtrado de 0.333 y 0.500 en los escenarios probados) mientras preservaba los mejores modelos factibles.

Significancia y Reivindicaciones

El artículo sostiene que la predicción consciente del tiempo de ejecución con una calibración ligera puede reducir significativamente el costo del perfilado y apoyar el despliegue de LLM conscientes de la latencia en plataformas perimetrales heterogéneas.

• Impacto Práctico: El marco aborda el "cuello de botella de los sistemas" de la selección de modelos, reemplazando el benchmarking exhaustivo con un proceso de cribado predictivo.
• Necesidad de la Dinámica: Los resultados demuestran que los modelos estáticos por sí solos no pueden capturar la compleja interacción de DVFS, el estrangulamiento térmico y la programación de tiempo de ejecución que dicta el rendimiento en los dispositivos perimetrales.
• Transferibilidad: El sistema demuestra que un predictor entrenado en dispositivos de origen puede generalizarse a dispositivos de destino de manera efectiva, siempre que se utilice un pequeño conjunto de calibración para alinear las escalas de latencia.
• Ciclo de Despliegue: Este trabajo enmarca la predicción de latencia no como una tarea de regresión aislada, sino como un componente de un sistema de despliegue de bucle cerrado que mejora iterativamente las decisiones con mediciones limitadas.

Los autores señalan limitaciones, incluyendo que los resultados de predicción más completos se basan en el conjunto de datos de dispositivos móviles Pixel, mientras que las otras plataformas sirvieron principalmente para la validación del perfilado. Se identifica como trabajo futuro la extensión del marco para considerar conjuntamente el rendimiento (throughput), la memoria y la energía junto con la latencia.