CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Resumen Técnico: CR2 – Enrutamiento Controlado por Riesgo y Consciente del Costo para Inferencia de LLM en Dispositivos Móviles y Borde

Enunciado del Problema
A medida que los Modelos de Lenguaje Grande (LLM) migran de nubes centralizadas a entornos de borde móvil, la prestación eficiente requiere equilibrar la latencia, el consumo de energía y la precisión bajo recursos restringidos de dispositivo-borde. Si bien el enrutamiento a nivel de consulta entre modelos ligeros en el dispositivo y modelos más potentes en el borde ofrece un mecanismo flexible para navegar este compromiso, los métodos de enrutamiento existentes están diseñados principalmente para entornos de nube centralizada. Estos enfoques anteriores optimizan los costos a nivel de token o los compromisos estáticos entre calidad y costo, sin capturar las sobrecargas dinámicas de latencia y energía inherentes a las implementaciones de borde inalámbrico.

Existe una brecha crítica en la estructura de decisión de dos etapas requerida por los sistemas dispositivo-borde:

1. Decisión Local (UE): El equipo de usuario (UE) debe decidir si ejecutar una consulta localmente o diferirla al borde utilizando solo información disponible localmente (incrustación de la consulta y preferencia de costo), sin acceso a puntuaciones de modelos de borde ni al estado del borde en tiempo real.
2. Decisión en el Borde: Solo las consultas diferidas se enrutan entre los modelos de borde disponibles basándose en el estado completo del sistema.

Los métodos existentes a menudo asumen un conocimiento global de los estados del borde o tratan el enrutamiento como una selección de un solo disparo, ignorando el riesgo de decisión asimétrico: una deferencia innecesaria incurre en latencia de comunicación y energía, mientras que una aceptación local falsa renuncia irreversiblemente a mejores modelos de borde, degradando la experiencia del usuario. Además, los enrutadores estándar no controlan explícitamente el riesgo de aceptación local falsa bajo información parcial.

Metodología: El Marco CR2
Los autores proponen CR2, un marco de enrutamiento dispositivo-borde de dos etapas que descompone el problema de enrutamiento en una puerta de aceptación local desplegable y un selector de borde consciente del estado.

1. Modelado del Sistema y Costos:

   • El sistema modela la latencia de extremo a extremo y el consumo de energía, incorporando condiciones inalámbricas estocásticas (ganancias de canal de enlace ascendente/descendente), cargas de trabajo computacionales (etapas de prellenado y decodificación) y perfiles de potencia de dispositivo/borde.
   • Se define un costo de implementación como una suma ponderada de latencia y energía normalizadas, en relación con un modelo de referencia.
   • El objetivo de enrutamiento se formula como maximizar la precisión sujeta a un presupuesto de costo de implementación, parametrizado por una función de utilidad escalarizada $u_m = y_m - \lambda c_m$, donde $\lambda$ es un peso de costo.

2. Arquitectura de Dos Etapas:

   • Etapa 1: Aceptación Local en UE (Puerta de Margen): Un módulo ligero en el dispositivo calcula un "margen de utilidad" para estimar si la ejecución local es competitiva con la mejor alternativa en el borde.
     • Utiliza un codificador de consultas congelado y una cabeza de puntuación ligera.
     • Toma como entrada la incrustación de la consulta y el peso de costo especificado por el operador $\lambda$.
     • No accede a las utilidades de los modelos de borde ni al estado de tiempo de ejecución $\xi$ antes de tomar la decisión.
   • Etapa 2: Selector de Utilidad en el Borde: Para las consultas diferidas, el servidor de borde selecciona el modelo óptimo del grupo de borde basándose en la estimación completa de utilidad (incorporando el estado de tiempo de ejecución $\xi$).

3. Entrenamiento y Calibración:

   • Distilación Maestro-Alumno: Un selector "maestro" se entrena con datos de información completa (consulta + estado + etiquetas de corrección) para estimar la corrección del modelo y los márgenes de utilidad. La puerta en el dispositivo se entrena para destilar el margen de utilidad inducido por el maestro ($\Delta$) entre la ejecución local y en el borde.
   • Funciones de Pérdida: La puerta se optimiza utilizando una combinación de:
     • Pérdida de Signo: Alineando el signo del margen predicho con la preferencia maestro local-vs-borde.
     • Pérdida de Margen: Regresando el margen predicho hacia el margen continuo del maestro (utilizando pérdida de Huber).
     • Regularizador de Monotonía: Imponiendo que el margen predicho sea no decreciente con respecto al peso de costo $\lambda$, reflejando la propiedad estructural de que pesos de costo más altos favorecen la ejecución local.
   • Control de Riesgo Conformal (CRC): Para abordar el riesgo asimétrico de aceptación local falsa, los autores introducen un procedimiento de calibración CRC.
     • Para un nivel de riesgo objetivo $\alpha$, CRC mapea la puntuación aprendida a un umbral de aceptación calibrado $\tau^*(\lambda; \alpha)$.
     • Esto asegura que el riesgo marginal de aceptación falsa (la probabilidad de aceptar localmente cuando un modelo de borde es estrictamente mejor) esté acotado por $\alpha$ bajo la suposición de intercambiabilidad entre los datos de calibración y prueba.

Contribuciones Clave

1. Marco Restringido por Implementación: El artículo establece un marco de enrutamiento de dos etapas que respeta explícitamente las restricciones de información de la implementación en borde móvil, separando la aceptación local de la UE de la selección de modelos en el borde.
2. Algoritmo CR2: Los autores desarrollan CR2, que presenta:
   • Una puerta de margen observable por la UE que destila márgenes de utilidad de información completa en una puntuación desplegable en el dispositivo.
   • Un regularizador de monotonía para garantizar decisiones coherentes en diferentes puntos de operación de peso de costo.
   • Una regla de calibración CRC por $\lambda$ que proporciona control explícito sobre el riesgo marginal de aceptación falsa sin requerir puntuaciones de modelos de borde en la UE.
3. Rendimiento Empírico: La evaluación en una tarea de enrutamiento derivada de un punto de referencia (utilizando modelos Qwen y costos de implementación perfilados) demuestra que CR2 alcanza la frontera de Pareto de precisión-costo desplegable más eficiente. Reduce el costo de implementación normalizado hasta un 16.9% a precisión igualada en comparación con líneas base fuertes a nivel de consulta (KNN, MLP, EmbedLLM, LLM-Rank).

Resultados

• Compromiso Precisión-Costo: CR2 supera consistentemente a las líneas base en el plano precisión-costo. En regiones operativas ampliadas, forma la frontera más fuerte entre los métodos desplegables.
• Reducción de Costos: En niveles de precisión fijos (por ejemplo, 0.81 y 0.82), CR2 reduce el costo de implementación normalizado en un 16.9% y un 16.2% respectivamente en comparación con KNN.
• Control de Riesgo: Los umbrales calibrados con CRC controlan con éxito la tasa marginal empírica de aceptación falsa, manteniéndola dentro de los límites especificados (por ejemplo, $\alpha=0.01$) mientras se mantiene una precisión competitiva.
• Eficiencia: La puerta de margen en el dispositivo es computacionalmente ligera (aprox. 105k parámetros, 207k FLOPs), significativamente más pequeña que las referencias de información completa u otros enrutadores paramétricos como LLM-Rank.
• Descomposición de Errores: El análisis muestra que la brecha de rendimiento restante entre el CR2 desplegable y el oráculo de información completa se impulsa principalmente por "deferencias falsas" (sobre-escalada) a costos más bajos, mientras que la aceptación local falsa permanece baja (<1.5%).

Significado y Afirmaciones
El artículo afirma que CR2 cierra la brecha entre el enrutamiento a nivel de consulta y la prestación de LLM en el borde al formular la selección de modelos bajo una implementación dispositivo-borde de dos etapas. Su significado radica en:

• Desacoplamiento: Desacoplar exitosamente la decisión local (que debe tomarse con información parcial) de la decisión en el borde (que tiene información completa).
• Control de Riesgo: Proporcionar un mecanismo riguroso y libre de distribuciones (mediante CRC) para regular explícitamente el riesgo de aceptación local falsa, un requisito crítico para una inferencia en el borde fiable donde la sobrecarga de comunicación es costosa.
• Practicidad: Demostrar que una puerta ligera basada en codificador congelado puede aproximar estrechamente a un oráculo de información completa, habilitando un enrutamiento eficiente y consciente del costo en escenarios reales de borde inalámbrico sin requerir coordinación densa entre niveles ni conocimiento global del estado en el dispositivo.

Los autores concluyen que CR2 ofrece una solución robusta para la inferencia colaborativa en borde móvil, equilibrando los compromisos entre latencia, energía y precisión mientras se adhiere a las estrictas restricciones de información de las implementaciones de borde inalámbrico.