CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Résumé Technique : CR2 – Routage Contrôlé par le Risque et Conscient des Coûts pour l'Inférence d'LLM sur Dispositifs Mobiles et en Bordure de Réseau

Énoncé du Problème
Alors que les modèles de langage de grande taille (LLM) migrent des clouds centralisés vers des environnements de bordure mobile, un service efficace nécessite de trouver un équilibre entre la latence, la consommation d'énergie et la précision, dans le cadre de ressources contraintes sur les dispositifs et en bordure. Bien que le routage au niveau des requêtes entre des modèles légers embarqués sur le dispositif et des modèles plus puissants en bordure offre un mécanisme flexible pour naviguer dans ce compromis, les méthodes de routage existantes sont principalement conçues pour des environnements cloud centralisés. Ces approches antérieures optimisent les coûts au niveau des tokens ou des compromis qualité-coût statiques, échouant à capturer les surcoûts dynamiques de latence et d'énergie inhérents aux déploiements en bordure sans fil.

Un écart critique existe dans la structure de décision en deux étapes requise par les systèmes dispositif-bordure :

1. Décision Locale (UE) : L'équipement utilisateur (UE) doit décider d'exécuter une requête localement ou de la reporter vers la bordure en utilisant uniquement des informations localement disponibles (embedding de la requête et préférence de coût), sans accès aux scores des modèles de bordure ni à l'état réel de la bordure.
2. Décision en Bordure : Seules les requêtes reportées sont routées parmi les modèles de bordure disponibles, en fonction de l'état complet du système.

Les méthodes existantes supposent souvent une connaissance globale des états de la bordure ou traitent le routage comme une sélection unique, ignorant le risque de décision asymétrique : un report inutile engendre une latence de communication et une consommation d'énergie, tandis qu'une acceptation locale erronée fait irrévocablement perdre l'accès à de meilleurs modèles de bordure, dégradant l'expérience utilisateur. De plus, les routeurs standards ne contrôlent pas explicitement le risque d'acceptation locale erronée dans des conditions d'information partielle.

Méthodologie : Le Cadre CR2
Les auteurs proposent CR2, un cadre de routage dispositif-bordure en deux étapes qui décompose le problème de routage en une porte d'acceptation locale déployable et un sélecteur de bordure conscient de l'état.

1. Modélisation du Système et des Coûts :

   • Le système modélise la latence de bout en bout et la consommation d'énergie, intégrant des conditions sans fil stochastiques (gains de canal liaison montante/descendante), des charges de calcul (étapes de préremplissage et de décodage) et des profils de puissance des dispositifs et de la bordure.
   • Un coût de déploiement est défini comme une somme pondérée de la latence et de l'énergie normalisées, par rapport à un modèle de référence.
   • L'objectif de routage est formulé comme la maximisation de la précision sous contrainte d'un budget de coût de déploiement, paramétré par une fonction d'utilité scalarisée $u_m = y_m - \lambda c_m$, où $\lambda$ est un poids de coût.

2. Architecture en Deux Étapes :

   • Étape 1 : Acceptation Locale UE (Porte à Marge) : Un module léger embarqué calcule une « marge d'utilité » pour estimer si l'exécution locale est compétitive par rapport à la meilleure alternative en bordure.
     • Il utilise un encodeur de requête figé et une tête de scoring légère.
     • Il prend en entrée l'embedding de la requête et le poids de coût spécifié par l'opérateur $\lambda$.
     • Il n'accède pas aux utilités des modèles de bordure ni à l'état d'exécution $\xi$ avant de prendre la décision.
   • Étape 2 : Sélecteur d'Utilité en Bordure : Pour les requêtes reportées, le serveur de bordure sélectionne le modèle optimal parmi le pool de bordure basé sur l'estimation complète de l'utilité (intégrant l'état d'exécution $\xi$).

3. Entraînement et Calibration :

   • Distillation Enseignant-Élève : Un sélecteur « enseignant » est entraîné sur des données à information complète (requête + état + étiquettes de correction) pour estimer la correction des modèles et les marges d'utilité. La porte embarquée est entraînée pour distiller la marge d'utilité induite par l'enseignant ($\Delta$) entre l'exécution locale et celle en bordure.
   • Fonctions de Perte : La porte est optimisée en utilisant une combinaison de :
     • Perte de Signe : Alignement du signe de la marge prédite avec la préférence locale-vs-bordure de l'enseignant.
     • Perte de Marge : Régression de la marge prédite vers la marge continue de l'enseignant (en utilisant la perte de Huber).
     • Régularisateur de Monotonie : Imposition que la marge prédite soit non décroissante par rapport au poids de coût $\lambda$, reflétant la propriété structurelle selon laquelle des poids de coût plus élevés favorisent l'exécution locale.
   • Contrôle de Risque Conformal (CRC) : Pour adresser le risque asymétrique d'acceptation locale erronée, les auteurs introduisent une procédure de calibration CRC.
     • Pour un niveau de risque cible $\alpha$, la CRC mappe le score appris vers un seuil d'acceptation calibré $\tau^*(\lambda; \alpha)$.
     • Cela garantit que le risque marginal d'acceptation erronée (la probabilité d'accepter localement lorsqu'un modèle de bordure est strictement meilleur) est borné par $\alpha$ sous l'hypothèse d'échangeabilité entre les données de calibration et de test.

Contributions Clés

1. Cadre Contraint par le Déploiement : L'article établit un cadre de routage en deux étapes qui respecte explicitement les contraintes d'information du déploiement mobile-bordure, séparant l'acceptation locale UE de la sélection de modèle en bordure.
2. Algorithme CR2 : Les auteurs développent CR2, qui comprend :
   • Une porte à marge observable par l'UE qui distille les marges d'utilité à information complète en un score embarqué déployable.
   • Un régularisateur de monotonie pour assurer des décisions cohérentes à travers différents points de fonctionnement de poids de coût.
   • Une règle de calibration CRC par $\lambda$ qui fournit un contrôle explicite sur le risque marginal d'acceptation erronée sans nécessiter de scores de modèles de bordure au niveau de l'UE.
3. Performance Empirique : L'évaluation sur une tâche de routage dérivée d'un benchmark (utilisant les modèles Qwen et des coûts de déploiement profilés) démontre que CR2 atteint la meilleure frontière de Pareto précision-coût déployable. Il réduit le coût de déploiement normalisé d'jusqu'à 16,9 % à précision égale par rapport à des bases solides au niveau des requêtes (KNN, MLP, EmbedLLM, LLM-Rank).

Résultats

• Compromis Précision-Coût : CR2 surpasse constamment les bases dans le plan précision-coût. Dans des régions de fonctionnement zoomées, il forme la frontière la plus forte parmi les méthodes déployables.
• Réduction des Coûts : À des niveaux de précision fixes (par exemple, 0,81 et 0,82), CR2 réduit le coût de déploiement normalisé de 16,9 % et 16,2 % respectivement par rapport à KNN.
• Contrôle du Risque : Les seuils calibrés CRC contrôlent avec succès le taux d'acceptation erronée marginal empirique, le maintenant dans les limites spécifiées (par exemple, $\alpha=0,01$) tout en maintenant une précision compétitive.
• Efficacité : La porte à marge embarquée est computationnellement légère (environ 105k paramètres, 207k FLOPs), nettement plus petite que les références à information complète ou d'autres routeurs paramétriques comme LLM-Rank.
• Décomposition des Erreurs : L'analyse montre que l'écart de performance restant entre le CR2 déployable et l'oracle à information complète est principalement dû aux « reports erronés » (surescalade) à des coûts plus faibles, tandis que l'acceptation locale erronée reste faible (<1,5 %).

Signification et Revendications
L'article revendique que CR2 comble le fossé entre le routage au niveau des requêtes et le service d'LLM en bordure en formulant la sélection de modèles dans le cadre d'un déploiement dispositif-bordure en deux étapes. Sa signification réside dans :

• Découplage : Le découplage réussi de la décision locale (qui doit être prise avec une information partielle) de la décision en bordure (qui dispose d'une information complète).
• Contrôle du Risque : La fourniture d'un mécanisme rigoureux et sans distribution (via CRC) pour réguler explicitement le risque d'acceptation locale erronée, une exigence critique pour une inférence en bordure fiable où la surcharge de communication est coûteuse.
• Praticité : La démonstration qu'une porte légère basée sur un encodeur figé peut approximer étroitement un oracle à information complète, permettant un routage efficace et conscient des coûts dans des scénarios réels de bordure sans fil, sans nécessiter de coordination inter-niveaux dense ni de connaissance globale de l'état au niveau du dispositif.

Les auteurs concluent que CR2 offre une solution robuste pour l'inférence collaborative mobile-bordure, équilibrant les compromis entre latence, énergie et précision tout en adhérant aux contraintes d'information strictes des déploiements en bordure sans fil.