Résumé Technique : TMO – Inférence de LLM Collaborative entre Appareil et Cloud via le Trois-M Offloading

1. Énoncé du Problème

Le déploiement des grands modèles de langage (LLM) fait face à une dichotomie : le déploiement sur l'appareil est contraint par les ressources computationnelles, mémorielles et énergétiques, ce qui limite souvent la qualité de la réponse, tandis que le déploiement dans le cloud introduit de la latence, des coûts de communication et des frais d'utilisation. Ces défis sont exacerbés dans les applications modernes caractérisées par des scénarios Trois-M :

1. Multi-Modal (Multi-modalité) : Les tâches nécessitent des sources de données diverses (ex: texte, images provenant de différents angles de caméra).
2. Multi-Task (Multi-tâche) : Les applications vont de l'édition simple de messages à la reconnaissance d'activités complexes.
3. Multi-Turn (Multi-tour) : Les conversations impliquent des dépendances séquentielles où les décisions antérieures impactent la disponibilité des ressources et le contexte futurs.

Les frameworks existants échouent souvent à traiter les compromis complexes entre qualité de réponse, latence et coût à travers ces dimensions. Plus précisément, ils peinent avec :

• L'emplacement optimal de l'inférence : Décider s'il faut traiter une tâche sur l'appareil ou la déporter vers le cloud.
• La sélection de la modalité : Déterminer quelles modalités de données spécifiques (ex: quelle vue de caméra) télécharger, en équilibrant le gain d'information et les coûts de transmission.
• Les contraintes de ressources : S'adapter à des budgets de ressources arbitraires, spécifiés par l'utilisateur (latence et limites de coût), sans réentraînement.
• L'incertitude de l'inférence : Gérer la nature stochastique des sorties de LLM et l'absence de métriques de vérité terrain pour les tâches génératives lors de l'entraînement hors ligne.

2. Méthodologie : Le Système TMO

Les auteurs proposent TMO, un système d'inférence collaborative appareil-cloud qui orchestre le "Trois-M" offloading. Le cœur de TMO est un moteur de décision par Apprentissage par Renforcement Contraint par les Ressources (RCRL - Resource-Constrained Reinforcement Learning).

A. Architecture du Système

• LLM On-Device (Sur l'appareil) : Un modèle léger (ex: Phi-3-mini) optimisé pour le traitement textuel rapide de tâches simples.
• LLM Cloud (Dans le nuage) : Un modèle multi-modal à grande échelle (ex: GPT-4o) capable de gérer des tâches complexes et des entrées de données diverses.
• Moteur de Décision : À chaque tour de conversation $t$, le système sélectionne une action $a_t = (\ell_t, M_t)$, où $\ell_t$ est le type de LLM choisi (appareil ou cloud) et $M_t$ est le sous-ensemble de modalités à télécharger.

B. Formulation RCRL

Le problème est modélisé comme un processus de décision de Markov (MDP) :

• État ($s_t$) : Comprend une fenêtre glissante des $\tau$ derniers tours, capturant les sélections de LLM précédentes, les modalités téléchargées et les catégories de tâches. Crucialement, l'état est augmenté des budgets de ressources restants ($\xi_t$) pour permettre une prise de décision sensible aux ressources.
• Action ($a_t$) : Sélection du type de LLM et des modalités spécifiques à télécharger.
• Récompense ($r_t$) : Une métrique composite équilibrant :
  • Score de Réponse ($S_{at}$) : Qualité estimée de la réponse du LLM.
  • Métrique d'Association ($\Lambda_{at}$) : Pertinence entre le prompt et les modalités sélectionnées (calculée via CLIP).
  • Latence ($\psi_{at}$) : Temps de calcul (appareil) ou temps de communication + inférence (cloud).
  • Coût d'Usage ($\phi_{at}$) : Consommation d'énergie (appareil) ou frais de service (cloud).
  • Pénalité de Contrainte : La récompense est fixée à zéro si la consommation cumulée de ressources dépasse le budget $\xi_j$ spécifié par l'utilisateur.

C. Innovations Techniques Clés

1. Gestion de l'Incertitude via l'Estimation du Plus Proche Voisin : Pour traiter la nature non déterministe des juges LLM et les paires état-action hors distribution (OOD) lors de l'entraînement hors ligne, TMO utilise une stratégie de k-plus proches voisins (k-NN). Elle estime le score de réponse pour les paires état-action non vues en faisant la moyenne des scores des $k$ paires historiques les plus similaires, pondérée par la distance euclidienne.
2. Généralisation Sensible aux Ressources : Pour garantir que la politique se généralise à des budgets utilisateurs arbitraires sans réentraînement, les auteurs :
   • Incluent les vecteurs de budget restant directement dans l'espace des états.
   • Entraînent en utilisant des budgets de ressources randomisés échantillonnés à partir de distributions (Uniforme, Normale, Hybride) plutôt que des valeurs fixes. Cela empêche le surapprentissage lié à des contraintes de budget spécifiques.
3. Association Tâche-Modalité : Le système utilise des modèles CLIP pré-entraînés pour calculer les scores de similitude entre les prompts textuels et les modalités d'image, guidant ainsi la sélection des sources de données les plus informatives.

3. Le Dataset M4A1

Reconnaissant l'absence de jeux de données adaptés à ce problème spécifique, les auteurs ont constitué M4A1, le premier dataset conçu pour l'évaluation multi-modale, multi-tâche, multi-tour et multi-LLM.

• Composition : 21 014 tours de conversation dérivés du dataset ActionSense (activités de cuisine avec des vues à la première personne, latérales et zénithales) et d'un dataset d'instructions.
• Structure : Chaque épisode comprend 2 à 5 tours, quatre catégories de tâches (Assistant, Recommandation, Requête, Édition de Message) et des interactions avec quatre rôles de LLM (On-device, Cloud, Référence, Juge).
• Stratégie de Génération : Contrairement aux datasets d'experts, M4A1 utilise des actions randomisées pour la sélection du LLM et des modalités. Cela garantit une couverture uniforme de l'espace état-action, rendant l'estimateur k-NN robuste et à faible variance pour toute décision de politique.

4. Résultats Expérimentaux

Les auteurs ont évalué TMO (en utilisant RC-A2C, RC-PPO et RC-DQN) contre plusieurs baselines :

• Baselines Naïves : Uniquement sur l'appareil, uniquement dans le cloud, et sélection aléatoire.
• LLM-as-Router : Utilisation de divers LLM (Phi-3, LLaMA, Mistral, GPT-4, etc.) comme moteurs de décision zero-shot.
• Exploration-Décision SOTA : AIwRG (Inférence Active) et PerLLM (basé sur les Bandits).

Résultats Clés :

• Performance : TMO (spécifiquement RC-A2C) a obtenu la récompense globale la plus élevée (0,86) par rapport à toutes les baselines, surpassant significativement les approches LLM-as-Router qui luttaient avec les violations de contraintes et la sélection sous-optimale des modalités.
• Respect des Contraintes : TMO a maintenu des violations de contraintes quasi nulles à travers diverses configurations de budget, là où les baselines dépassaient fréquemment les limites de latence ou de coût.
• Robustesse :
  • Variations de l'Appareil : TMO a performé de manière constante sur divers matériels (du Raspberry Pi à l'iPhone 15 Pro), adaptant sa stratégie selon les capacités de l'appareil.
  • Généralisation du Budget : L'entraînement avec des budgets randomisés a permis à TMO de se généraliser à des contraintes de budget invisibles (Uniforme, Normale, Hybride) sans réentraînement.
  • Sensibilité à la Latence : Lorsque la latence du cloud était artificiellement augmentée (jusqu'à 10x), TMO déplaçait dynamiquement le trafic vers le LLM on-device pour maintenir les contraintes.
• Études d'Ablation : Le retrait de n'importe quel composant clé (logique de sélection de LLM, sélection de modalité, conscience des ressources ou estimation de l'incertitude) entraînait une dégradation significative des performances, validant la nécessité du framework complet.

5. Signification et Revendications

Les auteurs affirment que TMO représente un changement fondamental dans les stratégies de déploiement de LLM en allant au-delà du simple déchargement statique ou du routage par requête unique. Sa signification réside dans :

1. Optimisation Holistique : C'est le premier système qui optimise conjointement la sélection du LLM, le déchargement de données multi-modales et le contexte multi-tour sous des contraintes de ressources strictes.
2. Adaptabilité Pratique : La représentation d'état sensible aux ressources et l'entraînement randomisé permettent au système de s'adapter à des budgets définis par l'utilisateur sans réentraînement.
3. Gestion de l'Incertitude : La stratégie d'estimation par plus proche voisin proposée offre une méthode robuste pour entraîner des politiques de RL sur des données d'inférence de LLM, répondant à la stochasticité inhérente et aux défis d'évaluation des modèles génératifs.
4. Contribution de Dataset : La publication de M4A1 comble une lacune critique dans la littérature, fournissant un benchmark standardisé pour évaluer l'inférence collaborative dans des environnements complexes.

Les auteurs concluent que bien que TMO améliore significativement le compromis entre qualité de réponse, latence et coût, les travaux futurs se concentreront sur l'incorporation de conditions d'exécution dynamiques (ex: bande passante réseau en temps réel, niveaux de batterie) pour permettre une adaptation proactive.