Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

Cet article propose M-CMAB, un cadre d'ordonnancement pour l'inférence de modèles de langage multimodaux qui utilise des adaptateurs, des contraintes duales et une stratégie de bandit contextuel pour optimiser les décisions en ligne sous des budgets multidimensionnels hétérogènes.

L'essentiel

Imaginez que vous êtes le chef d'orchestre d'un grand restaurant de cuisine internationale (le modèle d'intelligence artificielle). Vous avez des commandes qui arrivent tout le temps : certaines sont simples (un café), d'autres sont complexes (un banquet avec 10 plats différents).

Le problème ? Votre restaurant a deux types de cuisines :

1. La petite cuisine locale (votre téléphone ou ordinateur) : C'est gratuit et rapide, mais le chef est un peu moins expérimenté. Il peut faire des erreurs sur les plats complexes.
2. La grande cuisine du cloud (des serveurs puissants) : Le chef est un génie, il fait des plats parfaits, mais ça coûte cher en électricité et ça prend du temps (parfois il y a des embouteillages sur la route).

Vous avez un budget strict (un peu d'argent et un peu de temps) pour la journée. Si vous dépensez tout votre argent sur les premiers plats, vous ne pourrez plus payer pour les plats importants qui arrivent plus tard.

C'est exactement le problème que résout cette recherche, baptisée M2-CMAB. Voici comment ils ont fait, expliqué simplement :

1. Le Dilemme : Qui cuisine quoi ?

Dans le passé, les ordinateurs prenaient des décisions un peu au hasard ou basées sur des règles rigides ("Si c'est une image, envoie au cloud"). Mais les demandes sont trop variées ! Parfois, une image simple peut être traitée localement, et parfois une question de texte complexe nécessite le cloud. De plus, la vitesse du cloud change tout le temps (comme le trafic routier).

2. La Solution : Un "Chef Assistant" Intelligent (M2-CMAB)

Les chercheurs ont créé un système en trois parties qui agit comme un chef assistant super-intelligent :

A. Le Prédictor (Le "Sommelier" qui sent le plat)

Au lieu de faire goûter chaque plat à tous les chefs (ce qui serait trop lent), ce système utilise un cerveau gelé (un modèle d'IA très puissant mais qu'on ne modifie pas) pour comprendre la demande.

• L'analogie : Imaginez un sommelier qui regarde le menu et dit : "Ah, ce plat demande beaucoup de finesse, il faut le chef du cloud" ou "C'est simple, la cuisine locale suffit".
• La touche créative : Ils n'ont pas rééduqué tout le cerveau du chef (trop cher et lent). Ils ont juste ajouté de petites pochettes d'adaptation (des "adapters") légères. C'est comme si on donnait au chef un petit carnet de notes à jour pour chaque type de plat, sans lui faire réapprendre à cuisiner.

B. Le Constrainer (Le "Contrôleur de Budget")

C'est la partie la plus intelligente. Elle ne regarde pas seulement le plat d'aujourd'hui, mais toute la journée.

• L'analogie : C'est comme un gestionnaire de budget qui tient un tableau noir. Si vous avez dépensé trop d'argent sur les 10 premiers plats, il va dire : "Stop ! Pour les 10 prochains, on doit utiliser la cuisine locale, même si le plat est un peu moins parfait, sinon on sera à sec à midi."
• Il ajuste dynamiquement les règles : si le budget est serré, il devient plus strict. S'il reste du budget, il laisse plus de liberté pour essayer des options coûteuses (pour voir si ça vaut le coup).

C. Le Scheduler (Le "Chef de Cuisine" qui décide)

C'est lui qui prend la décision finale en équilibrant deux choses :

1. L'exploitation : Choisir ce qu'on sait déjà qui marche bien (le chemin sûr).
2. L'exploration : Essayer quelque chose de nouveau (parfois, envoyer un plat simple au cloud peut être plus rapide que prévu, pourquoi ne pas essayer ?).

• Il utilise les prédictions du "Sommelier" et les règles du "Contrôleur de Budget" pour choisir la meilleure option à chaque seconde.

3. Le Résultat : Manger mieux pour moins cher

Les chercheurs ont testé leur système avec de vraies données (des images, des maths, des dialogues) et de vrais serveurs.

• Le verdict : Leur système a obtenu des résultats bien meilleurs (jusqu'à 14% de plus de qualité) que les méthodes actuelles, tout en respectant scrupuleusement le budget.
• La comparaison : Ils se sont même comparés à un "Oracle" (un dieu qui connaît l'avenir). Leur système s'en approche très près, ce qui est incroyable pour un système qui doit décider en temps réel sans savoir ce qui va arriver.

En résumé

Cette recherche, c'est comme donner à votre téléphone un intendant personnel.
Au lieu de gaspiller votre argent et votre temps en envoyant tout au cloud ou en essayant de tout faire vous-même, cet intendant :

1. Comprend la complexité de la tâche.
2. Gère votre budget pour qu'il dure toute la journée.
3. Décide instantanément si c'est le moment de faire confiance à la petite cuisine locale ou d'appeler le grand chef du cloud.

C'est une avancée majeure pour rendre l'intelligence artificielle plus rapide, moins chère et plus accessible sur nos appareils du quotidien.

Résumé technique

1. Problématique

L'article aborde le défi du planification en ligne (scheduling) des inférences de Modèles de Langage Multimodaux (MLLM) dans des environnements contraints par les ressources.

• Contexte : Les MLLM (comme Qwen-VL ou LLaVA) peuvent traiter des entrées hétérogènes (texte, image, audio). Le déploiement pratique implique souvent une collaboration entre des modèles locaux (légers, privés, faible latence) et des API cloud (puissants, coûteux, latence variable).
• Défis principaux :
  1. Hétérogénéité et Incertitude : Les requêtes varient considérablement en composition modale et en difficulté de raisonnement. De plus, les coûts d'exécution (latence, argent, énergie) sont stochastiques et dépendent du "jitter" système et des variations réseau.
  2. Représentation des tâches : Les méthodes existantes utilisent des caractéristiques manuelles ou des statistiques grossières (ex: nombre de tokens) qui sont fragiles face aux changements de distribution. Il est difficile d'extraire des représentations sémantiques fidèles et pertinentes pour la planification à partir de modèles complexes.
  3. Contraintes Budgétaires Irréversibles : Les décisions doivent être prises en temps réel sans connaître les futures requêtes. Une mauvaise allocation peut épuiser prématurément les budgets (monétaires ou de latence), empêchant le traitement de tâches futures complexes. Les approches par apprentissage par renforcement classiques peuvent explorer excessivement et violer les contraintes à long terme.

Le problème est formulé comme un Bandit Contextuel Multi-Arme à Contraintes Multiples avec Sacs à Dos (Multi-modal Multi-constraint Contextual Multi-Armed Bandit with Knapsacks - M2CBwK). L'objectif est de maximiser la récompense cumulative (qualité de réponse) tout en respectant des budgets globaux sur plusieurs dimensions (coût, latence).

2. Méthodologie : M2-CMAB

Les auteurs proposent M2-CMAB (Multi-modal Multi-constraint Contextual Multi-Armed Bandit), un cadre de planification en ligne composé de trois modules couplés :

A. Prédicteur à Adapters (Reward and Cost Predictor)

Pour résoudre le problème de représentation incertaine :

• Backbone Gelé : Un MLLM pré-entraîné (ex: Qwen3-VL) est utilisé avec ses paramètres gelés pour préserver ses capacités génératives et éviter le surapprentissage sur des signaux de feedback bruyants.
• Token [CLS] et Pooling : Un token [CLS] explicite est ajouté au début de la séquence multimodale. Les poids d'attention multi-têtes de ce token sont utilisés pour effectuer un pooling sur les états cachés, générant une représentation compacte de la tâche ($z_t^x$) alignée sur la sémantique globale.
• Adapters Légers : Au lieu de fine-tuner le backbone, des adapters (petites couches MLP) sont entraînés en ligne.
  • Un adapter prédit la récompense attendue ($\hat{r}_t^a$).
  • Des adapters distincts pour chaque dimension de contrainte ($C$) prédisent la consommation de ressources ($\hat{\phi}_t^a$).
  • L'entrée de ces adapters est la concaténation de la représentation de la tâche et de l'embedding de l'action (le backend choisi).

B. Contrôleur Primal-Dual (Constrainer)

Pour gérer les contraintes budgétaires à long terme de manière découplée :

• Relaxation Lagrangienne : Les contraintes globales sont transformées en pénalités via des multiplicateurs de Lagrange ($\lambda_t$) mis à jour en ligne.
• Descente de Miroir en Ligne (OMD) : Les multiplicateurs $\lambda_t$ sont mis à jour à chaque tour en minimisant une fonction objectif duale. Cela permet d'ajuster dynamiquement la pénalité sur la consommation de ressources : si un budget est proche de l'épuisement, $\lambda_t$ augmente, décourageant les actions coûteuses.
• Cela découple la décision immédiate (maximisation de la récompense) de la contrainte cumulative.

C. Ordonnanceur en Deux Phases (Scheduler)

Pour équilibrer l'exploration et l'exploitation :

• Phase Initiale : Une phase d'exploration systématique où chaque action est testée un nombre fixe de fois ($T_0$) pour estimer le rayon optimal du domaine dual ($\Lambda$) via un solveur de programmation linéaire. Cela garantit que les contraintes seront respectées avec une haute probabilité.
• Phase d'Exploration-Exploitation :
  • Calcul d'un score de Lagrangien par action : $S_t(a) = \hat{r}_t^a - \langle \hat{\phi}_t^a / \Phi - 1/T, \lambda_t \rangle$.
  • Échantillonnage probabiliste : L'action avec le score le plus élevé est privilégiée, mais les autres actions sont explorées avec une probabilité décroissante selon l'écart de score (paramètre $\rho$).
  • Mise à jour des pénalités après observation du coût réel.

3. Contributions Clés

1. Représentation Efficace des MLLM : Utilisation d'un backbone gelé avec un mécanisme d'attention sur [CLS] et des adapters légers pour extraire des représentations de tâches sémantiquement riches sans coût computationnel lourd ni perte de stabilité.
2. Contrôle Découplé des Contraintes : Introduction d'un contrôleur primal-dual en ligne qui gère les budgets multidimensionnels irréversibles sans nécessiter de connaître l'avenir, garantissant la satisfaction des contraintes à long terme.
3. Garantie de Regret : Démonstration théorique d'une borne de regret sous-linéaire pour le cadre M2-CMAB sous des contraintes de type "sac à dos" multidimensionnels.
4. Benchmark Réaliste : Création d'un benchmark de référence avec 5 backends hétérogènes (locaux et cloud), 6 jeux de données (y compris un composite) et 7 méthodes de comparaison.

4. Résultats Expérimentaux

Les expériences ont été menées sur un benchmark composite avec des régimes budgétaires variés (Restreint, Normal, Généreux).

• Performance Supérieure : M2-CMAB surpasse systématiquement les méthodes de l'état de l'art (y compris des planificateurs basés sur des bandits contextuels et des heuristiques "coût d'abord" ou "latence d'abord").
• Gain de Récompense : Sur le dataset composite, M2-CMAB atteint jusqu'à 14,18 % de récompense moyenne en plus par rapport à la deuxième meilleure méthode, selon le régime budgétaire.
• Proximité à l'Oracle : La performance de M2-CMAB se rapproche très fortement de celle d'un "Oracle" (qui connaît les récompenses et coûts réels à l'avance), avec un écart inférieur à 1,2 % même dans des scénarios très contraints.
• Robustesse : La méthode reste robuste face aux changements de distribution des tâches et aux variations de latence/coût.
• Étude d'Ablation : La suppression de l'adapter de récompense entraîne la plus forte baisse de performance, confirmant l'importance cruciale d'une prédiction précise de la qualité de réponse.

5. Signification et Impact

Ce travail est significatif car il propose une solution pragmatique et théoriquement fondée pour le déploiement à grande échelle de MLLM dans des environnements réels aux ressources limitées.

• Efficacité Opérationnelle : Il permet de maximiser la qualité de service (QoS) tout en respectant strictement les budgets financiers et temporels, ce qui est essentiel pour les applications commerciales.
• Adaptabilité : L'approche "adapter-augmented" permet une adaptation rapide aux nouvelles tâches et backends sans ré-entraîner les modèles massifs sous-jacents.
• Fondation Théorique : La preuve de regret fournit des garanties de performance pour les systèmes de planification en ligne complexes, comblant le fossé entre la théorie des bandits et les applications pratiques de l'IA multimodale.

En résumé, M2-CMAB offre un cadre robuste pour orchestrer intelligemment le trafic d'inférence entre le cloud et le bord (edge), optimisant le compromis entre coût, latence et qualité de réponse dans un environnement dynamique et incertain.