HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference

Imaginez que vous essayez de résoudre un puzzle géant et complexe, mais que les pièces sont éparpillées dans un quartier composé de différentes maisons. Certaines maisons possèdent des ordinateurs super rapides, d'autres des ordinateurs lents, et certaines sont reliées par de la fibre optique à la vitesse de l'éclair tandis que d'autres sont liées par des chemins de terre cahoteux et lents. Dans le monde de l'intelligence artificielle, c'est exactement ce qui se passe lorsque nous essayons de faire fonctionner de massifs modèles de « Mixture-of-Experts » (MoE). Ce sont de gigantesques cerveaux artificiels qui n'utilisent pas chaque partie d'eux-mêmes pour chaque question ; au lieu de cela, ils ne réveillent que quelques parties « expertes » spécifiques pour résoudre un problème. Le défi est de savoir quels experts réveiller et où envoyer la question pour que la réponse revienne rapidement, sans rester coincé dans un embouteillage ou perdre en précision. Si nous envoyons simplement la question à la maison la plus proche, cela pourrait être lent parce que l'ordinateur de cette maison est fatigué ou que son disque dur est plein. Si nous l'envoyons loin, elle pourrait rester bloquée dans un embouteillage sur une route lente. Les scientifiques ont essayé de trouver la méthode parfaite pour acheminer ces questions, mais la plupart des méthodes précédentes étaient comme des agents de circulation qui ne regardaient qu'une voiture à la fois ou qui ne se souciaient que de la proximité de la maison, ignorant la vitesse de la route ou l'état de l'ordinateur à l'intérieur.

Ce document présente un nouveau système plus intelligent appelé HetRoute. Considérez HetRoute comme un service de livraison super organisé qui ne regarde pas seulement une maison ou une route. Au lieu de cela, il examine l'intégralité du trajet de livraison pour une seule pièce de puzzle à la fois. Il prend tout en compte : la vitesse des routes entre les maisons, la puissance des ordinateurs à l'intérieur, si l'ordinateur est actuellement occupé (comme une file de personnes qui attendent) et même si l'ordinateur utilise une version « compressée » de la pièce du puzzle pour gagner de l'espace (ce qui peut rendre la réponse légèrement moins parfaite). HetRoute établit un plan unifié pour tout le groupe d'experts nécessaires pour une seule question, plutôt que de prendre des décisions séparées et opportunistes pour chacun d'eux. En faisant cela, il a découvert qu'il pouvait faire arriver les réponses de l'IA jusqu'à 59,0 % plus vite en moyenne et réduire les délais dans les cas extrêmes de 58,0 %. Il réduit également la quantité de données voyageant entre les maisons de 72,1 %, tout en maintenant la qualité des réponses presque aussi bonne que la version originale non compressée.

Le Problème : L'IA « Intelligente » qui se perd

Pour comprendre pourquoi HetRoute est une avancée majeure, nous devons d'abord comprendre le modèle de « Mixture-of-Experts » (MoE). Imaginez une immense bibliothèque où chaque livre est un « expert » sur un sujet spécifique. Lorsque vous posez une question, la bibliothèque ne lit pas tous les livres ; elle n'en extrait que les quelques meilleurs livres (les experts « Top-k ») qui sont les plus pertinents. C'est efficace car vous ne perdez pas de temps à lire des livres de cuisine quand vous posez une question sur les mathématiques.

Cependant, dans le monde réel, ces bibliothèques sont souvent réparties sur de nombreux serveurs (ordinateurs) situés dans différents endroits, comme des serveurs de bordure (edge servers) proches de vous. Lorsqu'une question arrive, les experts « Top-k » nécessaires peuvent être dispersés sur trois serveurs différents. L'ancienne méthode consistait à demander à un ami de courir dans trois maisons différentes pour récupérer trois livres différents. Si l'ami court d'abord à la maison la plus proche, il pourrait trouver que le livre est enfermé dans un sous-sol (stocké sur un CPU lent) et doit attendre la clé. Ou bien, il pourrait courir vers une maison lointaine qui possède le livre sur une étagère à haute vitesse (dans la mémoire GPU rapide), mais la route pour y accéder est encombrée par le trafic.

Les méthodes précédentes tentaient de résoudre cela soit en :

1. Restant en local : Toujours essayer d'utiliser les experts sur le serveur le plus proche, même si ce serveur est lent ou occupé.
2. Sélection opportuniste (Greedy Selection) : Choisir le « meilleur » serveur pour chaque expert individuellement, sans réaliser que choisir le meilleur pour l'Expert A pourrait forcer l'Expert B sur un chemin terrible, ralentissant l'ensemble du groupe.

Le document soutient que ces anciennes méthodes sont défectueuses car elles traitent les experts comme des voyageurs indépendants. En réalité, ils sont une équipe. Si un membre de l'équipe est lent, toute l'équipe est lente.

La Solution : Le « Capitaine d'Équipe » de HetRoute

HetRoute agit comme un brillant capitaine d'équipe qui planifie toute la mission avant que quiconque ne quitte la ligne de départ. Il utilise un « modèle de coût unifié », ce qui est une façon sophistiquée de dire qu'il possède une fiche d'évaluation unique qui pèse quatre facteurs différents à la fois :

1. Coût de transmission : Le temps nécessaire pour envoyer la question via Internet à un serveur.
2. Coût de chargement : Le temps nécessaire pour déplacer l'expert d'un disque dur lent (CPU) vers une banque de mémoire rapide (GPU) s'il n'y est pas déjà.
3. Calcul et File d'attente : La vitesse à laquelle le serveur peut réfléchir, et le temps que la question doit attendre derrière d'autres questions.
4. Pénalité de Qualité : Si le serveur utilise une version « compressée » de l'expert pour gagner de l'espace, de combien la réponse en pâtit-elle ?

HetRoute fonctionne en deux étapes : Hors ligne (Offline) et En ligne (Online).

L'étape Hors ligne (Le Créateur de Cartes) :
Avant que les questions ne soient posées, HetRoute examine le réseau et décide où placer les copies des experts. Il ne s'agit pas seulement de les mettre sur le serveur le plus proche. Il se demande : « Si nous plaçons une copie de cet expert sur le Serveur B, cela fera-t-il gagner du temps plus tard ? » Il décide également quels experts doivent vivre dans la mémoire rapide « GPU » et lesquels peuvent rester dans la mémoire lente « CPU ». Crucialement, il crée des copies « redondantes ». Tout comme avoir une roue de secours dans sa voiture, HetRoute place des copies supplémentaires des experts populaires sur différents serveurs. Cela garantit que si un serveur est occupé ou en panne, le capitaine d'équipe dispose d'autres options.

L'étape En ligne (Le Navigateur en Temps Réel) :
Lorsqu'une véritable question arrive, HetRoute ne choisit pas simplement le serveur le plus proche. Il examine l'ensemble du groupe d'experts nécessaires pour cette question. Il se demande : « Si j'envoie l'Expert A au Serveur X et l'Expert B au Serveur Y, quel est le temps total ? » Il calcule le « goulot d'étranglement » — la partie la plus lente de l'équipe. Si le Serveur X est rapide mais que le Serveur Y est coincé dans un embouteillage, HetRoute peut décider d'envoyer les deux experts au Serveur Z, même si le Serveur Z est un peu plus loin, parce que toute l'équipe finira plus vite ensemble.

Il utilise une astuce ingénieuse appelée « recherche par faisceau » (beam search) (comme une lampe torche balayant quelques meilleurs chemins à la fois) pour trouver la combinaison parfaite de serveurs sans rester coincé dans un labyrinthe de possibilités.

Les Résultats : Plus Rapide, Plus Intelligent et Plus Sûr

Les auteurs ont testé HetRoute sur un réseau simulé de 10 serveurs de bordure ayant des vitesses et des connexions variables. Ils ont utilisé trois modèles d'IA différents pour voir comment il se comportait.

Les résultats sont impressionnants :

• Vitesse : Het route a réduit le temps moyen pour obtenir une réponse de 59,0 % par rapport aux meilleures méthodes existantes. Il a également réduit la « latence de queue » (les délais les plus longs qui surviennent quand les choses tournent mal) de 58,0 %.
• Trafic : Il a réduit la quantité de données voyageant entre les serveurs de 72,1 %. C'est énorme car envoyer des données via Internet est lent et coûteux.
• Débit (Throughput) : Le système pouvait gérer 2,13 fois plus de questions par seconde que les autres méthodes.
• Qualité : Malgré une plus grande rapidité, la qualité des réponses est restée très élevée. La « dégradation de la qualité » (à quel point la réponse s'est dégradée) a été maintenue dans un budget minuscule et prédéfini de 2 %.

Le document prouve également mathématiquement que leur système est « sûr en termes de qualité ». Même si le réseau devient extrêmement chargé et que les chemins rapides normaux sont bloqués, HetRoute a un plan de secours. Il dirigera toujours la question vers un expert en « pleine précision » (la version de plus haute qualité) qui existe de toute façon quelque part, garantissant que la réponse ne sera jamais mauvaise, même si cela prend un peu plus de temps.

Pourquoi cela importe

Ce document montre que nous n'avons pas à choisir entre vitesse et qualité, ou entre calcul local et distant. En traitant les experts d'IA comme une équipe coordonnée plutôt que comme des coureurs individuels, et en planifiant tout le trajet en fonction du trafic en temps réel et de l'état de santé des ordinateurs, nous pouvons faire fonctionner des IA puissantes même sur la « bordure » du réseau (comme sur votre téléphone ou un serveur local). HetRoute suggère que l'avenir de l'IA ne réside pas seulement dans la construction de modèles plus grands, mais dans une gestion plus intelligente de leur déplacement. Il transforme un réseau chaotique et encombré en une machine bien huilée où chaque expert sait exactement où aller pour accomplir sa tâche le plus rapidement possible.