HEXGEN-FLOW: Optimizing LLM Inference Request Scheduling for Agentic Text-to-SQL

Ce papier présente HEXGEN-FLOW, un cadre de planification hiérarchique et adaptatif conçu pour optimiser l'exécution des requêtes Text-to-SQL agentic sur des clusters de GPU hétérogènes, réduisant ainsi significativement la latence et augmentant le débit par rapport aux solutions existantes.

L'essentiel

Imaginez que vous avez un restaurant très populaire où les clients (les utilisateurs) commandent des plats complexes (des requêtes de base de données) en parlant simplement, sans connaître la cuisine. C'est ce qu'on appelle le Text-to-SQL : transformer une phrase en langage naturel en une instruction technique pour une base de données.

Mais voici le problème : dans ce restaurant, le chef ne fait pas le plat d'un coup. Il doit suivre une recette en plusieurs étapes :

1. Comprendre ce que le client veut (lier les mots aux ingrédients).
2. Proposer plusieurs versions du plat.
3. Goûter et corriger si c'est raté.
4. Valider le plat final.

C'est ce qu'on appelle un flux de travail "agentique" : une série d'étapes dépendantes où l'IA réfléchit, se corrige et recommence.

Le problème, c'est que ce restaurant utilise des cuisines de tailles différentes (des puces graphiques ou "GPU" de différentes puissances). Certaines sont des fours industriels ultra-rapides (comme les cartes A100), d'autres sont des fours plus modestes (comme les A6000).

Le Chaos Actuel

Dans les systèmes actuels, c'est le chaos. Imaginez un chef de salle qui envoie toutes les commandes au hasard :

• Il envoie un plat complexe à cuisiner au petit four lent. Le client attend des heures.
• Il envoie un plat simple au four géant, qui reste vide la moitié du temps.
• Si une étape échoue, tout le processus s'arrête, et le client est furieux car le temps de service (SLO) n'est pas respecté.

C'est inefficace, lent, et frustrant.

La Solution : HEXGEN-FLOW

Les auteurs de cette paper ont créé HEXGEN-FLOW, un nouveau système de gestion du restaurant. Voici comment ça marche, avec des analogies simples :

1. Le Chef de Salle Intelligent (Le Coordinateur Global)

Au lieu d'envoyer les commandes au hasard, HEXGEN-FLOW a un chef de salle super observateur.

• Il connaît les forces de chaque cuisinier : Il sait que le four A100 est parfait pour les gros rôtis (les calculs lourds) et que le four A6000 est parfait pour les salades (les tâches légères).
• Il équilibre la charge : Il ne laisse jamais un four surchargé pendant qu'un autre est vide. Il envoie la tâche là où elle sera traitée le plus vite possible, en tenant compte de la file d'attente actuelle.
• Analogie : C'est comme un Uber qui envoie le passager au chauffeur le plus proche ET le plus libre, plutôt que de l'envoyer au premier venu.

2. La File d'Attente Prioritaire (La File Locale)

Une fois la commande arrivée dans une cuisine spécifique, elle ne suit pas la règle "qui arrive en premier, sert en premier" (First Come First Served).

• L'Urgence est reine : Le système calcule à chaque seconde quelle commande risque le plus de rater son délai. Si un client a un délai très court (il a faim maintenant), sa commande passe devant celle d'un client qui a commandé il y a 10 minutes mais qui a un délai plus long.
• Analogie : Imaginez une file d'attente à l'aéroport. Au lieu de faire défiler tout le monde dans l'ordre, on laisse passer en premier ceux qui ont un vol imminent (urgence), même s'ils sont arrivés après les autres.

3. L'Adaptation en Temps Réel (Le Réglage Automatique)

Le système apprend tout le temps. Il simule des milliers de scénarios pour trouver le meilleur équilibre entre "envoyer la tâche au bon endroit" et "ne pas surcharger la file d'attente".

• Si le restaurant devient très bondé soudainement, le chef de salle ajuste ses règles automatiquement pour éviter les embouteillages.

Les Résultats Magiques

Grâce à cette organisation intelligente, les tests montrent que HEXGEN-FLOW est bien meilleur que les systèmes actuels :

• Moins d'attente : Les commandes les plus lentes (les "queues" de 95% des clients) sont traitées 1,5 fois plus vite.
• Plus de clients servis : Le restaurant peut gérer 1,5 à 1,8 fois plus de commandes par heure sans que personne ne se plaigne.

En Résumé

HEXGEN-FLOW, c'est comme passer d'un restaurant où le chef de salle crie "Qui veut une pizza ?" au hasard, à un restaurant de haute technologie où un ordinateur intelligent :

1. Regarde la recette.
2. Choisit le meilleur four pour cette recette précise.
3. Réorganise la file d'attente pour que les clients pressés soient servis en priorité.
4. S'adapte automatiquement si la foule augmente.

C'est une solution clé en main pour rendre l'intelligence artificielle plus rapide, plus fiable et plus efficace, même quand on utilise du matériel informatique très varié.

Résumé technique

Titre

HEXGEN-FLOW : Optimisation de la planification des requêtes d'inférence LLM pour le Text-to-SQL Agentique

1. Problématique

L'adoption des modèles de langage (LLM) agents pour le Text-to-SQL (traduction de questions en langage naturel vers des requêtes SQL exécutables) a considérablement amélioré l'accessibilité des bases de données. Cependant, le déploiement de ces systèmes en production rencontre des obstacles majeurs :

• Dépendances multi-étapes : Contrairement à l'inférence LLM standard (une seule requête), le Text-to-SQL agentique suit un flux de travail séquentiel et dépendant (liaison de schéma, génération de candidats, auto-correction, évaluation). Les étapes ultérieures ne peuvent commencer que lorsque les précédentes sont terminées.
• Hétérogénéité des ressources : Les clusters d'entreprise utilisent souvent des GPU hétérogènes (ex: mélange de A100, L40, A6000) avec des capacités de calcul et des latences variables.
• Contraintes SLO (Service Level Objectives) : Les requêtes doivent respecter des délais de bout en bout stricts. Un retard à une étape précoce peut entraîner une violation du SLO global, car le temps restant pour les étapes suivantes est réduit.
• Limites des solutions actuelles : Les frameworks de service LLM existants (comme vLLM, TGI) sont conçus pour des requêtes d'inférence indépendantes. Ils ne gèrent pas nativement les dépendances entre les étapes ni l'hétérogénéité des ressources, ce qui conduit à des performances sous-optimales et à des violations fréquentes des SLO.

2. Méthodologie : HEXGEN-FLOW

HEXGEN-FLOW est un framework de planification et d'exécution conçu spécifiquement pour les flux de travail Text-to-SQL multi-étapes sur des clusters GPU hétérogènes. Il repose sur une architecture de planification hiérarchique à deux niveaux :

A. Planification Globale (Dispatching Équilibré de la Charge)

Un coordinateur central gère l'allocation des requêtes d'inférence vers les instances de modèles disponibles.

• Prise en compte des dépendances : Le système ne déclenche une étape que lorsque ses prérequis sont satisfaits.
• Allocation intelligente : Pour chaque requête, le coordinateur sélectionne l'instance de modèle la plus appropriée en considérant deux facteurs :
  1. Le coût computationnel estimé de la requête (basé sur la longueur des tokens d'entrée et de sortie).
  2. La charge actuelle et la capacité de chaque instance.
• Paramètre de pondération ($\alpha$) : Un hyperparamètre équilibre le compromis entre la vitesse d'exécution (préférer les GPU puissants) et l'équilibrage de charge (éviter la congestion). Ce paramètre est ajusté dynamiquement via un simulateur léger basé sur des traces.

B. File d'Attente Locale Prioritaire (Urgence Guidée)

Chaque instance de modèle maintient sa propre file d'attente locale pour ordonnancer les requêtes en attente.

• Allocation de budget SLO : Le temps restant pour le SLO global d'une requête est réparti dynamiquement entre les étapes restantes. Si une étape précédente prend plus de temps que prévu, le budget des étapes suivantes est réduit (recalculé en temps réel).
• Métrique d'Urgence : Les requêtes sont réordonnées aux limites des lots (batch boundaries) selon une métrique d'urgence inspirée de l'algorithme Least-Laxity-First (LLF). L'urgence est définie comme la différence entre le coût d'exécution estimé et la marge de temps restante. Les requêtes les plus proches de leur échéance sont traitées en premier, même si elles sont arrivées plus tard.

C. Ajustement Automatique (Auto-Tuning)

Le système utilise un simulateur basé sur des traces pour ajuster en ligne le paramètre $\alpha$ du dispatching global. Il surveille la latence de queue (P95) et déclenche une réoptimisation si une dégradation statistique est détectée, assurant une adaptation aux changements de charge ou de matériel.

3. Contributions Clés

1. Formalisation des principes de conception : Identification de trois exigences critiques pour le service Text-to-SQL agentique : gestion explicite des dépendances multi-étapes, allocation de requêtes consciente de l'hétérogénéité, et garanties de SLO de bout en bout.
2. Architecture HEXGEN-FLOW : Proposition d'un système combinant un dispatching global équilibré de charge et une file d'attente locale pilotée par l'urgence, permettant une exécution consciente des SLO sur des clusters hétérogènes.
3. Validation empirique : Une évaluation complète démontrant que HEXGEN-FLOW surpasse les systèmes de service LLM de pointe (vLLM, Ray Serve, QLM, etc.) sur des traces réalistes.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des benchmarks réalistes (BIRD-bench, Spider) avec des modèles comme LLaMA3.1-70B et Qwen3-30B, dans des environnements hétérogènes (A100, L40, A6000).

• Réduction de la latence : HEXGEN-FLOW réduit la latence de queue (P95) d'un facteur 1,42 à 1,56 par rapport aux systèmes de pointe.
• Augmentation du débit : Le débit global (requêtes terminées par seconde) augmente d'un facteur 1,49 à 1,81.
• Robustesse : Le système maintient des performances supérieures même sous des charges lourdes (jusqu'à 30 QPS), dans des scénarios multi-locataires avec des SLO différents, et face à des charges de travail concurrentes non-Text-to-SQL.
• Ablation : L'étude montre que la combinaison du dispatching équilibré (WB) et de la file prioritaire (PQ) est essentielle ; l'absence de l'un ou l'autre entraîne une dégradation significative des performances.

5. Signification et Impact

Ce travail comble un vide important dans l'infrastructure d'IA générative. Alors que la plupart des recherches se concentrent sur l'amélioration des modèles ou des algorithmes d'inférence isolés, HEXGEN-FLOW démontre que l'optimisation du système de service est cruciale pour les workflows d'agents complexes.

• Adaptabilité Industrielle : La prise en compte de l'hétérogénéité matérielle rend le système idéal pour les environnements d'entreprise réels où les mises à jour de matériel sont progressives et coûteuses.
• Garanties de Performance : En traitant le Text-to-SQL comme un flux de travail dépendant plutôt que comme une série de requêtes indépendantes, le système garantit que les délais de bout en bout sont respectés, ce qui est vital pour l'adoption en production.
• Généralisation : Bien que conçu pour le Text-to-SQL, l'approche de planification hiérarchique et d'ajustement dynamique est applicable à d'autres workflows d'agents complexes (DAG) impliquant plusieurs appels de modèles.

En résumé, HEXGEN-FLOW fournit une solution robuste et efficace pour débloquer le potentiel des agents LLM dans les applications critiques de bases de données, en transformant des workflows complexes en services performants et fiables.