Résumé Technique : Repenser l'Optimisation de Requêtes pour les Systèmes Multi-Agents [Vision]

Énoncé du Problème

La prolifération des modèles de langage de grande taille (LLM) a accéléré l'adoption de pipelines de données multi-agents, où des agents collaborent pour exécuter des tâches complexes pilotées par les données. Cependant, les méthodes de construction actuelles restent ad hoc, reposant sur des structures de pipeline fixes, des modèles pré-sélectionnés et des moteurs d'exécution uniques. Cette approche ne parvient pas à optimiser systématiquement à travers des sources de données et des moteurs hétérogènes.

Les auteurs soutiennent que l'optimisation des pipelines agentiques est un problème fondamentalement différent de l'optimisation de requêtes traditionnelle en raison de quatre défis centraux :

1. Espace de recherche multidimensionnel : L'optimisation doit déterminer conjointement la topologie du pipeline, la sélection des modèles et l'assignation des moteurs à travers des objectifs concurrents (latence, coût et précision).
2. Topologie variable : La structure même du pipeline est une variable de décision, et non un plan fixe.
3. Absence d'algèbre commune : La coexistence de données structurées, de texte non structuré, de plongements lexicaux (embeddings) et de données en streaming élimine l'existence d'une algèbre d'opérateurs commune, empêvissant ainsi les techniques classiques d'élagage.
4. Exécution stochastique et coûteuse : Les appels aux LLM engendrent des coûts monétaires significatifs et présentent une variabilité dans la qualité des résultats, rendant l'exploration naïve de l'espace de recherche irréalisable.

Méthodologie et Cadre : NOMA

Le document présente NOMA, une vision pour un cadre d'optimisation de requêtes conçu spécifiquement pour les pipelines de données multi-agents. NOMA traite les agents comme des unités de calcul de premier rang et étend les principes d'optimisation classiques (modélisation des coûts, génération de plans, ré-optimisation) à un contexte où les plans sont hétérogènes, stochastiques et structurellement dynamiques.

NOMA est conceptualisé comme une boucle d'optimisation intégrée comprenant quatre composantes clés qui se renforcent mutuellement :

1. Génération de Plans : Au lieu d'énumérer les plans, NOMA propose d'utiliser des modèles génératifs entraînés sur des pipelines historiques pour générer directement des pipelines exécutables dans l'espace d'optimisation conjoint (topologie, modèles, moteurs).
2. Estimation de Coût Unifiée : Le cadre vise à construire des modèles de coût qui projettent les caractéristiques hétérogènes des agents dans une représentation partagée. Plutôt que des estimations ponctuelles scalaires, ces modèles prédisent des distributions calibrées sur la latence, le coût et la précision afin de rendre compte de la nature stochastique des agents et de la propagation non additive de la qualité.
3. Raffinement au Moment de l'Exécution (Runtime) : L'optimisation est traitée comme un processus continu. Un « raffineur de pipeline » utilise l'optimisation bayésienne pour mettre à jour les priors des modèles de coût basés sur les complétions des agents et décide si le gain attendu d'une ré-planification justifie le coût.
4. Mise en Cache Sémantique : Pour traiter la redondance, NOMA propose un cache qui stocke non seulement les résultats intermédiaires, mais aussi les sous-plans optimisés et les décisions de configuration. Il indexe ces artefacts de manière sémantique (via des embeddings) plutôt que syntaxique pour permettre la réutilisation à travers des pipelines structurellement différents.

Contributions Clés et Résultats

Le papier présente quatre contributions primaires, soutenues par des expériences contrôlées et des analyses du monde réel :

1. Quantification des Coûts Sous-optimaux :

   • Expérience : Une expérience contrôlée a été menée sur un pipeline de 10 agents réel (impliquant le reporting de support client) avec 186 624 plans possibles sous une topologie fixe.
   • Résultats : L'espace des plans présentait une variance extrême : 153× en coût monétaire, 5× en latence, et un écart de 25 % en qualité.
   • Observation : Les plans optimaux étaient des configurations hétérogènes (par exemple, mélanger différents LLM selon la difficulté de la tâche) qu'aucun utilisateur ne construirait manuellement. La frontière de Pareto était riche, montrant qu'une amélioration de 19 % de la qualité pouvait coûter 138× plus cher, tandis qu'un plan équilibré pouvait réduire les coûts de 65 % avec une perte de qualité minimale.
   • Impact de la Topologie : La modification de la topologie (par exemple, l'ajout d'une boucle de raffinement conditionnelle) a permis au système d'atteindre des points de performance en dehors de la frontière de Pareto des plans à topologie fixe, prouvant que la topologie est un axe d'optimisation critique.

2. Analyse de Déploiements Réels :

   • Portée : Analyse de 62 déploiements de pipelines agentiques réels et 9 000 pipelines construits.
   • Résultats :
     • Complexité : Les pipelines gagnent en complexité (souvent 5 à 10+ tâches).
     • Sélection par Habitude : La sélection des modèles est dictée par la familiarité plutôt que par les compromis coût-qualité ; les utilisateurs réutilisent le même ensemble limité de modèles.
     • Topologies Inefficaces : Les chaînes simples dominent (34 %), échouant à exploiter le parallélisme ou les boucles de rétroaction.
     • Moteurs Sous-utilisés : L'assignation des moteurs est rarement optimisée, la plupart des tâches s'exécutant sur des bases de données structurées par défaut malgré la disponibilité de moteurs de streaming ou de vecteurs.
     • Redondance : Les tâches de base (ingestion, extraction, reporting) reviennent fréquemment sans partage de calcul.

3. Formalisation du Problème :

   • Le papier définit formellement le Pipeline Multi-Agent Abstrait (un graphe logique d'agents) et le Pipeline Multi-Agent Exécutable (un graphe concret avec des modèles, des moteurs et des transformations structurelles spécifiques telles que la fusion, la division ou le réordonnancement).
   • L'objectif est défini comme la recherche de pipelines exécutables Pareto-optimaux ($G^*$) à partir d'un pipeline abstrait ($G$) sous plusieurs objectifs.

4. Agenda de Recherche :

   • Le papier expose des questions de recherche ouvertes pour la communauté, notamment comment amorcer l'entraînement des données pour les modèles génératifs sans exploration exhaustive, comment réconcilier les signaux de coût hétérogènes en distributions unifiées, comment gérer l'optimisation continue sous exécution stochastique, et comment définir l'équivalence sémantique pour le cache.

Signification et Vision

Le papier affirme que l'état actuel des pipelines multi-agents est « fondamentalement non optimisé » et que l'écart entre les pratiques actuelles et la performance optimale est « sévère et inévitable ».

La signification de NOMA réside dans sa proposition d'un changement de paradigme :

• Du Statique à l'Adaptatif : Passer de l'optimisation de requêtes sur des plans fixes à la synthèse et l'adaptation continues de pipelines.
• L'Optimisation comme une Fonction Persistante : L'optimisation devient une fonction système continue plutôt qu'une phase de pré-exécution.
• Systèmes Auto-évolutifs : À mesure que le système accumule l'expérience d'exécution, les configurations de pipeline (topologie, modèles, stratégies) se réécrivent continuellement.

Les auteurs positionnent NOMA comme un appel à l'action pour les communautés des bases de données, des systèmes et de l'apprentissage automatique afin de relever conjointement les défis de l'optimisation de requêtes pour les systèmes multi-agents, visant à établir les fondations d'une nouvelle classe d'optimiseurs qui dépassent les pipelines statiques vers une exécution adaptative et consciente des coûts.