🤖 AI

VineLM: Trie-Based Fine-Grained Control for Agentic Workflows

VineLM est un gestionnaire de flux de travail qui permet une sélection dynamique et granulaire de modèles pour les flux de travail d'agents en représentant les exécutions réalisables sous forme d'un arbre préfixé annoté et en utilisant la sauvegarde de points de contrôle avec un profilage en cascade pour optimiser la frontière coût-latence-précision sans profilage exhaustif hors ligne.

Auteurs originaux : Nikos Pagonas, Matthew Lou, Tianyi Peng, Dan Rubenstein, Kostis Kaffes

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikos Pagonas, Matthew Lou, Tianyi Peng, Dan Rubenstein, Kostis Kaffes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une agence de détectives à haut risque. Votre objectif est de résoudre une énigme (la « demande ») en utilisant une équipe de spécialistes (les « modèles d'IA »). Certains spécialistes sont bon marché et rapides, mais risquent de manquer des indices ; d'autres sont coûteux et lents, mais ce sont des détectives brillants.

Par le passé, si vous engagiez une agence de détectives, vous deviez signer un contrat avant le début de l'enquête. Vous deviez choisir un détectif spécifique pour la phase de « Collecte des preuves » et un détectif spécifique pour la phase de « Correction des erreurs », et vous deviez vous en tenir à eux, quoi qu'il arrive. Si le premier détectif trouvait un indice majeur, vous ne pouviez pas passer à un spécialiste moins cher pour l'étape suivante. Si le premier détectif prenait trop de temps, vous étiez coincé avec le plus coûteux pour le reste de l'affaire, même si vous manquiez de temps.

VineLM est une nouvelle façon de gérer ces agences de détectives. Au lieu de signer un contrat rigide au départ, VineLM agit comme un chef de projet intelligent qui fait un point après chaque étape unique et décide : « Étant donné où nous en sommes maintenant, combien de temps et d'argent nous reste-t-il ? Qui est la meilleure personne pour accomplir la prochaine tâche spécifique ? »

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Piège du « Taille Unique »

Les systèmes actuels (comme celui appelé Murakkab) sont comme un manager qui choisit un « Plan A » avant le début du travail.

Le Défaut : Si votre plan implique une boucle (comme « Continuez à corriger le code SQL jusqu'à ce qu'il fonctionne »), l'ancien système vous force à utiliser le même détectif pour chaque correction.
Le Résultat : Vous pourriez utiliser un détectif brillant (mais coûteux) pour la première correction, puis être forcé d'utiliser ce même détectif coûteux pour la deuxième et la troisième correction, même si la deuxième correction était facile et aurait pu être faite par un stagiaire bon marché. Ou alors, vous pourriez manquer de temps parce que la première étape a pris plus de temps que prévu, mais vous ne pouvez pas passer à un détectif plus rapide pour les étapes restantes.

2. La Solution : L'« Arbre de Décision » (Le Trie)

VineLM construit un gigantesque arbre de décision (que l'article appelle un « Trie »). Imaginez un livre dont vous êtes le héros où chaque page représente une étape de l'enquête.

La Carte : Chaque chemin à travers le livre représente une combinaison différente de détectifs que vous pourriez engager.
Les Annotations : Avant de commencer à résoudre de vrais cas, VineLM exécute des milliers de cas pratiques pour cartographier cet arbre. Il marque chaque chemin par : « Si vous prenez cette voie, cela coûte généralement X $, prend Y secondes et donne la bonne réponse Z % du temps. »

3. L'Astuce de Magie : Le « Profilage en Cascade » (Le Cartographe Efficace)

Cartographier chaque chemin unique dans ce livre géant serait incroyablement coûteux et lent (comme engager chaque détectif pour chaque scénario possible). VineLM utilise une astuce ingénieuse appelée Profilage en Cascade :

Le Raccourci : Au lieu de tester chaque chemin depuis zéro, il commence par le début. Si la première étape réussit, il sait que tout le chemin est un succès sans avoir besoin de tester le reste.
Le Résultat : Il remplit la carte en utilisant seulement 1 % à 2 % de l'effort qu'il faudrait pour tout tester. C'est comme réaliser que si vous gagnez le premier tour d'un tournoi, vous n'avez pas besoin de jouer le match final pour savoir que vous auriez pu gagner ; vous avez juste besoin de connaître les probabilités.

4. L'Exécution : « Re-raciner » l'Arbre

C'est la partie la plus excitante. Lorsqu'une vraie demande arrive :

Étape 1 : Le système choisit le meilleur détectif pour la première étape en se basant sur la carte.
Étape 2 : Le détectif termine. Le système consulte à nouveau la carte.
Le Pivot : Le système dit : « D'accord, nous venons de passer 5 secondes sur l'étape 1. Il nous reste 10 secondes. La carte indique que si nous prenons cette branche, nous risquons de manquer de temps. Passons plutôt à cette branche. »
La Boucle : Il fait cela après chaque étape unique. Il peut passer d'un « Super Détectif » à un « Stagiaire à petit budget » au milieu d'une boucle si la situation change.

Pourquoi est-ce Important ?

L'article a testé cela sur deux types de tâches :

Transformer des questions en anglais en requêtes de base de données SQL (NL2SQL) : Comme demander « Quelles étaient les ventes le trimestre dernier ? » et faire en sorte que l'IA écrive le code pour les trouver.
Raisonnement Mathématique : Résoudre des problèmes mathématiques complexes qui nécessitent de vérifier et de revérifier le travail.

Les Résultats :

Meilleure Précision : VineLM a trouvé la bonne réponse 18 % de plus souvent que les anciens systèmes, même en utilisant exactement le même budget. C'est comme obtenir une meilleure note à un examen sans payer de tutorat supplémentaire.
Configuration Moins Chère : Grâce à l'astuce du « Profilage en Cascade », il en a coûté 98–99,8 % de moins pour construire la carte que pour tester chaque possibilité unique.
Moins de Délais dépassés : Si une étape prenait plus de temps que prévu, VineLM pouvait instantanément passer à un plan plus rapide pour respecter la limite de temps. Il a réduit les erreurs de « délai dépassé » jusqu'à 85 %.

La Conclusion

VineLM traite les flux de travail de l'IA non pas comme un script rigide et préécrit, mais comme un voyage dynamique. Il permet au système de faire de petits ajustements intelligents à chaque étape, assurant ainsi que vous obtenez le meilleur résultat possible pour le moindre montant d'argent et de temps, sans rester coincé dans un mauvais plan simplement parce que vous l'avez signé au début.

Résumé Technique : VineLM

Énoncé du Problème

Les applications d'IA modernes reposent de plus en plus sur des flux de travail agentic, qui entrelacent des étapes configurables de modèles de langage de grande taille (LLM) avec des étapes d'outils (par exemple, exécution SQL, récupération) et incluent souvent des boucles de raffinement (nouvelles tentatives) pour améliorer la qualité de la sortie. Les gestionnaires de flux de travail existants, tels que Murakkab, emploient un contrôle à granularité grossière. Ces systèmes profilent les configurations complètes des flux de travail hors ligne et attribuent à chaque requête entrante un plan statique au niveau du flux de travail. Dans ce paradigme, un modèle spécifique est lié à un modèle d'étape pour toute la durée d'une requête. Par conséquent, si un flux de travail contient une boucle de raffinement, le même modèle doit être réutilisé pour chaque itération de cette boucle, indépendamment des retours d'exécution intermédiaires ou des contraintes budgétaires changeantes.

Cette approche statique limite les performances de deux manières critiques :

Inflexibilité dans les boucles de raffinement : Le modèle optimal pour une première tentative de réparation (souvent un modèle moins cher et plus rapide) peut différer du modèle optimal pour une tentative ultérieure (qui peut nécessiter un modèle plus puissant pour résoudre des échecs complexes). Le contrôle à granularité grossière ne peut pas mélanger des modèles à travers les itérations d'une même boucle.
Absence d'adaptation en temps réel : Les plans statiques sont basés sur des moyennes hors ligne. Si une invocation d'étape précoce consomme plus de latence ou de coût que prévu en raison de la variabilité en temps réel, le plan en aval pré-engagé peut devenir irréalisable (violation des SLO) ou sous-optimal. Les systèmes actuels ne reconsidèrent pas les choix de modèles après chaque invocation d'étape.

Méthodologie : VineLM

Les auteurs proposent VineLM, un gestionnaire de flux de travail qui permet un contrôle à granularité fine en sélectionnant le modèle pour chaque invocation d'étape dynamiquement au fur et à mesure que l'exécution se déroule.

1. Formulation de l'Arbre d'Exécution

VineLM représente l'espace des exécutions réalisables comme un arbre d'exécution annoté :

Structure : Chaque nœud correspond à un préfixe des choix de modèles rencontrés jusqu'alors dans une exécution de flux de travail. Contrairement à un arbre complet, l'arbre respecte la sémantique du flux de travail (par exemple, transitions valides, limites de boucle).
Préfixes Partagés : Les nœuds représentent des préfixes partagés à travers de nombreux chemins complets candidats, permettant au système de raisonner efficacement sur un vaste espace de décision.
Annotations : Les nœuds sont annotés avec des métriques estimées : coût cumulatif attendu ( $\bar{C}$ ), latence cumulative attendue ( $\bar{T}$ ), et précision attendue ( $\bar{A}$ ).

2. Construction Hors Ligne de l'Arbre (Profilage Sparse)

Le profilage complet de chaque requête sur chaque chemin est irréalisable en raison de l'explosion combinatoire des chemins. VineLM y remédie via un pipeline de profilage sparse :

Point de Contrôle (Checkpointing) : Pour éviter de réexécuter les préfixes partagés, le système enregistre l'état après les préfixes communs et les réutilise pour évaluer différents suffixes.
Échantillonnage en Cascade : Pour chaque requête échantillonnée, le système exécute un modèle aléatoire de profondeur 1. S'il échoue, il procède à une extension de profondeur 2, et ainsi de suite. Cela génère des étiquettes « gratuites » via remplissage de sous-arbre : si une requête réussit à un préfixe, toutes les extensions de ce préfixe sont marquées comme réussies.
Décomposition en Cascade : La complétion de matrice standard échoue ici car le motif d'observation est Manquant Non Au Hasard (MNAR) ; les chemins plus profonds ne sont observés que sur les requêtes où les étapes précédentes ont échoué. VineLM utilise un estimateur de décomposition en cascade pour corriger ce biais. Il traite le taux de réussite observé d'un chemin de profondeur- $d$ comme la probabilité conditionnelle de réussite étant donné que toutes les étapes précédentes ont échoué, en combinant cela avec la réussite inconditionnelle des étapes antérieures pour estimer la véritable précision du chemin.
Lissage à Rang Faible : Pour réduire le bruit dans les chemins profonds avec peu d'échantillons, le système applique une projection SVD de rang 1 aux estimations de précision conditionnelle.

3. Sélection de Modèle en Ligne

Au moment de l'exécution, VineLM entrelace l'exécution et le contrôle :

Re-racinement : Après chaque achèvement d'invocation d'étape, le contrôleur re-racine l'arbre au préfixe d'exécution réalisé.
Replanification Dynamique : Le contrôleur recherche le sous-arbre restant (descendants du nœud actuel) pour trouver le suffixe optimal basé sur la latence/coût réalisé jusqu'à présent et le budget restant.
Prise en Compte de la Charge : Si des estimations de charge sont disponibles, le contrôleur gonfle les estimations de latence pour les backends congestionnés, orientant les requêtes loin des chemins susceptibles de violer les SLO.
Élagage : La recherche utilise la monotonie des métriques (le coût et la latence augmentent, la précision ne diminue pas le long d'un chemin) pour élaguer les branches irréalisables ou sous-optimales.

Contributions Clés

Démonstration des Limites du Contrôle à Granularité Grossière : L'article montre que lier un seul modèle à une boucle de raffinement laisse d'importantes performances inexploitées, en particulier lorsque des trajectoires à modèles mixtes sont requises pour satisfaire les contraintes de coût/latence tout en maximisant la précision.
Formulation Basée sur les Arbres : Il formule le contrôle de flux de travail à granularité fine comme une recherche sur un arbre d'exécution annoté de préfixes de flux de travail, permettant une estimation hors ligne efficace et une adaptation en ligne.
Système VineLM : La conception et la mise en œuvre de VineLM, qui combine la formulation d'arbre avec le point de contrôle, le profilage en cascade et le re-racinement dynamique pour permettre la sélection de modèle par invocation.
Validation Empirique : Évaluation sur des flux de travail NL2SQL et de raisonnement mathématique démontrant des améliorations de la frontière coût-latence-précision avec des frais de profilage minimes.

Résultats

L'article évalue VineLM sur des flux de travail NL2SQL (avec 8 et 2 modèles candidats) et MathQA (auto-réflexion), en comparaison avec des bases de référence de style Murakkab.

Amélioration de la Précision : VineLM atteint jusqu'à 18 % de précision en plus au même budget par requête par rapport aux bases de référence au niveau du flux de travail à granularité grossière.
Efficacité du Profilage : L'approche de profilage sparse réduit les coûts de profilage hors ligne de 98 à 99,8 % par rapport au profilage exhaustif. À une couverture de profilage de 2 %, l'estimateur de VineLM atteint une Erreur Absolue Moyenne (MAE) d'environ 1 % dans la prédiction de la précision du chemin, correspondant étroitement aux performances d'un arbre entièrement profilé.
Conformité aux SLO de Latence : Le re-racinement dynamique réduit les violations de SLO de latence de jusqu'à 85 % par rapport aux plans statiques, en particulier sous une variance de charge en temps réel. La replanification consciente de la charge réduit davantage les violations sous forte charge.
Surcharge : La surcharge en temps réel de la replanification dynamique est négligeable (par exemple, 0,592 % du temps d'appel LLM le plus rapide pour le flux de travail MathQA).

Importance et Revendications

L'article revendique que les flux de travail agentic doivent être contrôlés via des politiques en ligne sur les préfixes d'exécution plutôt que par des configurations de flux de travail fixes. En passant d'attributions statiques à granularité grossière à une sélection dynamique à granularité fine, les systèmes peuvent mieux naviguer dans les compromis entre coût, latence et précision en présence de boucles et de variabilité en temps réel. VineLM démontre que ce niveau de contrôle est pratique, atteignant des performances quasi optimales avec une fraction du coût de profilage requis par les méthodes exhaustives. Ce travail suggère que la granularité de décision des gestionnaires de flux de travail est un facteur critique dans l'optimisation des systèmes agentic, et que l'« explosion combinatoire » des chemins à granularité fine peut être gérée efficacement grâce à des espaces de recherche structurés (arbres) et des techniques d'estimation efficaces.