💬 NLP

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

Ce papier présente FlowBot, un cadre piloté par les données qui induit et optimise automatiquement les flux de travail des LLM en formulant le processus comme un problème d'optimisation bi-niveau résolu par des gradients textuels modulaires, atteignant des performances compétitives par rapport aux références conçues par des humains.

Auteurs originaux : Hongyeon Yu, Young-Bum Kim, Yoon Kim

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongyeon Yu, Young-Bum Kim, Yoon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à une équipe de robots spécialisés comment résoudre un casse-tête très difficile. Autrefois, les humains devaient s'asseoir et rédiger manuellement un manuel d'instructions strict pour chaque robot, décidant exactement dans quel ordre ils devaient travailler et quels mots spécifiques dire à chacun. C'est lent, coûteux et difficile à mettre à l'échelle.

L'article présente FLOWBOT, une nouvelle méthode qui permet aux robots de s'enseigner eux-mêmes comment s'organiser et communiquer entre eux, sans qu'un humain ait besoin de rédiger le manuel au préalable.

Voici comment cela fonctionne, en utilisant une analogie simple :

Le Système de Coaching à Deux Niveaux

Considérez FLOWBOT comme un système de coaching à deux niveaux : un Entraîneur Principal et un Entraîneur de Poste.

1. L'Entraîneur Principal (La Boucle Extérieure) : « Corriger le Plan de Jeu »
L'Entraîneur Principal observe la situation globale. Il ne se soucie pas des mots précis qu'un joueur dit ; il se soucie de la structure du jeu.

Le Problème : Peut-être que l'équipe essaie de résoudre un problème mathématique en commençant par dessiner une image, ce qui est le mauvais ordre. Ou peut-être qu'ils manquent une étape entière, comme « vérifier le score ».
La Solution : L'Entraîneur Principal examine où l'équipe a échoué et dit : « D'accord, nous devons ajouter une étape pour vérifier le score avant d'essayer de dessiner l'image », ou « Supprimons entièrement l'étape du dessin ».
Dans l'Article : C'est la Boucle Extérieure. Elle optimise l'« ébauche du flux de travail ». Elle décide du nombre d'étapes, de l'ordre dans lequel elles se produisent, et de savoir s'il faut ajouter ou supprimer des outils (comme les moteurs de recherche).

2. L'Entraîneur de Poste (La Boucle Intérieure) : « Affiner le Manuel de Jeu »
Une fois que l'Entraîneur Principal a établi le plan de jeu, l'Entraîneur de Poste travaille avec les joueurs individuels (les appels spécifiques aux LLM) pour perfectionner leurs instructions spécifiques.

Le Problème : Le joueur sait quoi faire (par exemple, « rechercher des faits »), mais il le fait mal. Peut-être qu'il hallucine (invente des choses) ou qu'il manque un détail clé.
La Solution : Au lieu de simplement dire « faites mieux », l'Entraîneur de Poste utilise un tour de passe-passe spécial appelé Gradients Textuels.
- Imaginez que la réponse finale est incorrecte. L'Entraîneur de Poste demande à un juge IA : « Pourquoi cela s'est-il produit ? »
- Le juge fournit un commentaire textuel : « Vous avez fait une erreur parce que vous n'avez pas vérifié votre source. »
- Ce commentaire est transmis en arrière au joueur précédent, qui dit : « Oh, je dois m'assurer que ma source est claire pour la personne suivante. »
- Cela continue jusqu'au premier joueur.
Dans l'Article : C'est la Boucle Intérieure. Elle utilise la « Rétropropagation Textuelle ». Tout comme un réseau de neurones utilise les mathématiques pour ajuster des nombres, FLOWBOT utilise des retours d'information en langage naturel pour ajuster les invites textuelles de chaque étape.

La Magie des « Gradients Textuels »

En informatique traditionnelle, si un calcul est erroné, l'ordinateur utilise les mathématiques pour déterminer exactement de combien il faut ajuster les nombres pour le corriger. Cela s'appelle la « rétropropagation ».

Les LLM (Grands Modèles de Langage) ne comprennent pas les mathématiques de la même manière ; ils comprennent le langage. Ainsi, FLOWBOT a inventé les Gradients Textuels.

Au lieu d'un nombre comme +0,5, le système obtient une phrase comme : « Votre réponse était incorrecte parce que vous avez supposé X, mais les preuves montrent Y. Veuillez vérifier vos sources la prochaine fois. »
Le système transmet cette phrase en arrière à travers la chaîne de robots. Chaque robot lit le retour d'information, comprend ce qui s'est mal passé dans les étapes après la sienne, et réécrit ses propres instructions pour prévenir cette erreur à l'avenir.

Que Ont-ils Découvert ?

Les chercheurs ont testé FLOWBOT sur de nombreuses tâches différentes, comme répondre à des questions de culture générale complexes, écrire du code et suivre des instructions strictes.

Il fonctionne à partir de zéro : Contrairement à d'autres méthodes qui ont besoin qu'un humain leur donne un bon plan de départ, FLOWBOT peut commencer avec une page blanche et déterminer le meilleur flux de travail par lui-même.
Il bat la concurrence : Il a obtenu des résultats aussi bons (ou meilleurs) que des systèmes où les humains ont passé beaucoup de temps à concevoir manuellement le flux de travail parfait.
Il économise de l'argent : Parce qu'il apprend si efficacement, il nécessite moins d'« appels API » (qui coûtent de l'argent) pour trouver la bonne solution par rapport à d'autres méthodes automatisées.

La Conclusion

FLOWBOT est comme une chaîne de montage auto-améliorante. Il ne se contente pas d'ajuster les instructions sur les machines ; il réorganise également les machines elles-mêmes. En utilisant des retours d'information en langage naturel pour « rétropropager » les erreurs, il découvre automatiquement la meilleure façon d'organiser une équipe de modèles d'IA pour résoudre des problèmes complexes, éliminant ainsi le besoin que les humains soient les architectes de chaque flux de travail individuel.

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés dans des « systèmes d'IA composés » – des workflows structurés intégrant plusieurs appels LLM, des outils et des étapes intermédiaires de raisonnement logique pour résoudre des tâches complexes. Cependant, les approches actuelles pour construire ces workflows se heurtent à deux goulots d'étranglement majeurs :

Dépendance humaine : La plupart des workflows sont créés manuellement par des humains, ce qui n'est pas évolutif vers des tâches et des domaines diversifiés.
Limites de l'automatisation existante : Les approches automatisées récentes (par exemple, AFlow, ADAS) optimisent souvent des invites (prompts) au sein d'une structure de workflow fixe ou recherchent des structures de workflows via des représentations basées sur le code, sans optimisation fine et par couche. Il leur manque un mécanisme pour optimiser simultanément l'architecture de haut niveau du workflow et les instructions spécifiques (prompts) pour chaque composant.

La question de recherche centrale est la suivante : Comment pouvons-nous induire et optimiser automatiquement et de manière pilotée par les données la structure et les composants individuels d'un workflow LLM ?

2. Méthodologie : FLOWBOT

Les auteurs proposent FLOWBOT, un cadre qui formule l'induction de workflow comme un problème d'optimisation bi-niveau, résolu à l'aide de gradients textuels.

A. Formulation du problème

Un workflow LLM $W$ est défini comme une chaîne de $K$ appels LLM : $W = [a_1, \dots, a_K]$ .

Boucle externe (Structure) : Optimise la conception de haut niveau $W$ (la séquence, le type et la composition des appels).
Boucle interne (Paramètres) : Optimise l'invite détaillée $\theta_i$ pour chaque appel spécifique $a_i$ .
Objectif : Minimisation de la perte attendue $L(f_W(x), y)$ sur un ensemble de données $D$ .

B. Gradients textuels

Comme les paramètres des LLM sont des chaînes de texte discrètes, une rétropropagation traditionnelle est impossible. FLOWBOT utilise des gradients textuels, où un LLM génère un feedback en langage naturel décrivant comment un input ou une invite doit être modifié pour réduire la perte.

C. Le processus d'optimisation

Le cadre fonctionne en deux boucles imbriquées :

1. Boucle interne : Rétropropagation textuelle par couche
Étant donnée une structure de workflow fixe $W$ , le système optimise les invites $\{\theta_i\}$ :

Passage avant : Le workflow traite l'input $x$ pour produire la sortie $x_K$ .
Gradient de perte ( $g_K$ ) : Un LLM analyse la sortie finale, la vérité terrain et la perte pour générer un gradient textuel $g_K$ (feedback sur ce qui a mal tourné).
Propagation par la règle de la chaîne : Les gradients sont propagés vers l'arrière, couche par couche. Pour la couche $k$ , un LLM prend l'input actuel $x_k$ , la sortie de la couche suivante $x_{k+1}$ et le gradient en aval $g_{k+1}$ pour calculer $g_k$ . Cela répond à la question : "Comment la sortie de l'étape $k$ devrait-elle changer pour aider l'étape $k+1$ à mieux performer ?"
Mise à jour de l'invite : Un LLM optimiseur agrège les gradients d'un lot d'échantillons et met à jour l'invite $\theta_i$ pour corriger les erreurs identifiées tout en préservant les modèles réussis.

2. Boucle externe : Optimisation de la conception du workflow
Une fois la boucle interne convergée (ou périodiquement), le système optimise la structure $W$ elle-même :

La conception actuelle du workflow, les traces d'exécution et la perte agrégée sont transmises à un LLM.
Le LLM génère un gradient de workflow ( $g_W$ ) qui propose des modifications structurelles : ajout d'étapes (par exemple, « ajouter une désambiguïsation d'entités »), suppression d'étapes redondantes, fusion d'étapes ou réorganisation.
La conception du workflow est mise à jour sur la base de ces suggestions.

D. Initialisation

Le processus commence par un workflow « Zero-Shot » (un seul appel LLM). La boucle externe est immédiatement déclenchée pour générer une conception initiale multi-étapes, suivie de la génération d'invites initiales pour chaque étape.

3. Contributions principales

Optimisation bi-niveau pour les workflows : Le premier cadre qui optimise conjointement la topologie (structure) et les paramètres (invites) des workflows LLM en utilisant une approche bi-niveau, inspirée de la recherche d'architecture neuronale (NAS).
Rétropropagation textuelle : Étend le concept de gradients textuels (jusqu'alors utilisé pour des invites individuelles) à des workflows profonds et multicouches, permettant une attribution et une correction d'erreurs modulaires et par couche.
Induction pilotée par les données : Démontre que des workflows complexes et multi-étapes (incluant l'utilisation d'outils) peuvent être découverts de zéro sans priors humains concernant la structure.

4. Résultats expérimentaux

Les auteurs ont évalué FLOWBOT sur 10 benchmarks divers (QA, raisonnement, génération de code, confidentialité, etc.) par rapport à des bases de référence solides.

vs. Optimisation d'invite (Structure fixe) : FLOWBOT a surpassé GEPA (un optimiseur d'invite de l'état de l'art) sur des tâches axées sur la récupération d'informations comme HotpotQA (72,80 vs 69,00) et HoVer (63,20 vs 51,67), prouvant que l'optimisation de la structure est cruciale pour les tâches complexes.
vs. Génération automatisée de workflows : FLOWBOT a surpassé AFlow (qui utilise la recherche arborescente Monte-Carlo sur des graphes de code) sur 4 des 6 benchmarks (par exemple, HumanEval : 93,74 vs 94,70 ; GSM8K : 96,01 vs 86,16).
Efficacité : FLOWBOT a nécessité beaucoup moins d'appels API et de coûts que AFlow pour atteindre les performances de pointe (par exemple, 54,7K appels vs 338K appels pour HotpotQA).
Analyse qualitative : Les workflows induits se sont révélés sensés et reflétaient souvent des modèles conçus par l'homme (par exemple, séparation de la récupération, de la désambiguïsation d'entités et de la vérification).
Études d'ablation :
- La suppression de la structure bi-niveau (traitement comme une couche unique) a entraîné des baisses de performance significatives.
- La suppression de la rétropropagation par couche (mise à jour simultanée de toutes les invites) a également dégradé les performances, soulignant l'importance d'un feedback modulaire basé sur la règle de la chaîne.

5. Importance et impact

Changement de paradigme : Déplace la conception des systèmes LLM des « pipelines créés manuellement » vers des « systèmes induits automatiquement », réduisant l'effort d'ingénierie pour le déploiement d'agents IA complexes.
Généralisabilité : L'approche est agnostique au modèle et fonctionne avec divers LLM à poids ouverts et propriétaires.
Interprétabilité : Les gradients textuels offrent un chemin de vérification lisible par l'humain sur pourquoi un workflow a échoué et comment il a été amélioré, offrant un aperçu du processus de raisonnement du système.
Perspectives futures : Le papier démontre un proof-of-concept pour l'induction d'un workflow unifié capable de gérer plusieurs types de tâches (routage de mathématiques vs code vs compréhension de lecture) au sein d'une seule structure dynamique, ouvrant la voie à des agents autonomes généraux.

En résumé, FLOWBOT comble le fossé entre la recherche d'architecture neuronale et le prompting LLM, offrant une méthode robuste et pilotée par les données pour construire et affiner automatiquement des workflows d'IA sophistiqués.