🤖 AI

Knowledge-Centric Agents for Workflow Generation

Cet article propose un cadre centré sur la connaissance qui améliore la génération de flux de travail dans les systèmes de création visuelle en apprenant à inverser, injecter et inférer des connaissances hiérarchiques à partir d'exemples du monde réel, atteignant ainsi une cohérence structurelle et des taux de réussite d'exécution supérieurs par rapport aux approches actuelles de type texte-vers-JSON.

Auteurs originaux : Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une machine complexe avec des briques LEGO, mais qu'au lieu de les assembler avec vos mains, vous devez décrire l'intégralité du plan à un robot en utilisant uniquement des mots. C'est le monde de ComfyUI, un outil populaire pour la création d'images par intelligence artificielle. Dans ce système, chaque étape du processus créatif — comme changer une couleur, accentuer un visage ou agrandir une image — est un « bloc » ou un « nœud » distinct. Pour obtenir un excellent résultat, vous devez connecter des centaines de ces blocs dans un ordre très spécifique, comme un immense et complexe circuit imprimé. Si vous connectez les deux mauvais blocs, ou si vous oubliez de brancher un cordon d'alimentation (un paramètre), toute la machine bafouille et s'arrête de fonctionner.

Pendant longtemps, les gens ont essayé d'utiliser des Modèles de Langage de Grande Taille (LLM) — le même type d'IA intelligente qui écrit des histoires ou répond à des questions — pour construire automatiquement ces plans. L'idée était simple : dire à l'IA : « Fais-moi une image d'un dirigeable steampunk », et qu'elle recrache les instructions LEGO parfaites. Mais voici le problème : ces modèles d'IA sont excellents pour écrire des phrases, mais ils sont très mauvais pour construire des structures complexes. Ils oublient souvent comment les blocs se connectent, mélangent les instructions ou créent des plans qui semblent corrects sur le papier mais qui s'effondrent quand on essaie de les construire. Ils manquent de « l'expérience » d'un expert humain qui sait pourquoi vous connectez le Bloc A au Bloc B, et pas seulement que vous devez le faire.

Cela nous amène à un nouvel article de Zhendong Li et de son équipe, qui proposent une nouvelle méthode ingénieuse pour apprendre à l'IA à devenir un maître constructeur. Au lieu de simplement demander à l'IA de deviner le plan final, ils lui apprennent à penser comme un concepteur humain expert. Ils appellent cela une approche « Centrée sur la Connaissance » (Knowledge-Centric). Pensez-y de cette façon : si vous voulez apprendre à un étudiant à réussir un gâteau parfait, vous ne lui montrez pas seulement le gâteau fini en disant : « Copie ceci ». Vous lui enseignez la stratégie (pourquoi on mélange les œufs en premier), le squelette (la liste des étapes sans les mesures exactes) et enfin la recette (les grammes exacts de farine).

Les auteurs ont découvert que les méthodes d'IA existantes échouaient parce qu'elles tentaient de passer directement de la requête de l'utilisateur au code final, qui est souvent désordonné. Pour corriger cela, ils ont inventé un processus en trois étapes qu'ils appellent Inversion, Injection et Inférence de la Connaissance.

D'abord, ils ont pris des milliers de plans réels et fonctionnels créés par des humains et les ont soumis à un processus de « rétro-ingénierie ». Ils ont dépouillé les détails désordonnés pour trouver les motifs cachés. C'est comme démonter mille voitures différentes pour comprendre les règles générales de fonctionnement des moteurs, plutôt que de mémoriser la forme d'une voiture spécifique. Ils ont distillé ces plans en trois couches :

Stratégie de haut niveau : Le plan d'ensemble (ex: « Nous devons d'abord corriger le visage, puis changer le style »).
Pseudo-code squelettique : L'ébauche des étapes, sans les chiffres spécifiques.
Pseudo-code complet : Les instructions détaillées et complètes prêtes à être construites.

Ensuite, ils ont injecté cette connaissance distillée dans un modèle d'IA. Ils ne se sont pas contentés de lui fournir des données ; ils lui ont appris à raisonner à travers ces couches. Ils ont montré au modèle : « Voici une tâche, voici la stratégie qu'un expert utiliserait, et voici comment cette stratégie se transforme en un squelette ». C'est comme donner à l'étudiant un livre de cuisine qui explique la logique de la cuisine, et non pas seulement les recettes.

Enfin, lorsqu'un utilisateur demande une nouvelle image, l'IA ne se contente pas de deviner. Elle infère la solution en travaillant à rebours à travers les couches qu'elle a apprises. Elle détermine d'abord la stratégie de haut niveau, puis construit le squelette, et enfin remplit les détails spécifiques. L'article inclut également une étape d'« auto-raffinement », où l'IA vérifie son propre travail, se demandant : « Ai-je connecté ces blocs correctement ? » avant de finaliser le plan.

Les résultats sont impressionnants. L'équipe a testé sa méthode contre d'autres outils d'IA sur un ensemble de données de plus de 900 tâches réelles. Alors que les autres méthodes ne parvenaient à créer des plans fonctionnels que moins de la moitié du temps, ce nouvel agent « Centré sur la Connaissance » a réussi dans 86,9 % des cas. En termes de construction de structures complexes et diverses, leur méthode a obtenu un score de 152 sur une échelle de diversité, tandis que la deuxième meilleure méthode n'a atteint que 42. Même lorsqu'elle était testée sur des tâches nouvelles et difficiles que l'IA n'avait jamais vues auparavant, elle réussissait encore 66,7 % du temps, surpassant largement la concurrence.

Les auteurs suggèrent qu'en apprenant à l'IA à comprendre la structure et le raisonnement derrière le travail, plutôt qu'en lui faisant simplement mémoriser des motifs, nous pouvons créer des agents beaucoup plus fiables. Ils admettent que le système éprouve encore quelques difficultés lorsqu'on lui demande d'utiliser des blocs très rares ou inhabituels qui n'étaient pas dans ses données d'entraînement, mais globalement, ils ont démontré que donner à l'IA un « modèle mental » de la façon dont les experts pensent est la clé pour construire de meilleurs outils créatifs complexes. C'est un passage de l'action de demander à un robot de « deviner la réponse » à l'enseignement de « comment réfléchir », transformant un processus fragile et sujet aux erreurs en un métier robuste et de niveau expert.

Résumé Technique : Agents Centrés sur la Connaissance pour la Génération de Workflows dans ComfyUI

Problématique

La génération de workflows dans les systèmes de création visuelle comme ComfyUI présente un défi qui dépasse la simple traduction texte-vers-JSON. Un workflow ComfyUI est un graphe acyclique dirigé (DAG) représenté sous forme de configuration JSON, où les nœuds sont des modules fonctionnels et les arêtes définissent les dépendances de données. Bien que les grands modèles de langage (LLM) aient été appliqués à cette tâche, les approches existantes échouent souvent en raison de deux limitations principales :

Fragilité Structurelle : La génération directe de configurations JSON à partir de texte est sujette aux erreurs de syntaxe, aux liaisons mal connectées et aux correspondances de paramètres incohérentes, ce qui entraîne des échecs d'exécution.
Manque de Connaissance Expérientielle : La conception de workflows efficaces nécessite un raisonnement de niveau expert, incluant des décisions heuristiques concernant la segmentation, le branchement et l'interaction entre modules. Les LLM actuels peinent à acquérir cette connaissance tacite, issue de l'expérience, uniquement à partir de données textuelles, ce qui produit souvent des workflows manquant de cohérence ou échouant à répondre à des exigences de tâches complexes.

Les méthodes existantes reposent soit sur des méta-nœuds contraints (limitant l'expressivité), soit traitent la connaissance comme étant implicitement enchevêtrée dans les paramètres du modèle (la rendant difficile à interpréter ou à réutiliser).

Méthodologie

Les auteurs proposent un cadre centré sur la connaissance qui traite la génération de workflow comme un processus de raisonnement avec une connaissance explicite et hiérarchique plutôt que comme une simple correspondance de motifs ad hoc. Le cadre opère à travers trois phases fondamentales :

1. Inversion de la Connaissance

Le système extrait d'abord des représentations de connaissances hiérarchiques à partir d'une large collection de workflows ComfyUI bruts et non annotés. Ce processus inverse les données du workflow de bas en haut :

Workflow Brut vers Pseudo-code Complet : Une régularisation par règles convertit les graphes JSON en un pseudo-code lisible par machine, préservant la topologie et les paramètres tout en éliminant le bruit syntaxique.
Du Complet au Pseudo-code Squelettique : Un LLM abstrait les liaisons de paramètres spécifiques et les valeurs numériques, ne conservant que la structure essentielle du graphe et le flux d'exécution.
Du Squelette au Raisonnement de Stratégie : Les LLM effectuent une interprétation sémantique pour inférer les « traces de raisonnement » derrière la structure du workflow (par exemple, pourquoi certains contrôles ont été fusionnés ou pourquoi un face-detailer a été placé après la dénoisation).
Des Traces de Raisonnement à la Stratégie de Haut Niveau : Ces traces sont résumées en descriptions de stratégies concises représentant le plan de traitement de haut niveau de l'expert.
De la Stratégie à l'Instruction de Tâche : Le système infère les instructions de tâche de l'utilisateur et les spécifications d'entrée originales qui ont probablement généré le workflow, créant ainsi un signal de supervision en langage naturel.

2. Injection de Connaissance

La connaissance extraite est injectée dans un modèle de langage (spécifiquement Qwen3-14B) via un apprentissage supervisé (SFT). Les auteurs identifient des transitions spécifiques nécessitant une injection de connaissance explicite :

Tâche $\to$ Stratégie : Enseigner au modèle à décomposer les instructions de l'utilisateur en plans de traitement de haut niveau et à sélectionner les modules appropriés.
Stratégie $\to$ Pseudo-code Squelettique : Entraîner le modèle à traduire des stratégies abstraites en squelettes structurels exécutables.
Note : Les transitions du Pseudo-code Squelettique vers le Pseudo-code Complet (restauration des paramètres) sont gérées via une expansion par règles ou un prompting léger, et non par SFT.
Un objectif auxiliaire est inclus pour entraîner le modèle à générer des traces de raisonnement intermédiaires, régularisant l'apprentissage du discours expert et de la structure logique.

3. Inférence de Connaissance

Lors de l'inférence, le système inverse le processus d'inversion :

Planificateur de Stratégie de Haut Niveau : Le modèle entraîné par SFT génère une stratégie de haut niveau à partir de l'instruction de tâche de l'utilisateur.
Générateur de Pseudo-code : La stratégie est convertie en un pseudo-code squelettique.
Remplissage des Paramètres : Un modèle pré-entraîné remplit les paramètres et les liaisons spécifiques en fonction du contexte.
Reconstruction par Règles : Le pseudo-code complet est converti en un workflow JSON ComfyUI exécutable.
Pour améliorer la robustance, des mécanismes d'auto-raffinement sont appliqués après la planification de la stratégie et la génération du pseudo-code, permettant au modèle de réévaluer et de corriger l'incohérence structurelle.

Contributions Clés

Paradigme Centré sur la Connaissance : L'article déplace l'attention de la génération directe vers la modélisation de la structure, de la hiérarchie et de la dynamique même de la connaissance experte.
Inversion de la Connaissance : Une méthode novatrice pour distiller des représentations hiérarchiques (stratégies, traces de raisonnement, squelettes) à partir de données de workflow brutes et non annotées sans annotation manuelle.
Raisonnement Hiérarchique : Le cadre décompose la tâche de génération en signaux de supervision multi-niveaux (Tâche $\to$ Stratégie $\to$ Squelette $\to$ Complet), permettant au modèle de capturer explicitement les principes de conception.
Raisonnement Réversible et Auto-raffinement : Le processus d'inférence reflète le processus d'inversion, augmenté par une auto-correction itérative pour garantir la cohérence structurelle.

Résultats Expérimentaux

La méthode a été évaluée sur un ensemble de données de 912 workflows de haute qualité (882 pour l'entraînement, 30 pour les tests) et sur des benchmarks externes (FlowBench et ComfyBench).

Diversité Structurelle et Complétude : La méthode proposée a atteint un score de Diversité de Nœuds Valides (VND) de 152, surpassant nettement la base de référence la plus forte (42). Elle a également obtenu une Complétude de Nœuds (96,3 % contre 56,7 %) et une Complétude de Liens (98,3 % contre 56,7 %) plus élevées.
Cohérence de la Tâche : La méthode a obtenu un score de 86,9 % pour la Cohérence de la Tâche, contre 55,1 % pour la meilleure base de référence (ComfyAgent).
Succès d'Exécution : Sur l'ensemble de test, la méthode a atteint un taux de réussite (Pass rate) de 86,9 % (exécution réussie sans erreur) et un taux de résolution (Resolve rate) de 61,1 % (exécution réussie remplissant la tâche), contre respectivement 36,4 % et 29,4 % pour ComfyAgent.
Généralisation : La méthode a maintenu des performances supérieures sur les « Cas Réels du Monde » (tâches sans échantillons d'entraînement comparables) et sur les benchmarks externes, démontorant de fortes capacités de généralisation.
Ablation : L'approche hiérarchique utilisant un modèle 14B a surpassé une base de référence Q2P (Question-to-Pseudo-code) de bout en bout utilisant un modèle plus grand de 32B, validant l'efficacité de la stratégie de supervision multi-niveaux.

Signification et Revendications

L'article affirme établir un nouveau fondement pour la génération de workflows agentique pilotée par la connaissance. En modélisant et en inversant explicitement la connaissance experte, le cadre transforme la génération de workflow d'un problème fragile de génération de texte en un processus de raisonnement structuré. Les auteurs soutiennent que cette approche surmonte les limites des systèmes basés sur des modèles contraints et des LLM opaques pilotés par les données, permettant aux agents de composer des pipelines visuels complexes avec une fiabilité et une cohérence structurelle de niveau expert. Ce travail suggère que les futurs systèmes agentiques dans la création visuelle devraient donner la priorité à la représentation explicite et à l'inversion de la connaissance métier plutôt qu'à la simple complétion de motifs.