Multi-View Encoders for Performance Prediction in LLM-Based Agentic Workflows

Ce papier présente Agentic Predictor, un modèle prédictif léger qui utilise un apprentissage multi-vues combinant architecture de code, invites textuelles et graphes d'interaction pour prédire avec précision et efficacité les performances des workflows d'agents basés sur les grands modèles de langage, réduisant ainsi considérablement le besoin d'évaluations coûteuses par essais et erreurs.

L'essentiel

Imaginez que vous êtes un chef cuisinier (l'IA) qui doit préparer un repas complexe (une tâche) pour un client. Pour réussir, vous ne cuisinez pas seul : vous avez une équipe de sous-chefs (les agents) qui doivent se parler, utiliser des outils (couteaux, fours) et suivre des recettes précises (les invites ou prompts).

Le problème ? Il existe des millions de façons d'organiser cette équipe.

• Qui parle à qui ?
• Qui utilise quel outil ?
• Quelle recette donne-t-on à chaque sous-chef ?

Le problème actuel : "Essayer et Se Tromper"

Aujourd'hui, pour trouver la meilleure équipe, les chercheurs font comme un apprenti cuisinier désespéré : ils essaient une configuration, la testent en cuisine, voif si ça marche, puis recommencent avec une autre équipe.

• Le souci : C'est lent, ça coûte très cher (chaque test utilise de l'électricité et des serveurs coûteux) et c'est épuisant. C'est comme si vous deviez cuisiner 10 000 plats différents pour trouver le meilleur, juste pour savoir lequel est bon.

La solution proposée : "Le Prévisionniste Culinaire"

Les auteurs de ce papier (Patara, Wonyong et Sung Ju) ont créé un outil génial appelé Agentic Predictor.

Imaginez que vous avez un vieux chef étoilé (le prédicteur) qui a vu des milliers de recettes et d'équipes. Avant même que vous n'allumiez le four, vous lui montrez le plan de votre équipe (qui fait quoi, avec quels outils).

• Il regarde le plan.
• Il dit : "Honnêtement, cette équipe va échouer, ils ne se comprennent pas." ou "Oh, celle-ci est parfaite, ils vont cuisiner un chef-d'œuvre !".
• Résultat : Vous n'avez pas besoin de cuisiner le plat pour savoir s'il sera bon. Vous gagnez du temps et de l'argent.

Comment fonctionne ce "vieux chef" ? (La Magie)

Pour être aussi bon, ce prédicteur ne regarde pas juste une seule chose. Il utilise une approche "Multi-Vue" (comme un détective qui examine une scène de crime sous plusieurs angles) :

1. La Vue "Architecture" (Le Plan) : Il regarde comment les agents sont connectés. Est-ce que le chef parle à tout le monde ? Est-ce que c'est un désordre ?
2. La Vue "Code" (Les Outils) : Il lit les instructions techniques. Est-ce que les outils sont adaptés à la tâche ?
3. La Vue "Texte" (La Recette) : Il analyse les mots exacts donnés aux agents. Est-ce que les instructions sont claires ?

En combinant ces trois regards, il comprend bien mieux la situation que s'il ne regardait que le plan ou que le texte seul.

Le problème du manque de données (L'entraînement)

Pour entraîner ce chef, il faudrait normalement tester des milliers de configurations et noter le résultat (Pass/Fail). Mais c'est trop cher ! On n'a pas assez de "notes" (données étiquetées).

La solution astucieuse : L'Apprentissage par l'Observation (Pré-entraînement)
Au lieu d'attendre d'avoir des notes, on laisse le prédicteur observer des milliers de cuisines "vides" (des configurations sans savoir si elles ont réussi ou échoué).

• Il apprend à reconnaître les structures : "Tiens, cette configuration de code ressemble à celle qui a bien marché ailleurs."
• Il apprend les patterns : "Quand les agents parlent trop, ça crée du chaos."
• Grâce à cette observation, quand on lui donne enfin quelques vraies notes (peu de données), il comprend tout de suite très vite et devient un expert.

Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur système sur trois domaines : la programmation, les mathématiques et le raisonnement.

• Précision : Leur "vieux chef" devine mieux que n'importe quel autre système existant (jusqu'à 7% de mieux).
• Utilité : Il aide vraiment à trouver les meilleures équipes, pas juste à deviner.
• Vitesse et Coût : C'est instantané et gratuit une fois entraîné, contrairement aux tests réels qui coûtent une fortune.

En résumé

Ce papier propose de remplacer la méthode coûteuse de "tâtonner dans le noir" par un système de prédiction intelligent.
C'est comme passer d'un testeur qui doit conduire 100 voitures pour trouver la plus rapide, à un mécanicien expert qui peut regarder le moteur, les pneus et le volant, et vous dire immédiatement : "Cette voiture va gagner la course, allez-y !".

Cela rendra la création de systèmes d'IA autonomes beaucoup plus rapide, moins chère et plus accessible pour tout le monde.

Résumé technique

Titre : Multi-View Encoders for Performance Prediction in LLM-Based Agentic Workflows

Auteurs : Patara Trirat, Wonyong Jeong, Sung Ju Hwang (DeepAuto.ai & KAIST)

1. Problématique

Les systèmes d'agents basés sur les grands modèles de langage (LLM) ont démontré des capacités remarquables pour exécuter des tâches complexes. Cependant, l'optimisation de ces workflows agentic (chaînes d'agents, stratégies de prompt, patterns d'interaction) reste un défi majeur en raison de l'immensité de l'espace de recherche.

• Limites des approches actuelles : Les méthodes existantes reposent souvent sur un réglage heuristique manuel ou une évaluation exhaustive (recherche par essai-erreur). Chaque configuration candidate doit être exécutée via des appels coûteux aux API LLM, rendant le processus prohibitif en termes de temps et de coûts financiers.
• Défis spécifiques :
  1. Hétérogénéité des workflows : Les workflows varient considérablement dans leur structure de communication, leurs stratégies de prompt, leurs appels d'outils et leurs styles de raisonnement, ce qui rend difficile l'apprentissage d'un modèle prédictif unifié.
  2. Pénurie de données étiquetées : Obtenir des labels de performance (succès/échec) via une validation exhaustive est trop coûteux, créant un goulot d'étranglement pour l'apprentissage supervisé.

2. Méthodologie : Agentic Predictor

Les auteurs proposent Agentic Predictor, un cadre léger de prédiction de performance conçu pour évaluer rapidement la viabilité des workflows agentic sans exécution complète.

A. Encodage Multi-Vues (Multi-View Workflow Encoding)

Contrairement aux approches précédentes qui utilisent une seule vue (souvent un graphe unique), Agentic Predictor intègre trois vues complémentaires pour capturer la richesse des workflows :

1. Vue Graphique (Structure) : Modélise les dépendances structurelles et les canaux de communication entre agents (DAG). Utilise des GNN (Graph Neural Networks) sur plusieurs graphes (prompts, code, opérateurs) avec un mécanisme d'attention croisée entre vues.
2. Vue Code (Sémantique procédurale) : Encode la logique globale, la complexité computationnelle et les patterns d'utilisation des outils via un encodeur basé sur des MLP (Multi-Layer Perceptrons) appliqués au code source complet.
3. Vue Prompt (Sémantique contextuelle) : Capture les rôles des agents, les intentions comportementales et le contexte global via l'encodage des prompts système et d'instruction.

Ces trois représentations sont fusionnées dans un espace latent commun via une couche d'agrégation apprenable.

B. Pré-entraînement Non Supervisé Transverse (Cross-Domain Unsupervised Pretraining)

Pour pallier le manque de données étiquetées, le modèle utilise une stratégie en deux phases :

1. Pré-entraînement : Sur un grand corpus de workflows non étiquetés provenant de domaines variés. L'objectif combine :
   • Reconstruction : Reconstruire les entrées (graphes, code, prompts) à partir des représentations latentes.
   • Contraste : Apprendre que les différentes vues d'un même workflow doivent avoir des représentations proches, tandis que celles de workflows différents doivent être éloignées.
2. Fine-tuning : Le modèle est ensuite affiné sur un petit ensemble de données étiquetées (workflow, performance) pour apprendre à prédire le succès (classification binaire) ou la performance (régression).

C. Recherche Guidée par le Prédicteur

Une fois entraîné, le prédicteur est utilisé pour guider la recherche de workflows optimaux. Au lieu d'exécuter chaque candidat, le système encode les candidats, les note via le prédicteur, et sélectionne uniquement les meilleurs pour une validation finale. Cela transforme une recherche aléatoire coûteuse en une procédure guidée et efficace.

3. Contributions Clés

1. Architecture Multi-Vues : Introduction d'un encodeur unifiant les aspects structurels, sémantiques (code) et contextuels (prompts) des workflows agentic, surpassant les encodages graphiques simples.
2. Stratégie de Pré-entraînement : Développement d'une méthode de pré-entraînement non supervisé transverse (Agentic Predictor+) qui permet une généralisation robuste même avec très peu de données étiquetées.
3. Framework Unifié : Proposition d'Agentic Predictor, un cadre complet pour la prédiction de performance dans des environnements hétérogènes et à données rares.
4. Validation Empirique : Démonstration que cette approche réduit les coûts d'évaluation tout en améliorant la qualité des workflows sélectionnés.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark FLORA-Bench, couvrant trois domaines : Génération de Code, Résolution de Problèmes Mathématiques et Raisonnement.

• Précision Prédictive : Agentic Predictor atteint une précision moyenne de 79,97 %, surpassant les meilleures baselines (GNN, Graph Transformer) de 2,05 % à 6,90 %.
• Utilité (Utility) : Le modèle améliore la capacité à classer les meilleurs workflows, avec une amélioration de l'utilité allant jusqu'à 5,87 % par rapport aux baselines.
• Efficacité en Données Limitées : Avec seulement 10 % de données étiquetées, la version pré-entraînée (Agentic Predictor+) maintient une précision supérieure à 73 %, tandis que les autres modèles chutent vers 70 %.
• Généralisation (OOD) : Le modèle démontre une forte robustesse lors du transfert entre différents frameworks d'agents (ex: entraînement sur AFlow, test sur G-Designer) et entre domaines.
• Coût et Efficacité :
  • Le temps d'inférence est de 0,054 ms par échantillon.
  • Comparé aux prédicteurs basés sur LLM (few-shot), qui coûtent environ 0,021 $ par échantillon et prennent des secondes, Agentic Predictor est des ordres de grandeur plus rapide et moins cher, avec un point de rentabilité atteint après seulement ~110 évaluations.

5. Signification et Impact

Ce travail marque une avancée significative dans l'automatisation des systèmes d'agents LLM. En remplaçant l'évaluation coûteuse par une prédiction basée sur l'apprentissage profond, Agentic Predictor :

• Accélère le développement : Réduit drastiquement le temps et les coûts associés à la conception de workflows agentic.
• Rend l'optimisation accessible : Permet d'explorer des espaces de conception vastes et complexes qui étaient auparavant inaccessibles en raison des contraintes budgétaires.
• Établit un nouveau standard : Démontre que la combinaison de représentations multi-vues et de pré-entraînement non supervisé est cruciale pour modéliser la complexité des systèmes agentic, ouvrant la voie à des outils de conception d'agents plus intelligents et autonomes.

En résumé, Agentic Predictor propose une solution élégante et efficace au problème de l'optimisation coûteuse des workflows d'agents, en passant d'une approche basée sur l'exécution brute à une approche basée sur la prédiction apprise.