🤖 AI

PANDO: Efficient Multimodal AI Agents via Online Skill Distillation

PANDO introduit un cadre efficace de distillation de compétences en ligne qui permet aux agents web multimodaux d'améliorer leurs performances et de réduire la consommation de tokens en maintenant une bibliothèque de compétences structurée et en employant des techniques telles que la réflexion sur le progrès et l'incitation consciente du cache, atteignant un taux de réussite de 58,3 % sur VisualWebArena avec des coûts d'inférence nettement inférieurs à ceux des méthodes existantes.

Auteurs originaux : Yubo Li, Yidi Miao, Haotian Shen, Yuxin Liu

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yubo Li, Yidi Miao, Haotian Shen, Yuxin Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Piège du « Pay-per-Click »

Imaginez que vous engagez un assistant très intelligent, mais cher, pour vous aider à faire vos achats en ligne. Chaque fois qu'il consulte une page web, réfléchit à ce qu'il doit faire ou clique sur un bouton, vous devez lui verser une minuscule redevance (appelée un « token »).

Actuellement, la plupart des agents IA tentent de s'améliorer dans leurs tâches en dépensant plus d'argent. S'ils échouent, ils réessaient. S'ils sont bloqués, ils demandent un deuxième avis. Ils exécutent la même tâche dix fois et choisissent le meilleur résultat. Cela fonctionne, mais c'est comme payer un taxi pour aller à l'épicerie, puis payer un deuxième taxi pour revenir vérifier si vous avez oublié votre portefeuille, puis un troisième pour vérifier le prix une nouvelle fois. Cela permet d'obtenir le résultat, mais c'est incroyablement coûteux et lent.

Les auteurs de ce papier se sont demandé : Pouvons-nous créer un agent qui devient moins cher et plus rapide à mesure qu'il travaille, au lieu de simplement dépenser plus d'argent à chaque fois ?

La Solution : PANDO (L'Agent « Châtaignier Géant »)

Les chercheurs ont construit un agent nommé PANDO. Ils l'ont nommé d'après la clairière de trembles « Pando » dans l'Utah.

La Métaphore : Pando ressemble à 47 000 arbres distincts, mais ils sont en réalité tous connectés par un seul système racinaire souterrain. Lorsqu'un arbre grandit, il partage ses nutriments avec les autres. Lorsqu'un arbre meurt, le système racinaire s'en souvient et maintient toute la forêt en vie.
La Version IA : PANDO est un agent IA qui possède une « racine de mémoire » partagée (une Bibliothèque de Compétences). Au lieu de traiter chaque nouvelle tâche comme un problème entièrement nouveau, il se souvient de ce qu'il a appris des tâches précédentes et utilise ces leçons pour résoudre les nouvelles.

Comment PANDO Fonctionne (La Boucle en 4 Étapes)

PANDO ne se contente pas de deviner et de vérifier. Il suit un cycle : Planifier → Agir → Réfléchir → Apprendre.

Planifier : Le « Cerveau » (une IA intelligente et coûteuse) décompose une grande tâche (comme « trouver la guitare la moins chère sous 500 $ ») en petites étapes.
Agir : Les « Mains » (une IA moins chère et plus rapide) cliquent réellement sur les boutons.
Réfléchir : Un « Manager » vérifie si les étapes ont fonctionné. Le filtre de prix a-t-il réellement modifié la liste ? Si non, pourquoi ?
Apprendre (La Partie Magique) : C'est ici que PANDO devient plus intelligent.
- Bibliothèque de Compétences : Si l'agent trouve avec succès une guitare bon marché, il note la recette : « Pour trouver des articles bon marché, cliquez sur « Trier par prix » puis « Du moins cher au plus cher ». » Il enregistre cela comme une Règle ou une Routine.
- Réutilisation des Compétences : La prochaine fois que l'agent doit trouver l'article le « plus cher », il n'a pas besoin de réfléchir intensément. Il consulte simplement sa bibliothèque, voit la règle et inverse l'interrupteur sur « Du plus cher au moins cher ».
- Rétrogradation (Le Nettoyage) : Si une règle cesse de fonctionner (par exemple, si un site web change sa mise en page), l'agent la marque comme « cassée » et arrête de l'utiliser. Cela empêche l'agent de rester coincé dans des boucles en essayant d'utiliser d'anciennes instructions défectueuses.

Pourquoi C'est un Changement de Jeu

Le papier a testé PANDO sur 910 tâches web différentes (achats, petites annonces, Reddit). Voici ce qui s'est passé :

Taux de Réussite : PANDO a réussi 58,3 % du temps. C'est mieux que les meilleurs agents actuels (qui étaient autour de 54 %).
Coût : C'est la grande victoire. PANDO a utilisé 58 % de tokens en moins (d'argent) que le deuxième meilleur agent.
L'Effet « Repas Gratuit » :
- Au début : PANDO est un peu lent car il apprend les règles.
- Plus tard : Au fur et à mesure qu'il construit sa bibliothèque de compétences, il devient plus rapide et moins cher. À la fin du test, il résolvait les tâches avec moins d'étapes et moins d'argent qu'au début.
- Analogie : Imaginez un étudiant passant un examen de mathématiques.
  - Anciens Agents : Chaque fois qu'ils voient un nouveau problème, ils redérivent la formule à partir de zéro. Cela prend une éternité.
  - PANDO : La première fois qu'ils voient un problème, ils le résolvent et écrivent la formule sur une feuille de triche. Les 99 fois suivantes, ils regardent simplement la feuille de triche. Ils terminent l'examen plus vite et avec moins d'effort cérébral.

Les « Coûts Cachés » que PANDO Évite

Le papier souligne que d'autres agents masquent leurs coûts de deux manières :

Découverte par Pré-évaluation : Certains agents passent des semaines à « s'entraîner » ou à « découvrir » des outils avant même que le test ne commence. PANDO apprend pendant le test, il n'y a donc aucun coût initial caché.
Mise à l'échelle par Déploiement : Certains agents essaient simplement la tâche 10 fois et choisissent le gagnant. PANDO l'essaie une seule fois, mais utilise sa mémoire pour faire en sorte que cette unique tentative compte.

La Conclusion

PANDO prouve qu'il n'est pas nécessaire de jeter plus d'argent sur une IA pour l'améliorer. En lui donnant une mémoire structurée (une bibliothèque de compétences) et un moyen de nettoyer les mauvais souvenirs (rétrogradation), l'agent devient plus efficace à mesure qu'il travaille.

C'est la différence entre un travailleur qui oublie tout chaque jour et doit être constamment reformé, et un travailleur qui tient un cahier de « comment faire les choses » et qui devient plus rapide chaque jour.

À retenir : PANDO ne devient pas seulement plus intelligent ; il devient moins cher à exécuter à mesure qu'il acquiert de l'expérience.

Résumé Technique : PANDO – Agents IA Multimodaux Efficaces par Distillation de Compétences en Ligne

Énoncé du Problème

Les récentes avancées des agents web multimodaux reposent largement sur une « économie de jetons » où l'amélioration des performances est achetée au prix de coûts d'inférence accrus. Cela inclut des stratégies telles que l'expansion des recherches de déploiement (par exemple, Best-of-N), l'ajout de passes de vérification, la réalisation de découvertes d'outils hors ligne, ou l'empilement de modèles spécialisés. Bien que efficaces pour les scores de référence, cette approche crée une relation linéaire ou super-linéaire entre la dépense de jetons et le succès, entraînant une latence élevée, une consommation énergétique importante et des coûts cachés associés à la découverte préalable à l'évaluation.

Les auteurs identifient trois inefficacités mécaniques spécifiques dans les trajectoires actuelles des agents sur le référentiel VisualWebArena (VWA) :

Boucles d'actions répétées : Les agents restent fréquemment coincés dans des boucles d'actions répétées (34–42 % des échecs annotés par image).
Coûts de découverte cachés : Des systèmes comme WALT engendrent des coûts d'exploration hors ligne significatifs qui sont souvent exclus des métriques par tâche rapportées.
Inefficacités de l'architecture des invites : Les méthodes basées sur le texte/les légendes affichent une faible utilisation du cache d'invite (<11 %), échouant à exploiter les préfixes stables à mesure que l'agent accumule de l'expérience.

La question centrale posée est de savoir si un agent peut devenir plus efficace à mesure qu'il accumule de l'expérience, plutôt que de payer un « impôt sur le raisonnement » fixe sur chaque tâche.

Méthodologie : Le Cadre PANDO

PANDO (nommé d'après la forêt de trembles Pando, un système racinaire unique supportant de nombreux troncs) est un cadre de distillation de compétences en ligne à déploiement unique. Il fonctionne sur une boucle Planifier → Agir → Réfléchir → Apprendre, conçue pour faire croître une Bibliothèque de Compétences structurée pendant l'évaluation sans nécessiter de budget de découverte préalable à l'évaluation.

Composants Principaux

Bibliothèque de Compétences Structurée ( $S_t$ ) :
- La bibliothèque est une union disjointe de Règles (garde-fous déterministes, déclenchés par des motifs) et de Routines (compétences exécutables paramétrées, agissant comme des programmes).
- Récupération : Contrairement à la récupération basée sur les embeddings, PANDO utilise la contenance littérale de mots-clés pour une récupération déterministe, auditable et compatible avec le cache.
- Gestion du Cycle de Vie : La bibliothèque n'est pas statique ; elle croît en ligne. Les sous-trajectoires réussies sont induites en routines, tandis que les échecs sont suivis.
Apprentissage et Distillation :
- Induction : Après une trajectoire réussie, un Module d'Apprentissage extrait les compétences candidates si elles possèdent un modèle de sous-objectif réutilisable et des modèles de sélecteur vérifiés.
- Fusion de Paires de Polarité : Pour éviter le gonflement de la bibliothèque, les routines qui ne diffèrent que par la direction (par exemple, « moins cher » vs « plus cher ») sont fusionnées en une seule routine paramétrée $f_{\pm}(x, d)$ .
- Rétrogradation basée sur la Confiance : Les compétences maintiennent des estimations de confiance en cours d'exécution ( $c_s = \alpha_s / (\alpha_s + \beta_s)$ ). Si une compétence échoue à plusieurs reprises, elle est déplacée vers une liste noire de rétrogradation, empêchant l'agent de redécouvrir et de rechuter avec des routines fragiles.
Économie d'Exécution :
- Routage Hiérarchique : Un modèle puissant (Planificateur) est utilisé de manière parcimonieuse pour la décomposition et la réflexion. Un modèle moins coûteux (Acteur) gère l'ancrage haute fréquence.
- Compression Visuelle : Réduit la charge de jetons du terme Acteur dominant en compressant les entrées visuelles.
- Invites Sensibles au Cache : La disposition de l'invite est structurée pour placer les instructions stables et les résumés de compétences avant les observations volatiles, maximisant ainsi l'utilisation du cache KV à mesure que la bibliothèque croît.
Décomposition des Coûts :
L'article formalise le coût de l'agent en quatre termes additifs :
$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$
PANDO vise $C_{pre}=0$ (aucune découverte hors ligne), $N_{rollout}=1$ (déploiement unique) et un petit $C_{induce}$ payé strictement dans le flux de tâches, tout en minimisant $C_{exec}$ grâce à la réutilisation des compétences.

Contributions Clés

Cadre d'Économie de Jetons : Les auteurs formalisent une identité de coût qui sépare la découverte préalable à l'évaluation, l'extension du déploiement, la vérification et l'induction en ligne, soutenant que les références actuelles obscurcissent souvent ces devises de coût distinctes.
Cadre d'Apprentissage de Compétences Structurées : PANDO intègre des règles indexées par motifs, des routines paramétrées, une distillation en ligne, une fusion de paires de polarité, une rétrogradation basée sur la confiance et des invites sensibles au cache dans un seul agent.
Métriques d'Efficacité Intrinsèque : Au-delà du Taux de Succès (SR), l'article introduit le Taux de Répétition d'Actions (ARR), le Ratio de Surcharge d'Étapes (SOR) et l'Utilisation du Cache d'Invite pour diagnostiquer les inefficacités au niveau de la trajectoire.
Résultats de l'État de l'Art : PANDO atteint une nouvelle frontière de Pareto sur VWA, offrant des taux de succès plus élevés avec nettement moins de jetons que toutes les lignes de base évaluées.

Résultats Expérimentaux

Évalué sur l'ensemble des 910 tâches du référentiel VisualWebArena :

Taux de Succès (SR) : PANDO atteint 58,3 %, surpassant SGV (54,0 %) et une reproduction de WALT (45,2 %).
Efficacité des Jetons : PANDO utilise en moyenne 115K jetons par tâche. Cela représente 58 % de moins que SGV (275K) et 61 % de moins que WALT (294K).
Métriques Intrinsèques :
- ARR : 9,1 % (le plus bas parmi les méthodes automatisées), indiquant une évitement efficace des boucles.
- SOR : 1,8× (le plus bas), montrant que les tâches échouées n'encourent pas de pénalités d'étapes excessives.
- Utilisation du Cache : 72,4 % (la plus élevée), démontrant l'efficacité des préfixes d'invite stables.
Études d'Ablation (VWA-300) :
- Composantes de Compétences : Les règles, les routines et la distillation en ligne ont fourni la majeure partie de l'augmentation du SR (de 38,6 % à 57,3 %).
- Composantes d'Efficacité : Le routage hiérarchique, la compression visuelle et les invites sensibles au cache ont contribué minimalement au SR mais ont été responsables de la majeure partie de la réduction des jetons (de 147K à 117K) et de l'augmentation de l'utilisation du cache.
Dynamiques d'Apprentissage : Le système présente une phase de « démarrage à froid » avec un nombre élevé d'étapes (~30 étapes/tâche) qui se stabilise à ~8,5 étapes/tâche à mesure que la bibliothèque mûrit. La bibliothèque de compétences est passée de 12 routines de départ à 47 routines induites (32 actives après rétrogradation) au cours du flux.

Importance et Revendications

L'article revendique que PANDO démontre que les progrès des agents web ne doivent pas être achetés uniquement par des déploiements accrus, des budgets de découverte cachés ou un empilement de spécialistes par étape.

Réutilisabilité comme Capital : L'idée centrale est que la dépense passée de jetons doit devenir un capital réutilisable. En distillant l'expérience dans une bibliothèque structurée et auditable, l'agent réduit sa charge d'inférence marginale au fil du temps.
Transparence : Contrairement aux magasins de vecteurs boîte noire ou aux phases de découverte hors ligne, la bibliothèque de compétences de PANDO est inspectable, déterministe et stable sous la mise en cache des invites.
Rapport de Référence : Les auteurs soutiennent que les références d'utilisation informatique doivent rapporter le SR ainsi que les jetons bruts, la part des jetons mis en cache, la dépense de découverte cachée et la latence pour fournir une image complète de l'efficacité de l'agent.

L'article conclut que PANDO atteint un nouveau point optimal de Pareto : une précision plus élevée avec un coût marginal inférieur, suggérant que « l'efficacité ne s'obtient pas en faisant moins, mais en veillant à ce que ce qui est fait aille quelque part ».