Résumé Technique : AliyunConsoleAgent

1. Énoncé du Problème

Les plateformes cloud sont confrontées à un problème structurel de « dérive de la documentation » où les éléments de l'interface utilisateur (UI) évoluent rapidement sous des cycles de publication courts, tandis que la documentation associée est maintenue manuellement. Cette divergence conduit à des procédures qui ne correspondent plus à la console en direct. Vérifier que la documentation reflète fidèlement l'état actuel nécessite un volume estimé à 4 millions d'inspections récurrentes par an, pourtant la couverture manuelle reste inférieure à 1 %.

Bien que les modèles propriétaires de pointe puissent automatiser cette tâche d'« Exécution-en-tant-que-Vérification », leur déploiement à grande échelle est entravé par :

1. Coûts prohibitifs : Les coûts d'inférence élevés par appel empêchent un audit à couverture complète.
2. Confidentialité des données : La transmission de métadonnées cloud sensibles à des services externes pose des risques de conformité.
3. Bruit environnemental : Les tâches cloud réelles possèdent de fortes dépendances de ressources (ex: types d'instances ECS spécifiques). Sans un pré-provisionnement adéquat, les échecs environnementaux (ressources manquantes) sont impossibles à distinguer des erreurs de l'agent, polluant les signaux de récompense et empêchant la convergence de l'apprentissage par renforcement (RL).

2. Méthodologie

Les auteurs proposent AliyunConsoleAgent, un cadre utilisant un paradigme d'entraînement en deux étapes (Fine-Tuning Supervisé + Apprentissage par Renforcement) au sein d'un environnement de déploiement à haut déterminisme.

A. Environnement de Déploiement à Haut Déterminisme

Pour isoler le bruit environnemental du signal d'entraînement, les auteurs ont construit une architecture à quatre couches :

• Gestion du Pool de Comptes : Maintient des comptes de test isolés avec une rotation automatisée des identifiants pour éviter les interférences entre les tâches.
• Exécution en Sandbox : Utilise des environnements conteneurisés (Alibaba Cloud ACK) pour l'isolation au niveau de la tâche.
• Provisionnement META de Ressources Hors-ligne : Pour chaque document, un tuple « Resource META » définit les dépendances. Un pipeline (ResourceCoder) génère des modèles Terraform pour pré-provisionner les ressources nécessaires (VPCs, instances, etc.) à partir de zéro avec une nomenclature aléatoire, garantissant la portabilité entre les comptes.
• Provisionnement Dynamique à la Demande : Un agent basé sur un LLM (ResourceCoder) provisionne dynamiquement les ressources manquantes si l'agent rencontre des blocages inattendus (ex: listes de ressources vides), injectant des rapports structurés dans le contexte.

Ce système résout le compromis vitesse-précision, permettant une exécution parallèle avec une disponibilité de ressources quasi parfaite, faisant passer les taux de réussite de ~34 % (baselines naïves) à ~84 %.

B. Paradigme d'Entraînement

Le modèle (basé sur Qwen3-VL-32B) subit deux étapes :

1. Fine-Tuning Supervisé (SFT) :
   • Construction des Données : Combine des trajectoires distillées de modèles de pointe (filtrées pour le succès et la qualité par étape) avec des données d'auto-exploration autonome (tâches CRUD).
   • Format : Impose un paradigme ReAct structuré où le modèle génère des traces de « Pensée » (Thought) explicites avant les actions pour évaluer la progression et identifier les sous-objectifs.
2. Apprentissage par Renforcement (GRPO) :
   • Algorithme : Utilise l'Optimisation de Politique Relative de Groupe (GRPO) pour faire évoluer le modèle de l'obéissance aux instructions vers la prise de décision autonome.
   • Modèle de Récompense de Résultat (ORM) à Double Canal :
     • Canal 1 (Basé sur des règles) : Interroge ActionTrail (journaux d'audit) pour des critères de succès déterministes, fournissant des récompenses binaires de vérité terrain.
     • Canal 2 (Ensemble LLM-as-Judge) : Pour les tâches sans événements API définitifs, un ensemble de deux LLM puissants agit comme juges. Un consensus est requis ; les désaccords entraînent des étiquettes invalides pour éviter le détournement de récompense (reward hacking).
   • Normalisation : Applique une normalisation d'avantage à deux niveaux (par tâche et globale) pour gérer l'hétérogénéité des difficultés de tâches.

3. Contributions Clés

1. Environnement de Déploiement à Haut Déterminisme : Une infrastructure novatrice combinant le pré-provisionnement via Terraform et le provisionnement à la demande piloté par LLM avec une vérification par journaux d'audit. Cela isole efficacement le bruit environnemental, permettant un entraînement RL stable dans des clouds de production réels.
2. Entraînement d'Agent Privé Rentable : Un pipeline SFT+GRPO réussi qui produit un modèle de 32 milliards de paramètres capable d'approcher les performances des modèles propriétaires de pointe avec un coût d'inférence 92 % inférieur.
3. Vérification à l'Échelle de la Production : Déploiement d'un cadre de vérification qui a audité plus de 54 000 procédures, identifiant 4 399 défauts confirmés. L'agent entraîné est validé comme un remplacement conforme à la confidentialité et prêt à l'emploi des modèles de pointe.

4. Résultats Expérimentaux

Le modèle a été évalué sur un benchmark exigeant de 278 tâches (76 standards, 202 difficiles) sur 12 produits Alibaba Cloud. L'évaluation était strictement basée sur des règles via les journaux d'audit ActionTrail.

• Performance :
  • AliyunConsoleAgent-32B (SFT+GRPO) a atteint un taux de réussite moyen de 63,52 % (pass@1).
  • Cela représente une amélioration de 20,24 points de pourcentage (pp) par rapport au modèle de base (43,28 %).
  • Cela réduit l'écart avec le meilleur modèle de pointe (Gemini 3 Pro Preview, 65,34 %) à seulement 1,82 pp. L'analyse statistique (bootstrap 95% CI) montre que cet écart n'est pas statistiquement significatif ($p > 0,05$).
• Efficacité des Coûts :
  • Le modèle privé de 32B coûte environ 0,56 CNY par tâche.
  • Comparé à Gemini 3 Pro Preview (~7,00 CNY/tâche), cela représente une réduction de coût de 92 %.
• Ablation :
  • Le SFT a contribué à +13,61 pp par rapport au modèle de base.
  • Le GRPO a apporté une amélioration supplémentaire de +6,63 pp par rapport au SFT, l'amélioration étant statistiquement significative.
• Améliorations Qualitatives : Le modèle entraîné par RL a démontré la « Construction de Préconditions » (ex: activer une fonctionnalité avant de la désactiver) et l'« Ajustement de Plan Adaptatif » (basculer vers des chemins d'interface alternatifs lorsque les étapes documentées échouent), des capacités absentes du modèle SFT seul.

5. Signification et Revendications

L'article affirme que AliyunConsoleAgent démontre la faisabilité de l'entraînement de web-agents de haute performance entièrement dans des environnements cloud réels et sensibles en matière de confidentialité, sans dépendre d'API de pointe coûteuses.

• Combler l'Écart : Il prouve qu'un modèle open-source de 32B, lorsqu'il est entraîné avec une distillation de haute qualité et un RL robuste dans un environnement isolé du bruit, peut égaler les performances de modèles propriétaires beaucoup plus larges sur des tâches complexes dépendantes de l'état.
• Scalabilité : L'architecture proposée rend la vérification de la documentation périodique et à grande échelle économiquement et techniquement réalisable, répondant à un besoin critique de l'industrie pour maintenir l'intégrité de la documentation.
• Reproductibilité : Les auteurs ont ouvert le code de leur benchmark d'évaluation, les données d'entraînement filtrées, le code d'infrastructure de déploiement et le code d'entraînement du modèle pour soutenir de futures recherches sur l'entraînement d'agents cloud en conditions réelles.

Les auteurs reconnaissent des limites, notamment le coût de maintenance des modèles Terraform statiques, la fragilité du parsing DOM pour l'ancrage visuel, et les dépenses d'infrastructure liées à l'exécution de la vérification en direct sur des ressources premium. Cependant, ils affirment que le système actuel offre une voie viable et rentable pour un déploiement durable à pleine échelle.