Help Without Being Asked: A Deployed Proactive Agent System for On-Call Support with Continuous Self-Improvement

Ce papier présente Vigil, un système d'agent proactif déployé sur la plateforme cloud Volcano Engine de ByteDance qui assiste continuellement les analystes de support sans sollicitation explicite et s'améliore de manière autonome en apprenant des cas résolus par l'humain.

L'essentiel

🌟 Le Concept : Le "Super-Second" qui ne dort jamais

Imaginez que vous travaillez dans un grand service de soutien technique (comme un centre d'appels géant pour le cloud). Des milliers de clients arrivent chaque jour avec des problèmes : "Je ne peux pas me connecter", "Mon serveur est en panne", etc.

Habituellement, le processus ressemble à ceci :

1. Un robot (une IA "réactive") essaie d'aider le client.
2. Si le robot est bloqué, il dit : "Je ne sais pas, appelez un humain."
3. Le robot s'éteint. Il quitte la conversation.
4. Un humain (l'analyste) prend le relais, explique la solution, et le client repart.
5. Si un autre client arrive avec le même problème 10 minutes plus tard, le robot doit tout réapprendre depuis zéro, car il a oublié ce que l'humain vient de dire.

Le problème ? Le robot est trop timide. Il attend qu'on lui parle, et dès qu'un humain intervient, il se cache dans son coin.

🚀 La Solution : Vigil, le "Assistant Invisible"

Les auteurs de l'article ont créé Vigil. Imaginez Vigil non pas comme un robot qui remplace l'humain, mais comme un super-assistant invisible qui se tient juste derrière l'épaule de l'analyste humain.

Voici comment il fonctionne, avec des analogies simples :

1. Il ne dort jamais (Le Cycle d'Action Étendu)

Contrairement aux robots classiques qui s'arrêtent quand un humain arrive, Vigil reste éveillé pendant toute la conversation.

• L'analogie : Imaginez un match de football. Le robot classique est le gardien de but. Si l'attaque devient trop difficile, il crie "J'ai besoin d'aide !" et s'assoit sur le banc. Vigil, lui, reste sur le terrain. Même si l'entraîneur (l'humain) prend le ballon pour donner un conseil, Vigil continue de courir, de regarder le jeu, et si le joueur (le client) pose une question simple que l'entraîneur n'a pas encore le temps de répondre, Vigil lève la main et dit : "Je peux répondre à ça !"

2. Il apprend en direct (L'Auto-Amélioration Continue)

C'est la partie la plus magique. Vigil ne se contente pas de répondre ; il apprend de chaque conversation.

• L'analogie : Imaginez un apprenti cuisinier (Vigil) qui observe un chef étoilé (l'humain).
  • Si le client demande "Comment changer la sauce ?" et que le robot ne sait pas, le chef intervient et explique.
  • Vigil écoute, note la recette dans son carnet, et la range dans sa bibliothèque.
  • Le lendemain, si un autre client pose la même question, Vigil sort la recette de sa bibliothèque et la donne avant même que le chef n'ait besoin de parler.
  • Le génie : Si le chef corrige une information ou si une nouvelle astuce est découverte lors d'une urgence, Vigil l'apprend immédiatement. Il ne faut pas attendre des mois pour mettre à jour ses manuels ; il se met à jour en temps réel, comme un téléphone qui télécharge une mise à jour automatique.

3. Il sait quand se taire (La Carte de Réponse)

Vigil ne crie pas tout le temps. Il est poli et intelligent.

• L'analogie : Vigil utilise une petite carte visuelle (comme un post-it numérique) qui apparaît doucement dans la conversation.
  • Si la question est trop complexe (ex: "Décidez de ma stratégie d'entreprise"), Vigil reste silencieux.
  • Si la question est simple (ex: "Où est mon mot de passe ?"), il glisse la réponse sur la carte.
  • Le client peut cliquer sur "C'est bon" pour valider. Si personne ne clique, Vigil observe la suite de la conversation pour voir si l'humain a dû corriger la réponse. Si c'est le cas, il efface sa mauvaise réponse de sa mémoire pour ne pas la répéter.

📊 Les Résultats Concrets

Vigil a été testé pendant plus de 10 mois sur la plateforme "Volcano Engine" de ByteDance. Les résultats sont impressionnants :

• Il aide même quand les humains sont là : Dans 40 % des cas, Vigil a réussi à répondre à des questions après qu'un humain ait rejoint la conversation, soulageant ainsi la charge de travail des agents.
• Il apprend vite : Il a collecté plus de 270 000 nouvelles connaissances (recettes de résolution de problèmes) en observant les conversations.
• Il évite les doublons : Il sait repérer si le client vient de poser la même question deux fois et évite de répondre la même chose (comme un ami qui ne répète pas la même blague).

💡 En Résumé

Vigil, c'est comme avoir un collègue infatigable et super-intelligent qui travaille avec vous 24h/24.

• Il ne remplace pas l'humain, il le soutient.
• Il ne s'arrête pas quand le problème devient dur.
• Il apprend de chaque erreur et de chaque succès pour devenir meilleur chaque jour, sans qu'un humain ait besoin de le programmer manuellement.

C'est une révolution : au lieu d'avoir un robot qui s'arrête quand ça devient difficile, on a un robot qui continue d'apprendre et d'aider même quand les experts humains sont sur le coup.

Résumé technique

1. Problématique

Dans les plateformes de services cloud à grande échelle comme Volcano Engine (ByteDance), la gestion des incidents opérationnels (on-call) génère des milliers de tickets quotidiens, créant une charge de travail massive pour les analystes humains.

Les solutions actuelles reposent principalement sur des agents réactifs basés sur des modèles de langage (LLM). Ces agents agissent comme une première ligne de défense mais présentent deux limites majeures :

1. Cycle d'action court : Dès qu'un problème dépasse leurs capacités et est escaladé vers un analyste humain, l'agent se désengage. Il ne peut donc pas aider sur les sous-questions ultérieures, même si elles sont simples, ni suivre la résolution.
2. Manque d'apprentissage continu : Les connaissances sont souvent figées dans des bases de données manuelles (RAG statique). Les nouvelles solutions découvertes lors d'incidents en cours ne sont pas intégrées rapidement, ce qui entraîne des réponses obsolètes et un travail de débogage redondant.

2. Méthodologie : Le Système Vigil

Pour combler ces lacunes, les auteurs proposent Vigil, un système d'agent proactif conçu pour opérer tout au long du cycle de vie d'un incident, y compris pendant l'intervention humaine.

A. Réponse Proactive en Ligne (Online Proactive Response)

Contrairement aux agents réactifs qui attendent une invocation explicite, Vigil surveille en continu le dialogue entre le client et l'analyste humain.

• Identification contextuelle des questions : Vigil analyse les nouveaux messages pour déterminer s'ils relèvent de son périmètre (problèmes liés au cloud) et s'ils nécessitent une intervention. Il classe les messages en trois catégories : Dans le périmètre, Hors périmètre, ou Aucune aide nécessaire.
• Génération de réponses : Une fois une question identifiée, Vigil utilise une stratégie de récupération de connaissances multi-chemins (RAG) combinant une base de documents techniques et un historique de tickets. Il génère une réponse en s'appuyant sur le contexte complet de la conversation et, si nécessaire, en invoquant des outils pour récupérer des logs ou des alertes.
• Déduplication : Pour éviter de spammer le client avec des réponses redondantes lors de reformulations de la même question, Vigil calcule la similarité sémantique avec les réponses précédentes du même ticket et supprime les doublons au-delà d'un seuil de similarité (optimisé à 0,7).
• Interface de carte (Card) : Les réponses sont présentées sous forme de cartes distinctes visuellement des messages humains, avec des citations pour la traçabilité et un bouton « Accepter » pour la validation.

B. Mécanisme d'Amélioration Continue (Continuous Self-Improvement)

Vigil intègre un cycle d'apprentissage autonome qui met à jour sa base de connaissances sans intervention manuelle :

• Apprentissage des questions non résolues : Si Vigil ne peut pas répondre, l'analyste humain intervient. Vigil extrait la solution de la suite du dialogue et l'ajoute à sa base de connaissances sous forme de paire Question-Réponse.
• Révision des réponses générées :
  • Si un utilisateur accepte la réponse, elle est validée.
  • Si la réponse n'est pas acceptée (ou si l'analyste fournit une réponse différente), un agent de révision analyse le contexte. Il peut garder la réponse (si elle est correcte mais ignorée), supprimer les références obsolètes, ou mettre à jour l'entrée de connaissances pour affiner le contexte (ex: distinguer deux causes racines différentes pour le même symptôme).
• Apprentissage à partir de documents externes : Vigil capture et indexe les liens vers la documentation officielle partagés lors des tickets pour enrichir ses sources de vérité.

3. Contributions Clés

1. Paradigme Proactif : Introduction d'un agent qui reste actif après l'escalade vers un humain, agissant comme un assistant collaboratif plutôt que comme un simple chatbot de premier niveau.
2. Boucle d'Auto-Apprentissage : Conception d'un mécanisme robuste qui apprend des interactions réelles (réponses humaines et documents partagés) pour mettre à jour dynamiquement sa base de connaissances, réduisant la dépendance aux mises à jour manuelles.
3. Déploiement Industriel : Mise en œuvre réussie sur Volcano Engine pendant plus de 10 mois, avec une évaluation quantitative et qualitative rigoureuse.

4. Résultats Expérimentaux

Le système a été déployé sur Volcano Engine, traitant plus de 131 000 tickets et générant 136 000 réponses proactives.

• Couverture étendue : Dans 40,5 % des tickets impliquant un humain, Vigil a fourni une assistance supplémentaire utile après l'escalade, réduisant ainsi le temps d'attente et la charge des analystes.
• Précision de l'identification : L'ajout du module d'identification de questions a considérablement amélioré les performances. Par exemple, avec le modèle GPT-5-mini, le score F1 pondéré a augmenté de 203,2 % par rapport à une approche de base sans module de filtrage.
• Précision des réponses : Grâce au module d'amélioration continue, la précision des réponses générées par Vigil a augmenté de manière significative. Sur le modèle Seed-1.6 (utilisé en production), la précision est passée de 15,4 % (sans auto-amélioration) à 59,1 % (système complet).
• Gestion des doublons : Le mécanisme de déduplication avec un seuil de 0,7 a permis d'atteindre un score F1 pondéré optimal de 0,752, équilibrant efficacement la suppression des redondances et la conservation des réponses utiles.

5. Signification et Conclusion

Ce travail démontre que l'intégration d'agents proactifs dans les flux de travail humains existants est plus efficace que le remplacement pur et simple des agents réactifs.

• Valeur Opérationnelle : Vigil réduit la charge cognitive des analystes en automatisant les réponses aux sous-questions répétitives et en accélérant la résolution des incidents critiques grâce à l'apprentissage immédiat des solutions temporaires.
• Adaptabilité : Le système prouve sa capacité à s'adapter aux environnements dynamiques du cloud, où les connaissances évoluent rapidement (ex: pannes de services, correctifs temporaires).
• Leçons apprises : L'étude souligne l'importance de la latence (la réponse doit être plus rapide que celle de l'humain) et la nécessité de ne pas se fier uniquement aux retours explicites des utilisateurs (bouton "Accepter"), mais d'utiliser le contexte du dialogue pour valider la qualité des connaissances.

En résumé, Vigil établit un nouveau paradigme pour le support technique assisté par l'IA, passant d'une interaction réactive et statique à une collaboration proactive et évolutif.