Help Without Being Asked: A Deployed Proactive Agent System for On-Call Support with Continuous Self-Improvement

Dit paper introduceert Vigil, een proactief agentensysteem dat tijdens het volledige on-call levenscyclus van klanttickets op het Volcano Engine-platform van ByteDance ingrijpt zonder expliciete vraag, continu zelf verbetert door uit menselijke oplossingen te leren, en zo de werkdruk voor supportanalisten verlaagt.

De kern

Stel je voor dat je een gigantisch, drukke klantenservice hebt voor een enorme wolk van digitale diensten (zoals een supermarkt voor internet-apps). Elke dag komen er duizenden mensen binnen met problemen: "Mijn database werkt niet," "Mijn foto's zijn verdwenen," of "Ik kan niet inloggen."

Normaal gesproken zitten hier honderden menselijke experts achter hun schermen om iedereen te helpen. Maar als er een grote storing is, raken ze overbelast. De wachtrijen worden lang en de klanten worden ongeduldig.

Om dit op te lossen, hebben bedrijven eerder slimme robots (AI) ingezet. Maar deze robots hadden een groot gebrek: ze waren reactief. Dat betekent dat ze alleen werkten als de klant hen direct aansprak. Zodra de robot dacht: "Ik snap dit niet, ik roep een mens erbij," stopte hij met werken. Hij verdween uit het gesprek en liet de klant alleen achter met de menselijke expert. De robot leerde ook niets van wat de mens daarna deed.

Vigil: De "Onzichtbare Assistent"

De auteurs van dit paper hebben een nieuwe robot bedacht, genaamd Vigil. Vigil is geen vervanger voor de menselijke expert, maar een proactieve assistent die tijdens het gesprek tussen de klant en de expert meekijkt en meehelpt.

Hier is hoe Vigil werkt, vertaald in alledaagse termen:

1. De "Stille Observator" (Proactief zijn)

Stel je voor dat je een kok bent (de menselijke expert) die aan het koken bent voor een hongerige gast (de klant). Een andere kok (Vigil) staat in de hoek en kijkt mee.

• De oude robot: Als de gast vraagt: "Zou je me een recept kunnen geven?" en de kok zegt: "Ik moet even zoeken," zou de oude robot verdwijnen.
• Vigil: Vigil ziet dat de gast een vraag stelt die hij zelf wel weet (bijvoorbeeld: "Hoe zet ik de oven aan?"). Hij roept niet luid: "IK WEET HET!" maar schuift een klein kaartje met het antwoord naar de gast, terwijl de hoofdkok nog steeds bezig is met het hoofdgerecht.
• Het resultaat: De gast krijgt direct antwoord op zijn simpele vraag, en de hoofdkok hoeft niet te stoppen met zijn complexe taak. Vigil helpt zonder dat iemand erom heeft gevraagd.

2. De "Slimme Leerling" (Zelfverbetering)

Dit is misschien wel het coolste deel. Vigil is niet alleen een robot die antwoorden geeft; hij is ook een eetbare leerling.

• Het probleem: In de wereld van cloud-diensten verandert alles razendsnel. Nieuwe fouten ontstaan, nieuwe oplossingen worden gevonden. Een oude kennisbank is vaak verouderd.
• De oplossing: Vigil luistert naar elk gesprek. Als hij een vraag ziet die hij niet kan beantwoorden, en de menselijke expert lost het op, dan leert Vigil van die oplossing. Hij slaat het op in zijn eigen geheugen.
• De analogie: Stel je voor dat Vigil een notitieboekje heeft. Als hij ziet dat de expert zegt: "Oh, deze fout komt door een specifieke software-update," schrijft Vigil dat op. De volgende keer dat iemand met diezelfde fout komt, heeft Vigil het antwoord al in zijn notitieboekje staan. Hij wordt elke dag slimmer, zonder dat iemand hem handmatig moet programmeren.

3. De "Dubbeltjes-Detectie"

Soms stellen klanten dezelfde vraag op verschillende manieren. Vigil is slim genoeg om te zien: "Wacht, ik heb dit al net beantwoord!" Hij voorkomt dan dat hij twee keer hetzelfde antwoord geeft, wat de klant alleen maar zou verwarren. Hij houdt het gesprek schoon en overzichtelijk.

Waarom is dit belangrijk?

In de echte wereld (bij ByteDance, het bedrijf achter TikTok) werkt Vigil nu al meer dan een jaar.

• Snelheid: Klanten hoeven niet meer te wachten tot de menselijke expert reageert op simpele vragen.
• Leren: Vigil leert van elke oplossing die een mens vindt. Als er morgen een nieuwe storing is, kan Vigil misschien al helpen, omdat hij het gisteren al heeft gezien.
• Menselijke hulp: De menselijke experts hoeven zich niet meer te vervelen met simpele vragen. Ze kunnen zich focussen op de moeilijke, complexe problemen waar de robot niet bij kan.

Kort samengevat:
Vigil is als een superhandige stagiair in een drukke winkel. Hij staat niet alleen in de hoek, maar loopt mee met de verkoper. Hij helpt de klant direct als hij iets weet, en hij leert van elke verkoop die de verkoper doet, zodat hij de volgende dag nog beter kan helpen. Hij vraagt nooit om aandacht, maar zorgt er wel voor dat iedereen tevreden is.

Technische samenvatting

Probleemstelling

In grote cloudserviceplatforms, zoals Volcano Engine van ByteDance, worden dagelijks duizenden klanttickets gegenereerd die voornamelijk via chatgesprekken worden afgehandeld. Dit creëert een enorme werkdruk voor menselijke supportanalisten. Bestaande oplossingen maken gebruik van reactieve agenten (vaak gebaseerd op Large Language Models of LLM's) die fungeren als eerste lijn van ondersteuning.

Deze reactieve agenten hebben echter twee fundamentele beperkingen:

1. Vroegtijdige ontkoppeling: Zodra een vraag buiten het bereik van de agent valt en wordt doorverwezen naar een menselijke analist, stopt de agent met werken. Hierdoor kan de agent niet helpen bij vervolgvragen die wel binnen zijn bereik vallen, wat de totale responstijd verlengt en de menselijke analist niet ontlast.
2. Gebrek aan continu leren: Bestaande systemen vertrouwen vaak op handmatig onderhouden kennisbanken. In dynamische on-call situaties (bijv. nieuwe servicefouten) is deze kennis vaak verouderd. Agenten leren niet autonoom van menselijk opgeloste gevallen, waardoor dezelfde problemen in verschillende sessies opnieuw moeten worden opgelost.

Methodologie: Het Vigil-systeem

Het paper introduceert Vigil, een proactief agentensysteem dat is ontworpen om de volledige levenscyclus van een on-call sessie te doorlopen, inclusief de fase waarin een menselijke analist betrokken is. Vigil fungeert niet als vervanger, maar als een proactieve assistent die samenwerkt met de menselijke analist.

Het systeem bestaat uit twee hoofdcomponenten:

1. Online Proactieve Respons

In tegenstelling tot reactieve agenten die wachten op expliciete instructies, monitort Vigil continu het dialoog tussen klant en analist.

• Contextbewuste vraagidentificatie: Vigil analyseert nieuwe berichten en classificeert ze in drie categorieën: Binnen bereik (cloudspecifieke vragen), Buiten bereik (subjectieve beslissingen) of Geen hulp nodig (groetjes/bevestigingen). Alleen vragen binnen het bereik triggeren een respons.
• Antwoordgeneratie: Gebruikmakend van Retrieval-Augmented Generation (RAG) en tooling (zoals het ophalen van logs en alerts), genereert Vigil antwoorden. Het systeem herschrijft impliciete vragen naar expliciete vragen om de context te begrijpen.
• Antwoorddeduplicatie: Om herhaling te voorkomen, vergelijkt Vigil de semantische similariteit van een nieuw gegenereerd antwoord met eerdere antwoorden in dezelfde sessie. Als de similariteit een drempelwaarde (θ) overschrijdt, wordt het antwoord onderdrukt.
• Interface: Antwoorden worden gepresenteerd via een specifiek "kaartje" (card) dat visueel onderscheidt tussen mens en AI, inclusief citaten voor verifieerbaarheid en een knop voor feedback.

2. Continu Zelfverbetering (Continuous Self-Improvement)

Vigil leert autonoom van elke interactie om de kennisbank te updaten zonder handmatige tussenkomst.

• Leren van onbeantwoorde vragen: Als Vigil geen antwoord kan geven en de menselijke analist wel, extrahert Vigil de oplossing uit het vervolggesprek en slaat deze op als een nieuw vraag-antwoordpaar.
• Leren van beantwoorde vragen:
  • Acceptatie: Als een klant of analist een antwoord accepteert, wordt het opgeslagen als correcte kennis.
  • Review: Als een antwoord niet expliciet wordt geaccepteerd, start een review-agent. Deze analyseert of de menselijke analist een beter antwoord gaf.
    • Behouden: Als het antwoord correct was.
    • Verwijderen: Als het antwoord volledig fout was (bijv. verouderde referenties).
    • Updaten: Als het antwoord slechts kleine onnauwkeurigheden had, worden de referenties verfijnd.
• Externe documenten: Vigil pakt ook externe links (documentatie, API-referenties) die in het gesprek worden gedeeld om de kennisbasis te verrijken met gestructureerde, actuele informatie.

Belangrijkste Bijdragen

1. Proactieve Agent Paradigma: Vigil is het eerste systeem dat actief blijft na escalatie naar menselijke ondersteuning, waardoor de "actiecyclus" wordt verlengd en de analist wordt ontlast bij vervolgvragen.
2. Autonome Zelfverbetering: Een mechanisme dat kennis dynamisch opbouwt uit menselijk opgeloste incidenten en externe documenten, waardoor de afhankelijkheid van handmatig onderhouden kennisbanken wordt verminderd.
3. Productie-implementatie: Vigil is gedurende meer dan tien maanden ingezet in de productieomgeving van Volcano Engine, wat zeldzaam is voor academisch onderzoek op dit gebied.

Resultaten en Evaluatie

Het systeem is geëvalueerd op basis van data van meer dan 131.000 on-call sessies (2,3 miljoen berichten) en een dataset van 300 geselecteerde sessies.

• Uitgebreide Ondersteuning (Q1): In 40,5% van de sessies leverde Vigil waardevolle hulp nadat de menselijke analist was ingeschakeld.
• Vraagidentificatie (Q2): Het gebruik van een gespecialiseerd identificatiemodule verbeterde de prestaties aanzienlijk. Voor sommige modellen (zoals GPT-5-mini) steeg de F1-score met wel 203,2% ten opzichte van een baseline zonder deze module.
• Antwoordnauwkeurigheid (Q3): Een ablatiestudie toonde aan dat het zelfverbeteringsmechanisme cruciaal is. De volledige Vigil-systeem presteerde significant beter dan een versie zonder zelfverbetering. Bijvoorbeeld, met Seed-1.6 steeg de nauwkeurigheid van proactieve antwoorden van 0,154 naar 0,591 (een toename van 282,6%).
• Deduplicatie (Q4): Met een optimale drempelwaarde van 0,7 voor semantische similariteit, werd een gebalanceerde F1-score van 0,752 bereikt, wat effectief redundantie voorkomt zonder nuttige antwoorden te blokkeren.

Betekenis en Conclusie

Het paper demonstreert dat proactieve agenten, die samenwerken met mensen in plaats van hen te vervangen, de operationele efficiëntie in cloudsupport aanzienlijk kunnen verbeteren. De belangrijkste inzichten zijn:

• Snelheid is cruciaal: Antwoorden moeten sneller zijn dan die van de menselijke analist om nuttig te zijn; daarom zijn complexe, trage redeneerstrategieën minder geschikt.
• Feedback-ambiguïteit: Het ontbreken van expliciete feedback (zoals een "Accept" klik) betekent niet per se dat een antwoord slecht is. Vigil gebruikt daarom een contextbewuste review-mechanisme in plaats van alleen te vertrouwen op expliciete gebruikersfeedback.
• Toekomstperspectief: Hoewel Vigil nu vooral antwoorden geeft, ligt de toekomst in het uitvoeren van acties (zoals geautomatiseerde diagnose) en het vinden van een balans tussen lage latentie en diep redeneren.

Vigil biedt een bewezen, schaalbaar kader voor mens-AI samenwerking in kritieke operationele omgevingen, waarbij het systeem continu leert en verbetert op basis van real-world data.