Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

1. Probleemstelling

Het inzetten van agents op basis van Large Language Models (LLM) voor end-to-end automatisering in enterprise klantenservice stuit op aanzienlijke hindernissen:

• Foutpropagatie: Kleine fouten in multi-stap UI-interacties versterken elkaar over lange trajecten, wat leidt tot mislukkingen van workflows.
• Kosten en Complexiteit: Traditionele multi-stap controlelussen zijn op schaal duur, en frequente UI-/proceswijzigingen maken breekbare Robotic Process Automation (RPA) of handmatig geschreven flows moeilijk te onderhouden.
• Veiligheid en Vertrouwen: Volledig autonome agents riskeren een verslechtering van de servicekwaliteit of het veroorzaken van onomkeerbare fouten in gevoelige bedrijfsprocessen (bijvoorbeeld accountwijzigingen).
• Data-schaarste: In tegenstelling tot benchmarks voor webbrowsing ontbreken er grote, publieke datasets voor het trainen van enterprise workflows, en is de domeinlogica sterk gespecialiseerd.

De auteurs stellen een systeem voor dat selectieve automatisering bereikt: het automatiseren van stappen met een hoge zekerheid, terwijl onzekere beslissingen worden uitgesteld aan menselijke operators, waardoor efficiëntie en veiligheid in evenwicht worden gebracht.

2. Methodologie

Het systeem maakt gebruik van een gefaseerde implementatiepijplijn die is geïnspireerd op imitatielearning (specifiek DAgger) en verloopt via drie fasen om een beleid en een criticus te trainen.

A. Data-representatie en Serialisatie

• Schema-gedreven weergave: In plaats van te vertrouwen op ruwe DOM-structuren of screenshots (die kwetsbaar zijn voor UI-wijzigingen), extrahert het systeem een schema-gedreven JSON-representatie van de Business Process Management (BPM)-interface.
• State-Action traces: Operator-sessies worden gelogd als trajecten $\{s_t, a_t\}$. De state $s_t$ omvat chatgeschiedenis, UI-context (klantprofiel, actief scenario) en globale aankondigingen. Acties $a_t$ worden gecategoriseerd in vier types: berichtopstelling, navigatie, selectie/formulierinvulling en sessiebeheer.
• Invoerformaat: UI-snapshot en acties worden samengevoegd tot een chronologische dialoog die klantberichten, operatoracties en bijgewerkte UI-staten afwisselt voor LLM-invoer.

B. Gefaseerde Implementatiepijplijn

1. Logfase:
   • Verzamelt volledige traces van operator-interacties.
   • Traineert een initieel Beleidmodel ($\pi_\theta$) via Supervised Fine-Tuning (SFT) op behavior cloning (voorspellen van de volgende actie gegeven de state).
2. Copilot-fase:
   • Zet het beleid in om operators in real-time acties voor te stellen.
   • Feedbacklus: Operators accepteren de suggestie of corrigeren deze.
   • Kritiek vs. Niet-kritiek: Niet-kritieke acties (bijvoorbeeld UI-navigatie) kunnen automatisch worden uitgevoerd; kritieke acties (bijvoorbeeld berichten sturen, chats sluiten) vereisen menselijke goedkeuring.
   • Deze fase genereert gelabelde data (accepteren/afwijzen) specifiek voor kritieke stappen.
3. Fase Selectieve Automatisering:
   • Traineert een Criticusmodel ($c_\phi$) met behulp van de copilot-feedback om de waarschijnlijkheid te schatten dat een voorgestelde kritieke actie correct is.
   • Gedreven Executie: Het systeem voert een actie $\hat{a}$ alleen uit als de score van de criticus $c_\phi(s, \hat{a}) \geq \tau$ (waarbij $\tau$ een gekalibreerde drempelwaarde is).
   • Afzien: Als de score onder $\tau$ ligt, wordt de controle overgedragen aan de menselijke operator, die hervat vanaf de bijgewerkte UI-state.
   • Kalibratie: De drempelwaarde $\tau$ wordt afgesteld om aan zakelijke precisie-eisen te voldoen (bijvoorbeeld ervoor zorgen dat 90% van de geautomatiseerde acties door mensen zou worden geaccepteerd).

C. Veiligheid en Aanpasbaarheid

• Omgaan met Out-of-Distribution (OOD): Het systeem gebruikt dagelijkse validatieregels om nieuwe UI-elementen te detecteren. Als drift wordt gedetecteerd, wordt automatisering uitgeschakeld voor het betreffende segment en wordt teruggegrepen naar copilot-modus om nieuwe supervisie te verzamelen.
• Anonimisering: Trainingsdata ondergaat strikte masking (vervanging van entiteiten, onderscheid op sessieniveau) om PII te beschermen.
• Continue Verbetering: Modellen worden opnieuw getraind op rollende vensters van recente data, met sectiespecifieke beleid-criticusparen voor verschillende probleemclusters.

3. Belangrijkste Bijdragen

1. Productie-schaalbare Gefaseerde Implementatie: Een innovatieve pijplijn die overgaat van logging naar copilot naar selectieve automatisering, waarbij gebruik wordt gemaakt van natuurlijk voorkomende supervisie (accepteren/afwijzen) in plaats van handmatig opstellen van regels.
2. Schema-gedreven State-serialisatie: Weg van visuele/screenshot-gebaseerde agents naar een gestructureerde JSON-representatie van de BPM-interface, wat robuuste monitoring en betrouwbare tool-aanroepen mogelijk maakt zonder beeldverwerking.
3. Criticus-gedreven Autonomie: Een mechanisme dat een door SFT getraind beleid combineert met een criticus getraind op trajectfeedback om de trade-off tussen foutdekking en veiligheid te beheren, waardoor veilige achtergrondexecutie van stappen met hoge zekerheid mogelijk is.
4. Engineering Framework: Uitgebreide documentatie van veiligheidsmaatregelen (afzien, omgaan met datadrift, fallbacks) en een online evaluatieprotocol met ablatiestudies.

4. Experimentele Resultaten

Het systeem werd geëvalueerd in een live productieomgeving met ongeveer 15.000 klanten per A/B-testgroep.

Offline Resultaten

• Noodzaak van SFT: Zero-shot prompting (zelfs met grote modellen zoals GPT-5 of Gemini 3) bereikte slechts ~47% tool-nauwkeurigheid. Domeinspecifieke SFT op het Qwen2.5-7B-model bereikte 79,15% tool-nauwkeurigheid, wat bewijst dat gespecialiseerde fine-tuning essentieel is voor enterprise logica.
• Data-mixing: Het mengen van historische logs met copilot-afwijzingscorrecties verbeterde de generalisatie op moeilijke gevallen.
• Prestaties van de Criticus: Een door SFT getrainde criticus presteerde beter dan een op vertrouwen gebaseerde baseline met +3,84% Precision en +3,03% F1, wat bevestigt dat leren van expliciete menselijke feedback superieur is aan ruwe modelonzekerheid.

Online Resultaten (A/B-tests)

• Efficiëntie: In vergelijking met een baseline alleen met mensen, verlaagde het systeem voor selectieve automatisering de Average Agent Time (AAT) met 39% (van 227s naar 139s).
• Kwaliteit: Scores voor resolutienauwkeurigheid bleven statistisch onveranderd in vergelijking met de baseline, wat bevestigt dat er geen verslechtering van de servicekwaliteit is opgetreden.
• Automatiseringspercentage: Het systeem automatiseerde volledig 45% van de sessies end-to-end zonder menselijke tussenkomst.
• Vergelijking met Klassieke Bots: Het presteerde beter dan een op regels gebaseerde chatbot-baseline door de AAT met 16% te verlagen.
• Incrementele Winst: De overstap van "verplichte bevestiging" naar "uitvoering met automatisering" verlaagde de AAT verder met 25%.

5. Betekenis en Conclusie

Dit artikel toont een praktische, schaalbare weg naar het inzetten van LLM-agents in hoog-risico enterprise-omgevingen.

• Paradigmaverschuiving: Het beweegt weg van "volledige autonomie" (wat riskant is) en "statische RPA" (wat breekbaar is) naar incrementele, selectieve autonomie.
• Mens in de Lus: Het systeem behandelt operators als "AI-editors", die meerdere gelijktijdige sessies superviseren en alleen ingrijpen wanneer het systeem onzeker is.
• Generaliseerbaarheid: De aanpak is toepasbaar op elke gestructureerde interface-workflow waar interactielogs beschikbaar zijn, en biedt een blauwdruk voor veilige, efficiënte automatisering in gereguleerde industrieën.

Het werk benadrukt dat veiligheid niet wordt bereikt door de mogelijkheden van het model te beperken, maar door de uitvoering te blokkeren via een geleerde criticus en een gefaseerd implementatieproces dat continu aanpast aan veranderende bedrijfslogica.