Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

1. Enunciato del Problema

L'implementazione di agenti basati su Modelli Linguistici di Grande Dimensione (LLM) per l'automazione end-to-end nel supporto clienti aziendale incontra ostacoli significativi:

• Propagazione degli Errori: Piccoli errori nelle interazioni UI multi-step si accumulano su orizzonti temporali lunghi, portando al fallimento dei flussi di lavoro.
• Costo e Complessità: I tradizionali loop di controllo multi-step sono costosi su larga scala, e i frequenti cambiamenti nell'interfaccia utente o nei processi rendono la Robotica dei Processi Automatizzati (RPA) fragile o i flussi scriptati manualmente difficili da mantenere.
• Sicurezza e Fiducia: Agenti completamente autonomi rischiano di degradare la qualità del supporto o causare errori irreversibili in processi aziendali sensibili (ad esempio, modifiche agli account).
• Scarsità di Dati: A differenza dei benchmark di navigazione web, i flussi di lavoro aziendali mancano di grandi dataset pubblici per l'addestramento, e la logica di dominio è altamente specializzata.

Gli autori propongono un sistema che realizza un'automazione selettiva: automatizzando i passaggi ad alta fiducia mentre rimanda le decisioni incerte agli operatori umani, bilanciando così l'efficienza con la sicurezza.

2. Metodologia

Il sistema impiega una pipeline di deployment a stadi ispirata all'apprendimento per imitazione (in particolare DAgger), che procede attraverso tre fasi per addestrare una policy e un critico.

A. Rappresentazione e Serializzazione dei Dati

• Vista Guidata dallo Schema: Invece di affidarsi al DOM grezzo o agli screenshot (che sono fragili ai cambiamenti dell'interfaccia), il sistema estrae una rappresentazione JSON guidata dallo schema dell'interfaccia di Business Process Management (BPM).
• Tracce Stato-Azione: Le sessioni degli operatori vengono registrate come traiettorie $\{s_t, a_t\}$. Lo stato $s_t$ include la cronologia delle chat, il contesto UI (profilo del cliente, scenario attivo) e gli annunci globali. Le azioni $a_t$ sono categorizzate in quattro tipi: composizione del messaggio, navigazione, selezione/compilazione moduli e gestione della sessione.
• Formato di Input: Gli snapshot dell'interfaccia utente e le azioni vengono fusi in un dialogo cronologico che alterna messaggi del cliente, azioni dell'operatore e stati UI aggiornati per l'input dell'LLM.

B. Pipeline di Deployment a Stadi

1. Fase di Registrazione:
   • Raccoglie le tracce complete delle interazioni degli operatori.
   • Addestra un Modello Policy iniziale ($\pi_\theta$) tramite Fine-Tuning Supervisionato (SFT) sulla clonazione del comportamento (prevedere l'azione successiva dato lo stato).
2. Fase Copilot:
   • Dispone la policy per suggerire azioni agli operatori in tempo reale.
   • Loop di Feedback: Gli operatori accettano il suggerimento o lo correggono.
   • Critico vs Non Critico: Le azioni non critiche (ad esempio, navigazione UI) possono essere eseguite automaticamente; le azioni critiche (ad esempio, invio messaggi, chiusura chat) richiedono l'approvazione umana.
   • Questa fase genera dati etichettati (accetta/rifiuta) specificamente per i passaggi critici.
3. Fase di Automazione Selettiva:
   • Addestra un Modello Critico ($c_\phi$) utilizzando il feedback del copilot per stimare la probabilità che un'azione critica proposta sia corretta.
   • Esecuzione a Cancello: Il sistema esegue un'azione $\hat{a}$ solo se il punteggio del critico $c_\phi(s, \hat{a}) \geq \tau$ (dove $\tau$ è una soglia calibrata).
   • Astensione: Se il punteggio è inferiore a $\tau$, il controllo viene passato all'operatore umano, che riprende dallo stato UI aggiornato.
   • Calibrazione: La soglia $\tau$ viene regolata per soddisfare i requisiti di precisione aziendale (ad esempio, garantendo che il 90% delle azioni automatizzate verrebbe accettato dagli umani).

C. Sicurezza e Adattabilità

• Gestione Out-of-Distribution (OOD): Il sistema utilizza regole di validazione giornaliere per rilevare nuovi elementi dell'interfaccia utente. Se viene rilevato uno spostamento (drift), l'automazione viene disabilitata per la porzione interessata, tornando alla modalità copilot per raccogliere nuova supervisione.
• Anonimizzazione: I dati di addestramento subiscono una mascheratura rigorosa (sostituzione di entità, distintività a livello di sessione) per proteggere i PII.
• Miglioramento Continuo: I modelli vengono riaddestrati su finestre scorrevoli di dati recenti, con coppie policy-critico specifiche per slice per diversi cluster di problemi.

3. Contributi Chiave

1. Deployment a Stadi Scalabile in Produzione: Una pipeline innovativa che transita dalla registrazione al copilot all'automazione selettiva, sfruttando la supervisione naturalmente occorrente (accetta/rifiuta) invece di richiedere la creazione manuale di regole.
2. Serializzazione dello Stato Guidata dallo Schema: Il passaggio da agenti basati su visuali/screenshot a una rappresentazione JSON strutturata dell'interfaccia BPM, che consente un monitoraggio robusto e chiamate di strumenti affidabili senza elaborazione di immagini.
3. Autonomia a Cancello del Critico: Un meccanismo che combina una policy addestrata con SFT e un critico addestrato sul feedback delle traiettorie per gestire il trade-off copertura-errori, consentendo l'esecuzione in background sicura di passaggi ad alta fiducia.
4. Framework di Ingegneria: Documentazione completa delle misure di sicurezza (astensione, gestione del drift dei dati, fallback) e di un protocollo di valutazione online con studi di ablazione.

4. Risultati Sperimentali

Il sistema è stato valutato in un ambiente di produzione live con circa 15.000 clienti per gruppo di test A/B.

Risultati Offline

• Necessità dell'SFT: Il prompting zero-shot (anche con modelli di grandi dimensioni come GPT-5 o Gemini 3) ha raggiunto solo circa il 47% di accuratezza degli strumenti. L'SFT specifico di dominio sul modello Qwen2.5-7B ha raggiunto un'accuratezza degli strumenti del 79,15%, dimostrando che il fine-tuning specializzato è essenziale per la logica aziendale.
• Miscelazione dei Dati: La miscelazione dei log storici con le correzioni di rifiuto del copilot ha migliorato la generalizzazione sui casi difficili.
• Prestazioni del Critico: Un critico addestrato con SFT ha superato una baseline basata sulla fiducia di +3,84% di Precisione e +3,03% di F1, validando che l'apprendimento dal feedback umano esplicito è superiore all'incertezza grezza del modello.

Risultati Online (Test A/B)

• Efficienza: Rispetto a una baseline basata solo su umani, il sistema di automazione selettiva ha ridotto il Tempo Medio dell'Agente (AAT) del 39% (da 227s a 139s).
• Qualità: I punteggi di correttezza della risoluzione sono rimasti statisticamente invariati rispetto alla baseline, confermando nessuna degradazione nella qualità del supporto.
• Tasso di Automazione: Il sistema ha automatizzato completamente il 45% delle sessioni end-to-end senza intervento umano.
• Confronto con Bot Classici: Ha superato una baseline di chatbot basata su regole riducendo l'AAT del 16%.
• Guadagno Incrementale: Il passaggio da "conferma obbligatoria" a "esecuzione abilitata all'automazione" ha ulteriormente ridotto l'AAT del 25%.

5. Significato e Conclusione

Questo documento dimostra una via pratica e scalabile per implementare agenti LLM in ambienti aziendali ad alto rischio.

• Cambiamento di Paradigma: Si allontana dall'"autonomia completa" (che è rischiosa) e dall'"RPA statica" (che è fragile) verso un'autonomia incrementale e selettiva.
• Uomo nel Loop: Il sistema tratta gli operatori come "editor di AI", supervisionando multiple sessioni concorrenti e intervenendo solo quando il sistema è incerto.
• Generalizzabilità: L'approccio è applicabile a qualsiasi flusso di lavoro basato su interfacce strutturate dove sono disponibili log di interazione, offrendo un modello per un'automazione sicura ed efficiente in settori regolamentati.

Il lavoro sottolinea che la sicurezza è ottenuta non limitando le capacità del modello, ma controllando la sua esecuzione attraverso un critico appreso e un processo di deployment a stadi che si adatta continuamente alla logica aziendale in cambiamento.