💬 NLP

Building Customer Support AI Agents at 100M-User Scale: An Evaluation-Driven Framework

Questo articolo presenta un framework unificato e guidato dalla valutazione sviluppato presso Nubank che integra l'ingegneria del contesto strutturato, l'iterazione con l'intervento umano e una rigorosa valutazione tramite LLM judge per implementare con successo agenti AI di assistenza clienti pronti per la produzione in cinque domini per oltre 100 milioni di utenti, ottenendo miglioramenti significativi nella soddisfazione e nei tassi di self-service pur dimostrando una forte correlazione tra le metriche offline e l'impatto online.

Autori originali: Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire una banca enorme con 100 milioni di clienti. Ogni giorno, milioni di persone chiamano o scrivono in chat per chiedere cose come: "Dove si trova la mia carta di credito?" o "Perché devo questa cifra?".

In passato, avresti avuto bisogno di un esercito di agenti umani per rispondere a queste domande. Ma ora, vuoi costruire un robot IA super intelligente che gestisca queste conversazioni. Il problema? Se il robot dà una risposta errata, un cliente si arrabbia, perde fiducia e se ne va. Non puoi semplicemente "indovinare" se il robot è bravo; devi esserne sicuro al 100% prima di lasciarlo parlare con persone reali.

Questo documento è un progetto di Nubank (una banca gigante) su come hanno costruito questi robot IA in modo sicuro e di successo. Ecco come ci sono riusciti, spiegato in modo semplice:

1. Il Problema: Costruire un Robot Senza un Crash Test

Di solito, quando le persone costruiscono l'IA, scrivono delle istruzioni, la testano un po' e sperano nel meglio. Gli autori dicono che questo è come costruire un'auto e guidarla giù da un dirupo per vedere se gli airbag funzionano. Nel supporto clienti, un incidente è troppo costoso.

Avevano bisogno di un modo per testare il robot migliaiz di volte in un "simulatore" prima di lasciarlo parlare con un singolo essere umano reale.

2. La Soluzione: La Fabbrica "Guidata dalla Valutazione"

Inveve di scrivere solo istruzioni, hanno costruito una linea di produzione con quattro stazioni principali. Immaginalo come la calibrazione di un'auto da corsa:

Stazione 1: Il Kit Modulare (Context Engineering)
Inveve di scrivere un unico manuale di istruzioni gigante e disordinato per il robot, lo hanno suddiviso in blocchi Lego.
- Le Regole: Come deve parlare il robot (educato, conciso).
- Il Playbook: Guide passo dopo passo per problemi specifici (es. "Se la carta è persa, fai il passaggio A, poi il passaggio B").
- Gli Strumenti: Un elenco di cose che il robot può effettivamente fare (come controllare un database o riemettere una carta).
- La Memoria: Un blocco note dove il robot annota ciò che ha imparato durante la chat.
- Perché è importante: Se il robot sbaglia il saluto, devi solo sostituire il "blocco Lego del Saluto". Non devi ricostruire l'intera auto.
Stazione 2: I Giudici Robot (LLM-as-a-Judge)
Come fai a sapere se il robot sta facendo un buon lavoro? Non puoi chiedere al robot di dare un voto a se stesso. Quindi, hanno usato un'altra IA (un "Giudice") per valutare le risposte del primo robot.
- L'imprevisto: A volte l'IA Giudice è influenzata da pregiudizi o pigra. Per risolvere questo, hanno usato una tecnica speciale chiamata GEPA. Immagina un coach che osserva l'IA Giudice mentre valuta un test, si rende conto che il Giudice è stato troppo severo e riscrive la griglia di valutazione per renderla più equa. Hanno fatto questo automaticamente finché la valutazione non è diventata super costante.
Stazione 3: La Rete di Sicurezza Umana (Inter-Rater Reliability)
Prima di fidarsi dell'IA Giudice, hanno fatto in modo che persone reali valutassero le stesse risposte. Hanno controllato se gli umani concordavano tra loro. Se gli umani concordavano il 90% delle volte, sapevano che il test era equo. Poi, hanno fatto in modo che l'IA Giudice concordasse con gli umani tanto quanto loro.
Stazione 4: Il Test nel Mondo Reale (A/B Testing)
Una volta che il robot ha superato i test nel simulatore, lo hanno lasciato parlare con un piccolo gruppo di clienti reali (come l'1% degli utenti). Hanno confrontato questo robot con il vecchio sistema. Se il nuovo robot rendeva i clienti più felici, lo hanno lasciato parlare con più persone.

3. I Risultati: Il Robot Vince

Hanno testato questo sistema su cinque diversi tipi di problemi:

Consegna della Carta: "Dove si trova la mia carta?"
Gestione del Debito: "Come faccio a pagare il mio prestito?"
Limiti di Credito: "Posso avere un limite più alto?"
Gestione della Carta: "Cambiare il mio PIN."
Spiegazione del Prodotto: "Che cosa fa questa funzione?"

I Numeri Magici:

Felicità: Per il robot "Consegna della Carta", la felicità del cliente (misurata con un punteggio chiamato tNPS) è salita di 37 punti. Questo è un miglioramento enorme.
Self-Service: Più persone hanno risolto i propri problemi senza bisogno di un essere umano. Il "tasso di self-service" è aumentato di 29 punti.
Umano vs Robot: In quattro casi su cinque, il robot era quasi bravo quanto un esperto umano di alto livello (con uno scarto di pochi punti percentuali). L'unico ambito in cui ha faticato un po' è stato il "Gestione del Debito", che è molto complesso, il che ha senso perché si tratta di matematica difficile ed empatia.

4. La Grande Lezione: "Se puoi misurarlo, puoi correggerlo"

La lezione più importante del documento è questa: la qualità del tuo testing determina la velocità con cui puoi migliorare.

Poiché hanno costruito un sistema di test così rigoroso (il "simulatore"), potevano apportare modifiche alle istruzioni del robot e sapere immediatamente se miglioravano o peggioravano. Non dovevano aspettare settimane per vedere se i clienti erano felici. Potevano iterare (migliorare) il robot decine di volte nel simulatore, e quando finalmente lo lanciavano, era già un campione.

In breve: Non hanno solo costruito un'IA intelligente; hanno costruito un laboratorio di test intelligente per l'IA. E poiché il laboratorio era così buono, il robot che hanno mandato nel mondo era incredibilmente affidabile, capace di rendere felici le persone e pronto per 100 milioni di utenti.

Riepilogo Tecnico: Costruire Agenti AI per il Supporto Clienti su Scala da 100 Milioni di Utenti

Problema

L'avanzamento rapido dei Large Language Models (LLM) ha reso gli agenti AI validi per compiti complessi, tuttavia il dispiegamento di agenti pronti per la produzione e rivolti al cliente su larga scala rimane una sfida significativa. Nel dominio del supporto clienti (CS), specificamente in ambienti ad alto rischio come quello bancario, gli agenti affrontano vincoli unici:

Soglie di Affidabilità Elevate: Un singolo fallimento può erodere la fiducia e causare abbandoni; errori finanziari possono portare a perdite significative.
Sensibilità dei Dati: Gli agenti devono gestire dati reali dei clienti (saldi, transazioni) sotto rigorosi vincoli di privacy e normativi.
Specializzazione vs Diversità: Gli agenti utilizzano set di strumenti (tool) stretti e specifici del dominio (5–15 tool), ma devono gestire una sostanziale diversità di casi limite (edge cases).
Passaggio di Consegne Graduale (Graceful Handoff): Gli agenti devono operare all'interno di un flusso di lavoro con l'intervento umano (human-in-the-loop), trasferendo il controllo con il contesto completo preservato quando l'automazione fallisce.

Un gap critico identificato è che la metodologia di valutazione, l'ingegneria del contesto, l'addestramento e la misurazione online vengono tipicamente sviluppati in isolamento. Ciò crea "punti ciechi" che emergono solo dopo il dispiegamento, rallentando la velocità di iterazione e rischiando fallimenti in produzione.

Metodologia: Un Framework Guidato dalla Valutazione

Gli autori presentano un framework unificato che colma il divario tra lo sviluppo offline e l'impatto online, validato su un'azienda che serve oltre 100 milioni di utenti. La filosofia centrale è che la qualità del pipeline di valutazione determina direttamente la velocità di iterazione.

1. Ingegneria del Contesto Modulare

Invece di prompt monolitici, il sistema impiega un'architettura modulare con versionamento semantico, dove i componenti sono gestiti indipendentemente:

Istruzioni: Definizioni del ruolo, vincoli comportamentali e guardrail di conformità.
Routine: Procedure ordinate passo dopo passo derivate dalle Procedure Operative Standard (SOP) umane (ad es. flussi di investigazione sulla consegna della carta).
Macro: Modelli di risposta pre-scritti adattati dall'agente.
Specifiche degli Strumenti (Tool Specifications): Descrizioni indipendenti degli strumenti (schema, input/output, condizioni di invocazione) che permettono la ricombinazione.
Memoria di Lavoro (Working Memory): Un blocco note persistente (scratchpad) che traccia lo stato della conversazione per evitare chiamate ridondanti.

2. Pipeline di Valutazione Rigorosa

Il framework utilizza un approccio LLM-as-a-Judge (LLM come giudice), potenziato da specifiche misure di affidabilità:

Iterazione Human-in-the-Loop (HITL): Gli esperti di dominio annotano i dati con etichette binarie e motivazioni testuali.
Ottimizzazione GEPA: Il sistema utilizza GEPA (all'interno del framework DSPy) per raffinare automaticamente i prompt del giudice. Un modello forte critica gli errori e sintetizza le revisioni basandosi sul feedback umano, ottimizzando la coerenza.
Affidabilità tra Valutatori (Inter-Rater Reliability - IRR): Il framework impone soglie minime di accordo (misurate tramite il $\kappa$ di Cohen) tra molteplici modelli di giudizio. I prompt sono considerati affidabili solo se producono punteggi stabili attraverso diverse architetture di modelli (ad es. GPT-4.1, GPT-5, o3).
Validazione Cross-Model: Garantisce che le rubriche ben specificate producano punteggi stabili indipendentemente dal modello di giudizio specifico utilizzato.

3. Ciclo di Sviluppo

Il processo opera su due cicli annidati:

Ciclo Rapido (Fast Loop): I risultati della valutazione offline (punteggi di simulazione) guidano correzioni immediate ai prompt. Se un valutatore segnala un fallimento, il componente specifico del prompt viene modificato chirurgicamente e rivalutato.
Ciclo Lento (Slow Loop): Le metriche online (dai test A/B) informano i cambiamenti architettonici, come l'aggiunta di nuove routine o la riprogettazione delle interfacce degli strumenti.

4. Infrastruttura e Dispiegamento

Design degli Strumenti (Tool Design): Gli strumenti sono progettati per l'idempotenza e l'orchestrazione deterministica (avvolgere la logica multi-step in singoli strumenti) per ridurre latenza ed errori.
Rollout Progressivo: I nuovi agenti vengono distribuiti con il 1–5% del traffico con escalation basata sulla fiducia verso gli agenti umani.
Portabilità del Modello: L'architettura modulare consente un'adattamento rapido durante la migrazione tra modelli di base (ad es. da GPT-4.1 a GPT-5) regolando i componenti specifici del prompt piuttosto che riscrivere l'intero sistema.

Contributi Chiave

Framework Unificato: Un sistema a ciclo chiuso che collega l'architettura dell'agente, il versionamento dei prompt, la valutazione offline e la misurazione online.
Ingegneria del Contesto Modulare: Un pattern di design che permette il versionamento indipendente di istruzioni, routine, macro e strumenti.
Pipeline di Calibrazione LLM-as-a-Judge: Un sistema di valutazione rigoroso caratterizzato da requisiti di affidabilità tra i valutatori, prompt del giudice ottimizzati tramite GEPA e validazione cross-model.
Risultati Validati in Produzione: Evidenza empirica da cinque implementazioni di produzione distinte (Consegna Carta, Gestione Debito, Limite di Credito, Gestione Carta, Spiegazione Prodotto).

Risultati

Il framework è stato validato in cinque casi d'uso di produzione, con l'agente Consegna Carta (Card Delivery) come caso di studio principale.

Implementazione Consegna Carta (Risultati Principali)

Soddisfazione del Cliente: Ha ottenuto un miglioramento di 37 punti percentuali (p.p.) nel tNPS (Net Promoter Score transazionale) dell'IA rispetto alle varianti precedenti.
Automazione: Ha ottenuto un guadagno di 29 p.p. nel tasso di self-service (SSR).
Parità con l'Umano: Il tNPS finale dell'IA si è posizionato entro 10 p.p. dagli agenti umani esperti.
Correlazione Offline-Online: È stata osservata una forte correlazione positiva tra i tassi di fallimento della valutazione offline e i guadagni online di tNPS/SSR. Le versioni con i maggiori miglioramenti offline (ad es. V10) hanno fornito i maggiori guadagni online.

Performance Cross-Dominio

In tutti i cinque domini, il framework ha fornito guadagni costanti:

Gestione Debito: +40 p.p. di guadagno in tNPS (sebbene rimanga un divario maggiore di -23.6 p.p. rispetto agli umani, riflettendo la complessità del dominio).
Limite di Credito: +4.5 p.p. di guadagno in tNPS; riduzioni significative nei tassi di fallimento del valutatore per contesto ed empatia.
Gestione Carta: +38.3 p.p. di guadagno in tNPS.
Spiegatore di Prodotto: +12.3 p.p. di guadagno in tNPS.

Efficacia della Pipeline di Valutazione

Ottimizzazione dei Prompt: L'ottimizzazione automatizzata (GEPA) ha superato costantemente l'ingegneria dei prompt manuale e i baseline della classe maggioritaria. Ad esempio, nell'Eval E3, l'accuratezza è salita dal 58.07% (manuale) al 73.01% (ottimizzato).
Accordo tra Valutatori (Inter-Rater Agreement): I prompt "starter" non ottimizzati hanno prodotto un accordo trascurabile tra i modelli ( $\kappa \approx 0.00$ a $0.10$). I prompt ottimizzati tramite GEPA hanno aumentato significativamente l'accordo (ad es. $\kappa = 0.745$ tra GPT-4.1 e GPT-4.1-mini; $\kappa = 0.950$ tra modelli intensivi di ragionamento).

Significato e Rivendicazioni

Il paper sostiene che la qualità della valutazione è il determinante primario della velocità di iterazione. Stabilendo un "ciclo rapido" affidabile attraverso giudici calibrati e un rigoroso accordo tra valutatori, i team possono iterare con fiducia offline senza attendere segnali online rari.

Gli autori affermano che il loro framework riesce a colmare il divario tra la simulazione offline e la realtà online, dimostrando che lo sviluppo guidato dalla valutazione predice in modo affidabile l'impatto in produzione. La metodologia si dimostra generalizzabile in diversi domini di supporto clienti, consentendo alle organizzazioni di scalare gli agenti AI a oltre 100 milioni di utenti mantenendo un'alta qualità, conformità e soddisfazione del cliente. Il lavoro sottolinea che, sebbene gli agenti IA possano avvicinarsi alle prestazioni umane in molti domini, i compiti più difficili (come la gestione del debito) richiedono ancora una supervisione umana attenta e un raffinamento iterativo.