💬 NLP

Building Customer Support AI Agents at 100M-User Scale: An Evaluation-Driven Framework

Ce document présente un cadre unifié, piloté par l'évaluation, développé chez Nubank, qui intègre l'ingénierie de contexte structurée, l'itération avec intervention humaine et une évaluation rigoureuse par des juges LLM pour déployer avec succès des agents d'IA de support client prêts pour la production dans cinq domaines pour plus de 100 millions d'utilisateurs, atteignant des améliorations significatives du taux de satisfaction et d'auto-assistance tout en démontrant une forte corrélation entre les métriques hors ligne et l'impact en ligne.

Auteurs originaux : Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une banque massive possédant 100 millions de clients. Chaque jour, des millions de personnes appellent ou discutent par chat pour poser des questions telles que : « Où est ma carte de crédit ? » ou « Pourquoi dois-je cette somme ? ».

Par le passé, il vous aurait fallu une armée d'agents humains pour répondre à cela. Mais aujourd'hui, vous voulez construire un robot d'IA super intelligent pour gérer ces conversations. Le problème ? Si le robot donne une mauvaise réponse, un client se met en colère, perd confiance et s'en va. Vous ne pouvez pas simplement « deviner » si le robot est bon ; vous devez en être sûr à 100 % avant de le laisser parler à de vraies personnes.

Ce document est un plan directeur de Nubank (une banque géante) sur la façon dont ils ont construit ces robots d'IA de manière sûre et réussie. Voici comment ils ont fait, expliqué simplement :

1. Le Problème : Construire un robot sans test de collision

Habituellement, quand les gens construisent une IA, ils écrivent des instructions, la testent un peu, et espèrent que tout se passera bien. Les auteurs disent que c'est comme construire une voiture et la conduire dans le vide pour voir si les airbags fonctionnent. Dans le service client, un accident est trop coûteux.

Ils avaient besoin d'un moyen de tester le robot des milliers de fois dans un « simulateur » avant de le laisser parler à un seul véritable humain.

2. La Solution : L'usine « pilotée par l'évaluation »

Au lieu de simplement écrire des instructions, ils ont construit une ligne de production avec quatre stations. Voyez cela comme le réglage d'une voiture de course :

Station 1 : Le kit modulaire (Ingénierie du contexte)
Au lieu d'écrire un manuel d'instructions unique et désordonné pour le robot, ils l'ont décomposé en blocs de type Lego.
- Les Règles : Comment le robot doit parler (poli, concis).
- Le Playbook : Des guides étape par étape pour des problèmes spécifiques (ex : « Si la carte est perdue, faites l'étape A, puis l'étape B »).
- Les Outils : Une liste de ce que le robot peut réellement faire (comme consulter une base de données ou réémettre une carte).
- La Mémoire : Un bloc-notes où le robot écrit ce qu'il a appris pendant la discussion.
- Pourquoi c'est important : Si le robot se trompe dans sa salutation, vous n'avez qu'à remplacer le « bloc Lego de la Salutation ». Vous n'avez pas besoin de reconstruire toute la voiture.
Station 2 : Les juges robots (LLM-as-a-Judge)
Comment savoir si le robot fait du bon travail ? Vous ne pouvez pas demander au robot de s'auto-évaluer. Ils ont donc utilisé une autre IA (un « Juge ») pour noter les réponses du premier robot.
- Le Piège : Parfois, l'IA Juge est biaisée ou paresseuse. Pour corriger cela, ils ont utilisé une technique spéciale appelée GEPA. Imaginez un entraîneur qui regarde l'IA Juge noter un examen, réalise que le Juge a été trop sévère, et réécrit la grille de notation pour être plus juste. Ils ont fait cela automatiquement jusqu'à ce que la notation devienne super cohérente.
Station 3 : Le filet de sécurité humain (Fiabilité inter-évaluateurs)
Avant de faire confiance au Juge IA, des humains réels ont noté les mêmes réponses. Ils ont vérifié si les humains étaient d'accord entre eux. Si les humains étaient d'accord 90 % du temps, ils savaient que le test était équitable. Ensuite, ils se sont assurés que le Juge IA était aussi en accord avec les humains.
Station 4 : Le test en conditions réelles (Tests A/B)
Une fois que le robot a passé les tests du simulateur, ils l'ont laissé parler à un petit groupe de vrais clients (comme 1 % des utilisateurs). Ils ont comparé ce robot à l'ancien système. Si le nouveau robot rendait les clients plus heureux, ils le laissaient parler à plus de personnes.

3. Les Résultats : Le robot gagne

Ils ont testé ce système sur cinq types de problèmes différents :

Livraison de carte : « Où est ma carte ? »
Gestion de la dette : « Comment puis-je rembourser mon prêt ? »
Limites de crédit : « Puis-je obtenir une limite plus élevée ? »
Gestion de la carte : « Changer mon code PIN. »
Explication de produit : « Que fait cette fonctionnalité ? »

Les chiffres magiques :

Bonheur : Pour le robot de « Livraison de carte », le bonheur des clients (mesuré par un score appelé tNPS) a bondi de 37 points. C'est une amélioration massive.
Self-Service : Plus de personnes ont résolu leurs problèmes sans avoir besoin d'un humain. Le « taux de self-service » a augmenté de 29 points.
Humain vs Robot : Dans quatre cas sur cinq, le robot était presque aussi bon qu'un expert humain de haut niveau (à quelques points de pourcentage près). Le seul domaine où il a un peu peiné est la « Gestion de la dette », très complexe, ce qui est logique car cela implique des calculs difficiles et de l'empathie.

4. La Grande Leçon : « Si vous pouvez le mesurer, vous pouvez le réparer »

La conclusion la plus importante de l'article est la suivante : la qualité de votre test détermine la vitesse à laquelle vous pouvez progresser.

Parce qu'ils ont construit un système de test si rigoureux (le « simulateur »), ils pouvaient modifier les instructions du robot et savoir immédiatement s'il s'était amélioré ou dégradé. Ils n'avaient pas besoin d'attendre des semaines pour voir si les clients étaient heureux. Ils pouvaient faire itérer (améliorer) le robot des dizaines de fois dans le simulateur, et lorsqu'ils l'ont enfin lancé, il était déjà un champion.

En bref : Ils n'ont pas seulement construit une IA intelligente ; ils ont construit un laboratoire de test intelligent pour l'IA. Et parce que le laboratoire était si performant, le robot qu'ils ont envoyé dans le monde était incroyablement fiable, apportait de la satisfaction et était prêt pour 100 millions d'utilisateurs.

Résumé Technique : Construire des Agents IA de Support Client à l'Échelle de 100 Millions d'Utilisateurs

Problématique

L'avancement rapide des grands modèles de langage (LLM) a rendu les agents IA viables pour des tâches complexes, pourtant, le déploiement d'agents orientés client prêts pour la production à grande échelle demeure un défi significatif. Dans le domaine du support client (CS), plus précisément dans des environaux à enjeux élevés comme la banque, les agents font face à des contraintes uniques :

Seuils de fiabilité élevés : Un seul échec peut éroder la confiance et provoquer un désabonnement ; les erreurs financières peuvent entraîner des pertes importantes.
Sensibilité des données : Les agents doivent traiter des données clients réelles (soldes, transactions) sous des contraintes strictes de confidentialité et de réglementation.
Spécialisation vs Diversité : Les agents utilisent des ensembles d'outils étroits et spécifiques au domaine (5 à 15 outils) mais doivent gérer une diversité substantielle de cas limites.
Passage de relais fluide : Les agents doivent opérer dans un flux de travail avec l'humain dans la boucle (human-in-the-loop), transférant le contrôle avec un contexte complet préservé lorsque l'automatisation échoue.

Un fossé critique identifié est que la méthodologie d'évaluation, l'ingénierie du contexte, l'entraînement et la mesure en ligne sont typiquement développés de manière isolée. Cela crée des « angles morts » qui ne surviennent qu'après le déploiement, ralentissant la vélocité d'itération et risquant des échecs en production.

Méthodologie : Un Cadre Piloté par l'Évaluation

Les auteurs présentent un cadre unifié qui fait le pont entre le développement hors ligne et l'impact en ligne, validé sur une entreprise servant plus de 100 millions d'utilisateurs. La philosophie centrale est que la qualité du pipeline d'évaluation détermine directement la vélocité d'itération.

1. Ingénierie de Contexte Modulaire

Au lieu de prompts monolithiques, le système utilise une architecture modulaire à versionnement sémantique où les composants sont gérés indépendamment :

Instructions : Définitions de rôles, contraintes comportementales et garde-fous de conformité.
Routines : Procédures ordonnées, étape par étape, dérivées des procédures opérationnelles standard (SOP) humaines (ex: flux d'investigation de livraison de carte).
Macros : Modèles de réponses pré-écrits adaptés par l'agent.
Spécifications d'outils : Descriptions indépendantes des outils (schéma, entrée/sortie, conditions d'invocation) permettant la recombinaison.
Mémoire de travail : Un bloc-notes persistant suivant l'état de la conversation pour éviter les appels redondants.

2. Pipeline d'Évaluation Rigoureux

Le cadre utilise une approche de LLM-as-a-Judge (le LLM comme juge), améliorée par des mesures de fiabilité spécifiques :

Itération avec l'Humain dans la Boucle (HITL) : Des experts métier annotent les données avec des étiquettes binaires et des justifications textuelles.
Optimisation GEPA : Le système utilise GEPA (au sein du framework DSPy) pour affiner automatiquement les prompts des juges. Un modèle puissant critique les erreurs et synthétise les révisions basées sur le feedback humain, optimisant la cohérence.
Fiabilité Inter-Évaluateurs (IRR) : Le cadre impose des seuils d'accord minimaux (mesurés via le $\kappa$ de Cohen) entre plusieurs modèles de juges. Les prompts ne sont jugés fiables que s'ils produisent des scores stables à travers différentes architectures de modèles (ex: GPT-4.1, GPT-5, o3).
Validation Croisée entre Modèles : Garantit que les rubriques bien spécifiées produisent des scores stables quel que soit le modèle de juge utilisé.

3. Cycle de Développement

Le processus opère sur deux boucles imbriquées :

Boucle Rapide : Les résultats de l'évaluation hors ligne (scores de simulation) pilotent les corrections immédiates de prompts. Si un évaluateur signale un échec, le composant spécifique du prompt est modifié chirurgicalement et réévalué.
Boucle Lente : Les métriques en ligne (issues des tests A/B) informent les changements architecturaux, tels que l'ajout de nouvelles routines ou la redéfinition des interfaces d'outils.

4. Infrastructure et Déploiement

Conception d'Outils : Les outils sont conçus pour l'idempotence et l'orchestration déterministe (en encapsulant la logique multi-étapes dans des outils uniques) afin de réduire la latence et les erreurs.
Déploiement Progressif : Les nouveaux agents sont déployés sur 1 à -5 % du trafic avec une escalade basée sur la confiance vers les agents humains.
Portabilité des Modèles : L'architecture modulaire permet une adaptation rapide lors de la migration entre modèles de fondation (ex: de GPT-4.1 à GPT-5) en ajustant des composants de prompt spécifiques plutôt qu'en réécrivant l'ensemble du système.

Principales Contributions

Cadre Unifié : Un système en boucle fermée connectant l'architecture de l'agent, le versionnement des prompts, l'évaluation hors ligne et la mesure en ligne.
Ingénierie de Contexte Modulaire : Un modèle de conception permettant le versionnement indépendant des instructions, des routines, des macros et des outils.
Pipeline de LLM-as-a-Judge Calibré : Un système d'évaluation rigoureux comprenant des exigences de fiabilité inter-évaluateurs, des prompts de juges optimisés par GEPA et une validation croisée entre modèles.
Résultats Validés en Production : Preuve empirique à travers cinq déploiments de production distincts (Livraison de Carte, Gestion de Dette, Limite de Crédit, Gestion de Carte, Explication de Produit).

Résultats

Le cadre a été validé sur cinq cas d'utilisation en production, l'agent de Livraison de Carte servant de cas d'étude principal.

Déploiement de Livraison de Carte (Résultats Principaux)

Satisfaction Client : A atteint une amélioration de 37 points de pourcentage (p.p.) du Net Promoter Score transactionnel (tNPS) de l'IA par rapport aux variantes précédentes.
Automatisation : A atteint un gain de 29 p.p. de taux d'auto-service (SSR).
Parité Humaine : Le tNPS final de l'IA s'est situé à moins de 10 p.p. de celui des agents experts humains.
Corrélation Hors Ligne-En Ligne : Une forte corrélation positive a été observée entre les taux d'échec de l'évaluation hors ligne et les gains de tNPS/SSR en ligne. Les versions présentant les plus grandes améliorations hors ligne (ex: V10) ont délivré les gains en ligne les plus élevés.

Performance Trans-Domaine

À travers les cinq domaines, le cadre a délivré des gains constants :

Gestion de Dette : Gain de +40 p.p. de tNPS (bien qu'un écart plus important de -23,6 p.p. subsiste par rapport aux humains, reflétant la complexité du domaine).
Limite de Crédit : Gain de +4,5 p.p. de tNPS ; réductions significatives des taux d'échec de l'évaluateur pour le contexte et l'empathie.
Gestion de Carte : Gain de +38,3 p.p. de tNPS.
Explicateur de Produit : Gain de +12,3 p.p. de tNps.

Efficacité du Pipeline d'Évaluation

Optimisation de Prompt : L'optimisation automatisée (GEPA) a systématiquement surpassé l'ingénierie de prompt manuelle et les baselines de classe majoritaire. Par exemple, dans l'Eval E3, la précision est passée de 58,07 % (manuel) à 73,01 % (optimisé).
Accord Inter-Évaluateurs : Les prompts "de départ" non optimisés entraînaient un accord négligeable entre les modèles ( $\kappa \approx 0,00$ à $0,10$). Les prompts optimisés par GEPA ont considérablement augmenté l'accord (ex: $\kappa = 0,745$ entre GPT-4.1 et GPT-4.1-mini ; $\kappa = 0,950$ entre les modèles intensifs en raisonnement).

Signification et Revendications

L'article affirme que la qualité de l'évaluation est le principal déterminant de la vélocité d'itération. En établissant une "boucle rapide" fiable grâce à des juges calibrés et un accord rigoureux entre évaluateurs, les équipes peuvent itérer en toute confiance hors ligne sans attendre des signaux en ligne qui sont par nature rares.

Les auteurs soutiennent que leur cadre comble avec succès le fossé entre la simulation hors ligne et la réalité en ligne, démontant que le développement piloté par l'évaluation prédit de manière fiable l'impact en production. La méthodologie prouve qu'elle est généralisable à divers domaines de support client, permettant aux organisations de passer à l'échelle des agents IA pour plus de 100 millions d'utilisateurs tout en maintenant une haute qualité, une conformité et la satisfaction client. Le travail souligne que si les agents IA peuvent approcher le niveau de performance humain dans de nombreux domaines, les tâches les plus difficiles (comme la gestion de dette) nécessitent toujours une supervision humaine attentive et un raffinement itératif.