Building Customer Support AI Agents at 100M-User Scale: An Evaluation-Driven Framework
Dieses Paper präsentiert ein bei Nubank entwickeltes, einheitliches, evaluationsgetriebenes Framework, das strukturiertes Context Engineering, Human-in-the-Loop-Iterationen und eine rigorose LLM-Judge-Evaluierung integriert, um erfolgreich produktionsreife KI-Kundensupport-Agenten über fünf Domänen hinweg für über 100 Millionen Nutzer einzusetzen, wobei signifikante Verbesserungen bei der Kundenzufriedenheit und den Self-Service-Raten erzielt wurden, während gleichzeitig eine starke Korrelation zwischen Offline-Metriken und Online-Impact nachgewiesen wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten eine riesige Bank mit 100 Millionen Kunden. Jeden Tag rufen Millionen von Menschen an oder schreiben im Chat und fragen Dinge wie: „Wo ist meine Kreditkarte?“ oder „Warum schulde ich diesen Betrag?“
Früher hätten Sie eine Armee von menschlichen Agenten gebraucht, um diese Fragen zu beantworten. Aber jetzt wollen Sie einen superintelligenten KI-Roboter bauen, der diese Gespräche führt. Das Problem? Wenn der Roboter eine falsche Antwort gibt, wird ein Kunde wütend, verliert das Vertrauen und geht zur Konkurrenz. Man kann nicht einfach „raten“, ob der Roboter gut ist; man muss sich zu 100 % sicher sein, bevor man ihn mit echten Menschen sprechen lässt.
Dieses Paper ist ein Bauplan von Nubank (einer riesigen Bank) darüber, wie sie diese KI-Roboter sicher und erfolgreich gebaut haben. Hier ist die Erklärung, vereinfacht:
1. Das Problem: Einen Roboter bauen, ohne einen Crashtest zu machen
Normalerweise, wenn Leute KI entwickeln, schreiben sie Anweisungen, testen sie ein wenig und hoffen das Beste. Die Autoren sagen, das sei so, als würde man ein Auto bauen und es von einer Klippe fahren lassen, um zu sehen, ob die Airbags funktionieren. Im Kundensupport ist ein „Crash“ zu teuer.
Sie brauchten einen Weg, den Roboter tausende Male in einem „Simulator“ zu testen, bevor er auch nur ein einziges echte Gespräch mit einem Menschen führt.
2. Die Lösung: Die „evaluationsgetriebene“ Fabrik
Anstatt nur Anweisungen zu schreiben, bauten sie eine Fließbandfertigung mit vier Stationen. Stellen Sie sich das wie das Tuning eines Rennwagens vor:
Station 1: Das modulare Kit (Context Engineering)
Anstatt dem Roboter ein einziges, riesiges, chaotisches Handbuch zu geben, zerlegten sie es in Lego-Blöcke.- Die Regeln: Wie der Roboter sprechen soll (höflich, prägnant).
- Das Playbook: Schritt-für-Schritt-Anleitungen für spezifische Probleme (z. B. „Wenn die Karte verloren geht, mache Schritt A, dann Schritt B“).
- Die Werkzeuge: Eine Liste von Dingen, die der Roboter tatsächlich tun kann (wie eine Datenbank abfragen oder eine Karte neu ausstellen).
- Das Gedächtnis: Ein Notizblock, auf dem der Robot während des Chats festhält, was er gelernt hat.
- Warum das wichtig ist: Wenn der Roboter die Begrüßung falsch macht, tauschen Sie nur den „Begrüßungs-Lego-Block“ aus. Sie müssen nicht das ganze Auto neu bauen.
Station 2: Die Roboter-Richter (LLM-as-a-Judge)
Woher wissen Sie, ob der Roboter einen guten Job macht? Man kann den Roboter nicht sich selbst bewerten lassen. Also nutzten sie eine andere KI (einen „Richter“), um die Antworten des ersten Roboters zu bewerten.- Der Haken: Manchmal ist die Richter-KI voreingenommen oder faul. Um das zu beheben, nutzten sie eine spezielle Technik namens GEPA. Stellen Sie sich einen Trainer vor, der beobachtet, wie die Richter-KI eine Prüfung bewertet, merkt, dass der Richter zu streng war, und das Bewertungsraster umschreibt, um es fairer zu machen. Dies geschah automatisch, bis die Bewertung super konsistent wurde.
Station 3: Das menschliche Sicherheitsnetz (Inter-Rater-Reliability)
Bevor sie der KI-Richter vertrauten, ließen sie echte Menschen dieselben Antworten bewerten. Sie prüften, ob die Menschen untereinander übereinstimmten. Wenn die Menschen zu 90 % übereinstimmten, wussten sie, dass der Test fair war. Dann stellten sie sicher, dass der KI-Richter genauso sehr mit den Menschen übereinstimmte.Station 4: Der Realitätstest (A/B-Testing)
Sobald der Roboter die Tests im Simulator bestanden hatte, ließen sie ihn mit einer winzigen Gruppe echter Kunden sprechen (wie 1 % der Nutzer). Sie verglichen diesen Roboter mit dem alten System. Wenn der neue Roboter die Kunden glücklicher machte, ließen sie ihn mit mehr Menschen sprechen.
3. Die Ergebnisse: Der Roboter gewinnt
Sie testeten dieses System bei fünf verschiedenen Arten von Problemen:
- Kartenlieferung: „Wo ist meine Karte?“
- Schuldenmanagement: „Wie zahle ich meinen Kredit ab?“
- Kreditlimits: „Kann ich ein höheres Limit bekommen?“
- Kartenverwaltung: „Meine PIN ändern.“
- Produkt-Erklärer: „Was macht diese Funktion?“
Die magischen Zahlen:
- Glück/Zufriedenheit: Für den „Kartenlieferungs“-Roboter stieg die Kundenzufriedenheit (gemessen an einem Score namens tNPS) um 37 Punkte. Das ist eine massive Verbesserung.
- Self-Service: Mehr Menschen lösten ihre Probleme, ohne einen Menschen zu benötigen. Die „Self-Service-Rate“ stieg um 29 Punkte.
- Mensch vs. Roboter: In vier von fünf Fällen war der Roboter fast so gut wie ein Top-Experte (innerhalb weniger Prozentpunkte). Der einzige Bereich, in dem er etwas kämpfte, war das sehr komplexe „Schuldenmanagement“, was Sinn ergibt, da dies das schwierigste Mathe- und Empathie-Problem ist.
4. Die große Lektion: „Wenn du es messen kannst, kannst du es verbessern“
Die wichtigste Erkenntnis aus dem Paper ist: Die Qualität deines Testens bestimmt, wie schnell du dich verbessern kannst.
Weil sie ein so strenges Testsystem (den „Simulator“) gebaut hatten, konnten sie Änderungen an den Anweisungen des Roboters vornehmen und sofort wissen, ob er besser oder schlechter wurde. Sie mussten nicht Wochen warten, um zu sehen, ob die Kunden glücklich waren. Sie konnten den Roboter im Simulator dutzendfach iterieren (verbessern), und als sie ihn schließlich starteten, war er bereits ein Champion.
Kurz gesagt: Sie haben nicht nur eine intelligente KI gebaut; sie haben ein intelligentes Testlabor für die KI gebaut. Und weil das Labor so gut war, war der Roboter, den sie in die Welt schickten, unglaublich zuverlässig, kundenfreundlich und bereit für 100 Millionen Nutzer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.