Self-evolving Agentic Customer Support System at LinkedIn
LinkedIn präsentiert ein selbstentwickelndes, agentisches Kundensupport-System, das Retrieval-Augmented Generation mit evolutionärem Auto-Prompting und einem modularen Evaluierungs-Framework kombiniert, um kontinuierliche, sichere Verbesserungen ohne das Nachtrainieren von Foundation-Modellen zu erreichen, was während der A/B-Tests in der Produktion zu signifikanten Gewinnen bei der Selbstbedienungs-Lösungsrate und der Routing-Genauigkeit führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, der perfekte Kundenservice-Agent für ein riesiges, sich ständig veränderndes Unternehmen zu sein. Sie könnten denken: „Gib ihm einfach ein großes Gehirn und ein Regelwerk!“ Aber hier ist der Haken: Die Produkte, Regeln und sogar die Sprache des Unternehmens ändern sich jeden einzelnen Tag. Wenn Sie dem Roboter nur ein statisches Regelwerk geben, wird er schnell verwirrt sein, Dinge erfinden oder veraltete Ratschläge geben. Dies ist das Problem der „statischen“ KI in einer dynamischen Welt. Um dies zu lösen, experimentieren Wissenschaftler mit einigen Schlüsselideen. Erstens gibt es die Retrieval-Augmented Generation (RAG), was so ist, als würde man dem Roboter einen Bibliotheksausweis geben, damit er Fakten in einer Datenbank nachschlagen kann, anstatt aus seinem Gedächtnis zu raten. Zweitens gibt es das Prompt Engineering, die Kunst, den perfekten Satz von Anweisungen (einen „Prompt“) zu schreiben, um dem Roboter zu sagen, wie er denken und handeln soll. Drittens gibt es die Evolutionäre Suche, eine Methode, die von der Natur inspiriert ist, bei der man viele leicht unterschiedliche Versionen einer Lösung erstellt, sie testet und die besten für die nächste Generation behält. Die große Frage, die sich Forscher stellen, ist: Können wir diese Werkzeuge kombinieren, um einen KI-Agenten zu bauen, der nicht nur Regeln befolgt, sondern tatsächlich selbstständig lernt und sich verbessert, ohne dass ein Mensch jede Woche seinen Code umschreiben muss?
Genau das wollte das Team bei LinkedIn bauen: Ein Self-Evolving Agentic Customer Support System (ein selbstentwickelndes agentisches Kundensupport-System). Denken Sie an einen Kundenservice-Roboter, der einen eingebauten „Coach“ und ein „Fitnessstudio“ hat. Anstatt dass ein menschlicher Ingenieur Wochen damit verbringt, die Anweisungen des Roboters anzupassen, läuft das System in einer kontinuierlichen Schleife aus Training, Testen und Selbst-Upgrade.
So geschieht die Magie. Das System behandelt die Anweisungen des Roboters (den „Prompt“) wie einen lebenden Organismus. Es nutzt eine Auto-Prompt-Engine, die wie ein genetischer Algorithmus fungiert. Stellen Sie sich einen Coach vor, der 100 leicht unterschiedliche Versionen eines Spielplans für den Roboter schreibt. Der Roboter probiert sie alle an Übungsfragen aus. Der Coach nutzt dann ein Team von „Richter“-Robotern, um die Leistung zu bewerten. Die besten Spielpläne werden miteinander vermischt (Crossover) und leicht verändert (Mutation), um eine neue, intelligentere Generation von Anweisungen zu erstellen. Dies geschieht automatisch, immer und immer wieder, um sicherzustellen, dass die Anweisungen des Roboters perfekt bleiben, auch wenn sich die Produkte von LinkedIn ändern.
Entscheidend ist, dass dieser Roboter Antworten nicht einfach nur errät. Er ist mit einem RAG-Tool ausgestattet, das er nach eigenem Ermessen nutzen kann. Wenn ein Nutzer eine Frage stellt, entscheidet der Roboter: „Weiß ich das, oder muss ich nachschlagen?“ Wenn er nachschlagen muss, durchsucht er eine versionierte Bibliothek von Hilfeartikeln und Produktdokumentationen. Dies verhindert, dass der Roboter „halluziniert“ (Dinge erfindet). Tatsächlich halluzinierte dieser intelligente, selbstentwickelnde Roboter in ihren Tests weniger als 0,1 % der Zeit, im Vergleich zu etwa 5–6 % bei Standard-Systemen, die einfach ein Dokument lesen und raten.
Das Team hat dies nicht nur gebaut, sondern auch in der realen Welt getestet. Sie führten ein zweiwöchiges Experiment durch, bei dem die Hälfte der echten LinkedIn-Nutzer den alten, statischen Roboter erhielt und die andere Hälfte den neuen, selbstentwickelnden Roboter. Die Ergebnisse waren ein riesiger Sieg für das neue System. Der selbstentwickelnde Roboter half Nutzern, ihre Probleme 9,0 Prozentpunkte häufiger selbst zu lösen, ohne einen menschlichen Agenten zu benötigen. Er half Nutzern auch, Abonnements 4,8 Prozentpunkte häufiger selbst zu kündigen. Vielleicht am beeindruckendsten war, dass er viel besser darin wurde, herauszufinden, welche menschliche Abteilung ein Nutzer kontaktieren muss, wodurch die Genauigkeit der Weiterleitung um 30,6 Prozentpunkte verbessert wurde.
Das Paper macht deutlich, dass dies kein Zauberstab ist, der alles löst. Das System ist immer noch darauf angewiesen, gute Informationen in seiner Bibliothek zu haben; wenn die Bibliothek die Antwort nicht enthält, wird der Roboter sie nicht erfinden. Außerdem benötigt der „Evolutionsprozess“ Zeit und Rechenleistung und läuft in einem wöchentlichen Zyklus statt sofort. Aber die Studie beweist einen entscheidenden Punkt: Indem wir Prompts, Retrieval und Evaluation als geschlossene, versionskontrollierte Schleife behandeln, können wir KI-Agenten bauen, die nicht einfach nur veralten. Sie können wachsen, sich anpassen und von selbst intelligenter werden, um mit der schnelllebigen Welt des Enterprise-Supports Schritt zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.