Agentic AI and Retrieval-Augmented Models in Straight-Through Underwriting
Dieses Paper schlägt ein agentenbasiertes KI-Framework für die automatisierte Underwriting-Abwicklung von kleinen gewerblichen Policen vor und evaluiert dieses, wobei es demonstriert, dass ein Multi-Agenten-System, das gezielte Abfragen, Prüfungen durch Drittdaten und eine explizite Regelauswertung kombiniert, Single-LLM- und naive RAG-Baselines übertrifft, insbesondere in komplexen Szenarien, die Transparenz und Auditierbarkeit erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen eine riesige, superschnelle Pizzaküche. Jeden Tag gehen hunderte Bestellungen ein. Manche Bestellungen sind einfach: „Nur Käse, keine Zwiebeln.“ Andere sind knifflig: „Ich möchte Salami, aber nur, wenn die Salami von einem ganz bestimmten Bauernhof kommt, und ich muss wissen, ob der Bauernhof innerhalb von 50 Meilen liegt, aber der Kunde hat vergessen, den Namen des Bauernhofs auf den Zettel zu schreiben.“
In der alten Zeit nutzte Ihre Küche eine starre Checkliste. Wenn auf dem Zettel nicht „Salami“ stand, konnte die Pizza nicht gemacht werden. Wenn doch, wurde sie gemacht. Aber das echte Leben ist chaotisch. Leute schreiben Notizen wie „Ich liebe scharfes Fleisch vom Bauernhof direkt um die Ecke“ anstatt ein Formular auszufüllen.
Dieses Papier handelt von einer neuen Art von Küchenmanager für Versicherungsgesellschaften (speziell für kleine Gewerbepolicen, genannt BOPs). Die Autoren, Robert Richardson und sein Team, wollten sehen, ob Agentic AI – ein schicker Begriff für einen smarten, mehrstufigen Roboter-Assistenten – diese chaotischen Bestellungen besser bewältigen kann als die alten Methoden.
Die drei Küchenmanager
Um dies zu testen, bauten sie eine simulierte Küche (eine künstliche Welt aus computergenerierten Daten, keine echten Kundenbestellungen) mit 635 verschiedenen „Anträgen“ (Pizza-Bestellungen). Sie testeten drei verschiedene Wege, diese abzuwickeln:
- Der Single-LLM-Chef (Der „Ein-Durchgangs“-Koch): Dies ist ein superintelligenter Roboter, der die Bestellung und das Regelwerk liest und dann sofort „Ja!“ oder „Nein!“ ruft. Er ist schnell, aber er hält nicht inne, um nachzudenken, ob ihm ein Teil des Puzzles fehlt. Er rät einfach basierend auf dem, was er vor sich sieht.
- Der RAG-Chef (Der „Bibliothekar“-Koch): Dieser Roboter ist schlauer. Bevor er eine Antwort ruft, läuft er in eine Bibliothek (eine Datenbank mit Regeln), um die passende Regel zu finden. Er ist besser darin, Fakten zu finden, aber er liest immer noch nur das Buch und antwortet. Er plant nicht wirklich, was als Nächstes zu tun ist.
- Der Agentic Chef (Der „Teamkapitän“): Dies ist nicht nur ein einzelner Roboter, sondern ein Team aus drei spezialisierten Mitarbeitern, die miteinander kommunizieren.
- Mitarbeiter 1 betrachtet die Bestellung und sagt: „Das sieht einfach aus“, „Das sieht seltsam aus“ oder „Mir fehlen Informationen“.
- Mitarbeiter 2 springt ein, wenn Informationen fehlen. Er sagt: „Hey, der Kunde hat die Quadratmeterzahl nicht aufgeschrieben, aber lass uns in unserer externen Datenbank nachsehen, ob wir das herausfinden können.“
- Mitarbeiter 3 ist der „Denker“. Wenn die Bestellung Mathematik erfordert (wie z. B. „Der Kunde hat ein 12.000 sq ft großes Gebäude, aber nur die Hälfte ist für Lebensmittel; sind die Lebensmittel unter 5.000 sq ft?“), erledigt dieser Mitarbeiter die Rechnung und prüft die Regel.
- Wenn sie es immer noch nicht herausfinden können, sagt der Teamkapitän: „Stopp! Wir brauchen einen Menschen, der sich das ansieht.“
Die große Entdeckung
Das Papier legt nahe, dass der Agentic Chef (das Team) am besten darin ist, die richtige Antwort zu geben, besonders wenn es kompliziert wird.
Hier zeigten die Zahlen aus ihrer Simulation:
- Wenn die Bestellungen einfach waren, machten alle drei Köche einen ordentlichen Job.
- Aber wenn die Bestellungen knifflig waren (wie bei der Notwendigkeit von Mathematik oder dem Auffinden fehlender Informationen), war der Agentic Chef der klare Gewinner.
- Bei Bestellungen, bei denen Informationen fehlten, aber woanders gefunden werden konnten, lag der Agentic Chef in 88,2 % der Fälle richtig. Der Ein-Durchgangs-Roboter lag in 80,3 % der Fälle richtig.
- Bei Bestellungen, bei denen Informationen fehlten und auch nicht gefunden werden konnten (die „unlösbaren“ Rätsel), wusste der Agentic Chef in 84,3 % der Fälle, dass er stoppen und einen Menschen fragen muss. Der Ein-Durchgangs-Roboter wusste nur in 56,7 % der Fälle, dass er anhalten musste.
Die wichtigste Erkenntnis ist, dass das Agentic-System viel besser darin ist, zu wissen, wann es „Ich weiß es nicht“ sagen muss. Die anderen Roboter versuchten zu raten und lagen oft falsch. Das Agentic-Team erkannte: „Wir haben nicht genug Fakten, also rufen wir einen Menschen“, was genau das ist, was man in einem verantwortungsvollen Job wie der Versicherung möchte.
Was dieses System NICHT ist
Die Autoren sind sich sehr klar darüber, was dies nicht ist.
- Es ist kein magischer Gedankenleser. Das Papier argumentiert explizit dagegen, dass KI einfach wie ein Mensch „denken“ kann. Diese Roboter haben keine Gefühle oder echte Gehirne; sie folgen lediglich statistischen Mustern und Regeln.
- Es ist kein Ersatz für Menschen. Das Papier argumentt, dass das Ziel nicht darin besteht, alle Underwriter (die menschlichen Entscheidungsträger) zu entlassen. Stattdessen ist das Ziel, den Roboter die einfachen Dinge und die „Ich muss mal nachsehen“-Dinge erleden zu lassen, damit die Menschen sich auf die wirklich schweren, kniffligen Fälle konzentrieren können.
- Es ist noch kein bewiesener Fakt für die reale Welt. Die Ergebnisse stammen aus einem synthetischen Datensatz (einer von Computern geschaffenen, künstlichen Welt). Die Autoren geben zu, dass reale Versicherungsdaten unordentlich, verrauscht und voller Überraschungen sind, die ihre künstlichen Daten vielleicht nicht erfassen. Daher sind die Ergebnisse zwar vielversprechend, aber sie sind simuliert und noch nicht in einer echten Versicherungsgesellschaft bewiesen.
Der Kompromiss: Geschwindigkeit vs. Intelligenz
Es gibt einen Haken. Intelligent zu sein, kostet Zeit.
- Der Single-LLM-Chef war am schnellsten und brauchte etwa 1,64 Sekunden pro Bestellung.
- Der Agentic Chef war am langsamsten und brauchte etwa 4,72 Sekunden pro Bestellung.
Das Papier legt nahe, dass diese zusätzliche Zeit bei kniffligen Bestellungen den Fehleren vorbeugt und es wert ist. Aber für die super-einfachen Bestellungen benötigt man vielleicht nicht das ganze Team.
Das Fazit
Dieses Papier legt nahe, dass man, wenn man Versicherungsentscheidungen automatisieren will, nicht nur einen einzelnen, schnellen Roboter nutzen sollte, der rät. Stattdessen sollte man ein Team von Robotern aufbauen, das innehalten, die Notizen prüfen, einige Berechnungen anstellen, fehlende Fakten nachschlagen und zugeben kann, wenn es feststeckt.
In ihrer simulierten Küche lieferte dieser „Agentic“-Ansatz weniger Fehler und lieferte bessere Begründungen für seine Entscheidungen als die anderen Methoden. Die Autoren erinnern uns jedoch daran, dass dies ein Proof of Concept unter Verwendung von fiktiven Daten ist. Bevor wir diesen Robotern echtes Geld und echte Unternehmen anvertrauen können, müssen wir sie in der unordentlichen, realen Welt testen und sicherstellen, dass Menschen immer das letzte Wort haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.