Agentic AI and Retrieval-Augmented Models in Straight-Through Underwriting
Dit artikel stelt een agentisch AI-framework voor en evalueert dit voor de straight-through underwriting van kleine commerciële polissen, waarbij wordt aangetoond dat een multi-agent systeem dat gerichte retrieval, controles via gegevens van derden en expliciete regelevaluatie combineert, beter presteert dan single-LLM en naïeve RAG-baselines, met name in complexe scenario's die transparantie en controleerbaarheid vereisen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantische, supersnelle pizzeria runt. Elke dag komen er honderden bestellingen binnen. Sommige bestellingen zijn simpel: "Alleen kaas, geen uien." Anderen zijn lastig: "Ik wil pepperoni, maar alleen als de pepperoni van een specifieke boerderij komt, en ik moet weten of die boerderij binnen 50 mijl ligt, maar de klant is vergeten de naam van de boerderij op het briefje te schrijven."
In de oude dagen gebruikte je winkel een rigide checklist. Als er niet "pepperoni" op het briefje stond, kon je de pizza niet maken. Als dat er wel stond, maakte je hem. Maar het echte leven is rommelig. Mensen schrijven aantekeningen zoals "Ik hou van pittig vlees van de boerderij om de hoek" in plaats van een formulier in te vullen.
Dit artikel gaat over een nieuw soort keukenmanager voor verzekeringsmaatschappijen (specifiek voor kleine zakelijke polissen genaamd BOP's). De auteurs, Robert Richardson en zijn team, wilden zien of Agentic AI — een chique term voor een slimme, meerstaps robot-assistent — deze rommelige bestellingen beter kon afhandelen dan de oude methoden.
De Drie Keukenmanagers
Om dit te testen, bouwden ze een gesimuleerde keuken (een nepwereld gemaakt van door de computer gegenereerde gegevens, niet van echte klantbestellingen) met 635 verschillende "aanvragen" (pizza-bestellingen). Ze testten drie verschillende manieren om ze af te handelen:
- De Single-LLM Chef (De "Eén-Pass" Kok): Dit is een superintelligente robot die de bestelling en het regelboek leest en dan direct "Ja!" of "Nee!" roept. Het is snel, maar de robot stopt niet om na te denken of er nog een puzzelstukje ontbreekt. Hij gokt gewoon op basis van wat hij voor zich ziet.
- De RAG Chef (De "Bibliothecaris" Kok): Deze robot is slimmer. Voordat hij een antwoord roept, rent hij naar een bibliotheek (een database met regels) om de specifieke regel te vinden die bij de bestelling past. Hij is beter in het vinden van feiten, maar hij leest nog steeds alleen het boek en geeft antwoord. Hij plant niet echt wat hij daarna moet doen.
- De Agentic Chef (De "Teamkapitein"): Dit is niet zomaar één robot; het is een team van drie gespecialiseerde werkers die met elkaar praten.
- Werker 1 kijkt naar de bestelling en zegt: "Dit ziet er makkelijk uit," of "Dit ziet er vreemd uit," of "Ik mis informatie."
- Werker 2 stapt in als er informatie ontbreekt. Het zegt: "Hé, de klant heeft het vierkante oppervlak niet genoteerd, maar laten we onze externe database controleren om te zien of we het kunnen vinden."
- Werker 3 is de "Denker". Als de bestelling wiskunde vereist (zoals: "De klant heeft een gebouw van 12.000 sq ft, maar slechts de helft is voor de supermarkt; is het supermarktgedeelte kleiner dan 5.000 sq ft?"), doet deze werker de berekening en controleert de regel.
- Als ze het nog steeds niet kunnen uitzoeken, zegt de teamkapitein: "Stop! We hebben een mens nodig om hiernaar te kijken."
De Grote Ontdekking
Het artikel suggereert dat de Agentic Chef (het team) het beste is in het krijgen van het juiste antwoord, vooral wanneer de zaken ingewikkeld worden.
Dit zijn de cijfers die hun simulatie liet zien:
- Wanneer de bestellingen simpel waren, deden alle drie de chefs het prima.
- Maar wanneer de bestellingen lastig waren (zoals het vereisen van wiskunde of het zoeken naar ontbrekende informatie), was de Agentic Chef de duidelijke winnaar.
- Voor bestellingen waarbij informatie ontbrak maar elders gevonden kon worden, had de Agentic Chef het in 88,2% van de gevallen goed. De single-pass robot had het in 80,3% van de gevallen goed.
- Voor bestellingen waarbij informatie ontbrak en die niet gevonden kon worden (de "onoplosbare" puzzels), wist de Agentic Chef in 84,3% van de gevallen te stoppen en om een mens te vragen. De single-pass robot wist in slechts 56,7% van de gevallen te stoppen.
De belangrijkste bevinding is dat het Agentic systeem veel beter weet wanneer het "ik weet het niet" moet zeggen. De andere robots probeerden te gokken en gingen vaak de fout in. Het Agentic team realiseerde zich: "We hebben niet genoeg feiten, dus laten we een mens bellen," wat precies is wat je wilt in een baan met hoge inzet zoals bij verzekeringen.
Wat dit Systeem NIET is
De auteurs zijn zeer duidelijk over wat dit niet is.
- Het is geen magische gedachtenlezer. Het artikel voert expliciet aan tegen het idee dat AI gewoon kan "denken" zoals een mens. Deze robots hebben geen gevoelens of echte hersenen; ze volgen simpelweg statistische patronen en regels.
- Het is geen vervanging voor mensen. Het artikel betoogt dat het doel niet is om alle underwriters (de menselijke besluitvormers) te ontslaan. In plaats daarvan is het doel om de robot het makkelijke werk en het "ik moet dit even checken"-werk te laten doen, zodat de mensen zich kunnen concentreren op de echt moeilijke, complexe gevallen.
- Het is nog geen bewezen feit voor de echte wereld. De resultaten komen uit een synthetische dataset (een nepwereld gecreëerd door computers). De auteurs geven toe dat echte verzekeringsgegevens rommelig, ruizig en vol verrassingen zijn die hun nepdata mogelijk niet bevat. Hoewel de resultaten veelbelovend zijn, zijn ze gesimuleerd, niet nog bewezen in een echt verzekeringsbedrijf.
De Afweging: Snelheid versus Slimheid
Er is een addertje onder het gras. Slim zijn kost tijd.
- De Single-LLM Chef was het snelst, met ongeveer 1,64 seconden per bestelling.
- De Agentic Chef was het langzaamst, met ongeveer 4,72 seconden per bestelling.
Het artikel suggereert dat deze extra tijd het waard is voor de ingewikkelde bestellingen, omdat het fouten voorkomt. Maar voor de supermakkelijke bestellingen heb je het hele team misschien niet nodig.
De Kern van het Verhaal
Dit artikel suggereert dat als je verzekeringsbeslissingen wilt automatiseren, je niet alleen een enkele, snelle robot moet gebruiken die gokt. In plaats daarvan moet je een team van robots bouwen dat kan pauzeren, de aantekeningen kan controleren, de wiskunde kan doen, ontbrekende feiten kan opzoeken en kan toegeven wanneer ze vastlopen.
In hun gesimuleerde keuken maakte deze "Agentic" aanpak minder fouten en gaf deze betere redenen voor hun beslissingen dan de andere methoden. De auteurs herinneren ons er echter aan dat dit een proof of concept is met nepdata. Voordat we deze robots kunnen vertrouwen met echt geld en echte bedrijven, moeten we ze testen in de rommelige, echte wereld en ervoor zorgen dat mensen altijd de laatste beslissing nemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.