INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
Het artikel introduceert INS-ActBench, een uitgebreide benchmark bestaande uit meer dan 12.000 vragen van 16 actuariële verenigingen om grote taalmodellen te evalueren op het gebied van kennis, langetermijncontext-redeneren en instrument-gebaseerde praktijk, waarbij wordt onthuld dat hoewel grensmodellen uitblinken in gestandaardiseerde kennis, ze nog steeds aanzienlijk achterlopen bij complexe professionele workflows.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert om een financiële tovenaar te worden. Je hebt hem al geleerd hoe hij een woordenboek met financiële termen moet lezen en hoe hij basisberekeningen moet maken. Maar een echte tovenaar zijn is niet alleen weten welke spreuken er zijn; het gaat erom weten wanneer je ze moet gebruiken, hoe je ze mengt wanneer de situatie chaotisch is, en het hebben van een vaste hand om de spreuk daadwerkelijk uit te voeren zonder het kasteel in brand te steken. Dit is de wereld van Large Language Models (LLM's)—superintelligente computerprogramma's die kunnen lezen, schrijven en redeneren zoals mensen. Lange tijd hebben we deze robots getest op geïsoleerde taken: "Kun je dit woord definiëren?" of "Kun je dit wiskundige probleem oplossen?" Maar in de echte wereld werken professionals niet in isolatie. Ze moeten een honderd pagina's tellend contract lezen, die ene kleine clausule vinden die ertoe doet, het risico berekenen, en vervolgens een spreadsheet of code gebruiken om hun antwoord te bewijzen. Dit artikel stelt een grote vraag: kunnen deze AI-tovenaars het hele werk echt aan, of zijn ze alleen goed in het onthouden van leerkaartjes?
Maak kennis met INS-ActBench, een nieuwe, enorme "eindtoets" die door onderzoekers van de Fudan Universiteit is ontwikkeld om AI te testen op de specifieke, hoogwaardige taak van de actuariële wetenschappen. Denk aan een actuaris als een professionele risico-detective die werkt voor verzekeringsmaatschappijen. Zij gebruiken wiskunde, statistiek en economie om te berekenen hoe waarschijnlijk het is dat er iets slechts zal gebeuren (zoals een auto-ongeluk of een woningbrand) en hoeveel geld het bedrijf opzij moet zetten om dat te betalen. Het is een baan die vereist dat je de regels kent, complexe verhalen over echte wereldrampen kunt lezen en nauwkeurige berekeningen kunt maken die niet fout mogen zijn. De onderzoekers bouwden een testbank van 12.050 vragen afkomstig van echte examens die door actuariëlen over de hele wereld zijn afgelegd. Ze vroegen niet alleen naar simpele weetjes; ze ontwierpen de test om te zien of de AI drie verschillende moeilijkheidsgraden kon aan kunnen:
- De Leerkaartjes (INS-Act-Know): Kan de AI de definities en formules onthouden?
- De Detectiveroman (INS-Act-Case): Kan de AI een lang, ingewikkeld verhaal over de financiën van een bedrijf lezen, de verborgen aanwijzingen vinden en een slimme inschatting maken over de toekomst?
- De Werkplaats (INS-Act-Practice): Kan de AI het werk daadwerkelijk doen door de juiste computercode of spreadsheetformules te schrijven om een getal te verkrijgen dat gecontroleerd kan worden?
Toen de onderzoekers negen verschillende AI-modellen door deze zware test haalden, waren de resultaten een mix van "wow" en "oeps". De AI-modellen waren verrassend goed in het eerste niveau. Ze behaalden hoge cijfers voor de leerkaartjes en scoorden vaak hoger dan menselijke experts op gestandaardiseerde kennisvragen. Het blijkt dat als je een AI alleen vraagt een regel op te dreunen of een simpel wiskundig probleem op te lossen, het een genie is.
Echter, op het moment dat de test rommelig werd, struikelden de robots. Wanneer de AI een lang, complex verzekeringsgeval moest lezen (het niveau van de "Detectiveroman"), daalden hun scores drastisch. Ze hadden moeite om de verbanden te leggen tussen verschillende delen van het verhaal. Nog erger nog, wanneer ze de "Werkplaats" moesten betreden en daadwerkelijk de code of spreadsheetformules moesten schrijven om een definitief getal te produceren, slaagden ze daar niet betrouwbaar in. De studie toonde aan dat hoewel de AI over de wiskunde kon praten, het vaak niet in staat was om de wiskunde te doen op een manier die consistent en verifieerbaar is.
De onderzoekers ontdekten ook dat de prestaties van de AI veranderden afhankelijk van waar de regels vandaan kwamen. Verzekeringswetten verschillen in de VS, het VK en Japan. De AI-modellen waren goed in de "standaard" regels die ze vaak zagen tijdens hun training, maar raakten in de war wanneer de vragen kwachten uit verschillende landen met verschillende lokale regelgeving. Ze vonden ook dat de grootste fouten van de AI meestal niet voortkwamen uit het vergeten hoe ze een hulpmiddel (zoals een rekenmachine) moesten gebruiken; het was eerder dat ze het hulpmiddel wel correct gebruikten, maar de verkeerde logica of formule op het probleem toepasten.
Kortom, dit artikel suggereert dat hoewel AI een fantastische encyclopedie voor actuariële kennis is geworden, het nog geen betrouwbare professionele assistent is. Het kan het schriftelijke examen halen, maar het is nog niet klaar om op kantoor de uiteindelijke beslissingen te nemen die verzekeringsmaatschappijen veilig houden. De onderzoekers concluderen dat voor AI om echt te kunnen helpen in dit vakgebied, het veel beter moet worden in het leggen van verbanden in lange verhalen en het uitvoeren van complexe, stapsgewijze workflows zonder kleine maar kostbare fouten te maken. Voor nu is het nog steeds de menselijke expert die de pen vasthoudt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.