ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks

Probleemstelling

Actuariële wetenschap is een van de meest technisch veeleisende professionele domeinen, die nauwkeurig wiskundig redeneren, diepgaande kennis van verzekerings- en financiële theorie, en sensitiviteit voor regelgevingskaders vereist. Het International Actuarial Association (IAA) heeft een uitgebreid educatief syllabus opgesteld dat de kennis vereist voor gekwalificeerde actuarissen.

Het creëren van geavanceerde toetsmateriaal (vragen, berekeningen, open vragen) voor dit syllabus is echter duur en tijdrovend, omdat het gespecialiseerde experts vereist. Tegelijkertijd zijn Taalmodellen (LLM's) snel vooruitgegaan in redeneertaken. Er bestaat echter geen Engelstalige benchmark voor LLM's die specifiek is afgestemd op het IAA-syllabus. Bestaande studies zijn vaak beperkt tot Chinese taal, specifieke subdomeinen, of zijn geen echte benchmarks. Er is een urgentie om de capaciteit van LLM's op actuarische taken reproduceerbaar te meten en te valideren.

Methodologie: De ActuBench Pipeline

ActuBench introduceert een multi-agent LLM-pipeline voor de automatische generatie en evaluatie van actuarische toetsvragen. De kern van de methodologie is de strikte scheiding van rollen tussen agents, elk gekoppeld aan een specifieke adapter (en potentieel een ander model).

1. Generatiepijplijn (4 Agents + External API):

• Agent A (Schrijver): Draagt de verantwoordelijkheid voor het opstellen van de vraagstam en het juiste antwoord, gebaseerd op een IAA-leerdoel en samenvattingen van Wikipedia-artikelen. Deze agent gebruikt doorgaans een krachtig "reasoning"-model.
• Agent B (Distractor-bouwer): Specificeert drie plausibele, maar incorrecte antwoordopties (distractors) die specifieke misvattingen testen.
• Agent C (Onafhankelijke Verificator): Dit is het belangrijkste methodologische onderscheid. Agent C verifieert onafhankelijk zowel de vraagstam/antwoord als de set van distractors. Agent C genereert geen inhoud, maar fungeert als auditor. Bij een falende verificatie start een "one-shot" reparatielus (Agent A of B maakt één poging tot herstel).
• Hulp-agent (Auxiliary): Handelt kostenefficiënte taken af, zoals het samenvatten van Wikipedia-teksten en het toewijzen van sectorlabels (bijv. levensverzekering, pensioen).

2. Evaluatieprotocollen:
De gegenereerde items worden gebruikt om 50 LLM's te evalueren via twee complementaire modi:

• MCQ-modus (Multiple Choice Questions): Modellen kiezen uit vier opties. Dit test herkenning en eliminatie.
• Judge-modus (Open-ended): Modellen genereren een vrij tekstantwoord met redenering. Een tweede LLM (de "Judge") evalueert dit antwoord tegen het correcte antwoord. Dit test afleiding en generatie zonder scaffolding.

3. Dataset:
De studie gebruikt twee disjuncte sets van elk 100 items:

• MCQ-benchmark: De 100 "empirisch moeilijkste" items (gebaseerd op de laagste prestaties van een breed scala aan modellen).
• Judge-benchmark: 100 items, beperkt tot het "kwantitatieve berekening"-archetype, omdat dit het meest discriminerend is voor open-ended redenering.

Belangrijkste Bijdragen

1. Multi-agent Generatie met Onafhankelijke Verificatie: Een pipeline waarbij de verificator (Agent C) nooit inhoud genereert, maar alleen controleert. Dit vermindert "shared blind spots" en hallucinaties aanzienlijk.
2. Dual Evaluation Protocol: Het vergelijken van MCQ-resultaten met LLM-as-Judge resultaten om te zien of modellen echt redeneren of alleen opties elimineren.
3. Live Benchmark Viewer: Een publiek toegankelijke webinterface (actubench.de) waar gebruikers elk item en elk modelantwoord kunnen inspecteren zonder code te downloaden.
4. Uitgebreide Evaluatie: Evaluatie van 50 modellen van 8 providers (waaronder Anthropic, OpenAI, Google, xAI, DeepSeek, Mistral, Cohere en open-weight modellen).
5. Kosten-Prestatie Analyse: Inzicht in de "Pareto-front" van kosten versus nauwkeurigheid, inclusief lokaal gehoste open-weight modellen.

Resultaten

De studie rapporteert drie hoofdbevindingen:

1. De rol van multi-agent verificatie:
Onafhankelijke verificatie is cruciaal. Agent C markeerde meer dan 60% van de door Agent A gegenereerde items als foutief bij de eerste poging. De meeste van deze fouten werden succesvol opgelost door de één-shot reparatielus. Zelfverificatie (waarbij dezelfde agent controleert wat het heeft geschreven) bleek veel minder effectief.

2. Kosten-Prestatie Pareto-front:

• Top-performers: Vier modellen (o.a. claude-opus-4-6:thinking, gpt-5-mini, o3:reasoning) bereikten 98% nauwkeurigheid op de MCQ-taken, maar de kosten varieerden met een factor 10 tot 100.
• Zero-Cost Winnaars: Lokaal gehoste open-weight modellen presteerden verrassend goed. Een Gemma 4-model op consumentenhardware (via Ollama) bereikte 85% nauwkeurigheid tegen nul marginale kosten. Een gehoste 120B-parameter open-weight model (via Cerebras) bereikte 97% nauwkeurigheid tegen bijna nul kosten.
• Conclusie: Voor gestructureerde MCQ-taken is de duurste "reasoning"-variant vaak niet nodig; goedkopere of open-weight modellen bieden een betere kosten-waardeverhouding.

3. Divergentie tussen MCQ en Judge-modus:

• De MCQ-scaffold (vier opties) inflatieert de prestatieplafond. Modellen scoren vaak hoger op MCQ dan op open-ended taken omdat ze plausibele opties kunnen elimineren zonder het antwoord zelf af te leiden.
• Bij de Judge-modus daalt het plafond van ~98% naar ~87% voor de sterkste modellen.
• Er is een significante rangordeverschil: modellen die goed presteren op MCQ, vallen soms terug in de Judge-modus, terwijl kleinere modellen soms beter scoren op de Judge-modus omdat de "Judge" meer tolerantie toont voor numerieke variaties dan een strikte MCQ-score.

Betekenis en Implicaties

• Voor de Actuariële Gemeenschap: ActuBench biedt het eerste Engelstalige, syllabus-gebaseerde benchmark voor LLM's in de actuarische wetenschap. Het stelt professionals in staat om de bruikbaarheid van AI voor complexe berekeningen en redeneringen te testen.
• Voor LLM-onderzoek: De studie onderstreept dat "reasoning-mode" modellen niet altijd de beste kosten-waardeverhouding bieden voor gestructureerde taken, maar wel essentieel zijn voor open-ended afleiding. Het benadrukt ook het belang van onafhankelijke verificatie in generatieve pipelines om kwaliteit te garanderen.
• Praktische Toepassing: Voor lokale implementaties (data-governance, kosten) is het haalbaar om krachtige open-weight modellen (zoals Gemma 4) te gebruiken voor gestructureerde actuarische taken, terwijl voor complexe, open-ended redenering mogelijk nog steeds gehoste frontier-modellen nodig zijn.

Samenvattend biedt ActuBench een robuust framework om de grenzen van AI in een hoog-complexiteit domein te meten, met een sterke focus op reproduceerbaarheid, kostenefficiëntie en methodologische strengheid.