Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Deze studie introduceert de AEPC-QA-benchmark om de prestaties van 51 grote taalmodellen te evalueren voor de verzekeringssector in Quebec, waarbij wordt vastgesteld dat redeneervermogen en RAG de nauwkeurigheid aanzienlijk kunnen verbeteren, maar dat contextafleiding en een verrassende superioriteit van algemene modellen boven gespecialiseerde Franse varianten nog steeds een uitdaging vormen voor de autonome inzet.

De kern

Samenvatting: Kunnen AI's ons veilig adviseren over verzekeringen in Quebec?

Stel je voor dat je in de provincie Quebec (Canada) woont en je wilt een verzekering afsluiten. Door nieuwe wetten mag dit nu volledig online, zonder dat je een menselijke adviseur hoeft te spreken. Dit klinkt handig, maar er zit een groot probleem in: verzekeringsovereenkomsten zijn vaak 50 pagina's dik en vol met juridisch jargon. De gemiddelde mens is hier niet voor opgeleid. Dit noemen de auteurs de "advieskloof": mensen moeten complexe contracten zelf interpreteren, wat gevaarlijk kan zijn.

Om dit op te lossen, denken veel mensen: "Laten we een slimme AI (een Large Language Model of LLM) gebruiken." Maar wat als die AI een foutje maakt? Dan kan iemand zijn huis kwijtraken of geen dekking krijgen bij een ongeluk.

De auteurs van dit paper hebben een experiment gedaan om te kijken of AI's dit werk al veilig kunnen doen. Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Proef: Een "Sluiktest" voor AI's

De onderzoekers hebben een speciale test gemaakt, genaamd AEPC-QA.

• De bron: Ze hebben 807 moeilijke meerkeuzevragen overgenomen uit officiële examens voor verzekeringsadviseurs in Quebec. Omdat deze examens alleen op papier bestaan en niet online te vinden zijn, is het voor AI's onmogelijk om de antwoorden zomaar "geleerd" te hebben. Het is een eerlijke test.
• Deelnemers: Ze hebben 51 verschillende AI-modellen getest, van de bekende grote namen (zoals GPT-4) tot kleinere, open-source modellen.

2. De Twee Manieren van Werken

Ze testten de AI's op twee manieren:

• Manier A (De "Geheugen-test"): De AI moet het antwoord weten uit zijn eigen hoofd (zonder hulp).
• Manier B (De "Boekje-test" of RAG): De AI mag tijdens het beantwoorden een speciaal boekje (een database met officiële verzekeringswetten) raadplegen om het antwoord te vinden.

3. De Drie Grote Verassingen

Verassing 1: "Denken" is belangrijker dan "Weten"

De beste resultaten kwamen niet van de modellen die het meest gelezen hadden, maar van diegenen die stappen vooruit denken (zogenaamde "Chain-of-Thought" modellen).

• Analogie: Stel je voor dat je een wiskundetoets doet. Een slimme student die eerst even nadenkt en de som stap voor stap oplost, doet het beter dan een student die alleen maar snel gissen doet, zelfs als die laatste student meer feiten uit zijn hoofd kent.
• Conclusie: Voor juridische vragen is het vermogen om logisch te redeneren veel belangrijker dan het simpelweg opslaan van feiten. De beste AI's haalden bijna 80% goed.

Verassing 2: Het boekje helpt sommigen, maar verpest het voor anderen

Dit is het meest interessante deel.

• De "Hulpje": Voor AI's die niet veel weten over de wetten van Quebec, was het boekje een wondermiddel. Hun score steeg met wel 35%! Het was alsof je een slechte student een antwoordboekje geeft en hij plotseling een 9 haalt.
• De "Aandachtstap": Maar voor de aller-slimste AI's ging het juist mis! Toen ze het boekje kregen, werden ze verward door de enorme hoeveelheid tekst. Ze raakten in paniek, vergeten de vraag, of gaven een te lang antwoord in plaats van alleen de letter van het juiste antwoord.
• Analogie: Het is alsof je een Formule 1-coureur (de slimme AI) in een drukke supermarkt zet met een gigantische winkelwagen vol artikelen (het boekje). De coureur kan niet meer racen; hij raakt vast in de gangpaden en crasht. Dit noemen de auteurs "context distraction" (aandachtsverlies door context).

Verassing 3: De "Specialist" is niet altijd de beste

Je zou denken dat een AI die speciaal is getraind op de Franse taal en de Quebecse wetten het beste zou doen. Nee dus.

• Het Paradox: De enorme, algemene AI's (die alles over de hele wereld weten) deden het veel beter dan de kleine, gespecialiseerde AI's die specifiek voor de Franse verzekeringsmarkt waren gemaakt.
• Waarom? De gespecialiseerde modellen waren zo gefocust op de woorden en zinsbouw dat ze de logica vergeten waren. Ze konden de taal wel, maar ze snapten de valstrikken in de vragen niet. De grote, algemene modellen hadden een sterker "redeneervermogen" en konden de logica van de vraag doorgronden, ongeacht de taal.

4. Wat betekent dit voor de toekomst?

De conclusie is voorzichtig, maar duidelijk: We zijn nog niet klaar om AI's volledig zelfstandig te laten adviseren.

• Het risico: Als een AI "aandacht verliest" door het boekje (zoals bij de slimste modellen), kan dat leiden tot ernstige fouten. In de verzekeringswereld is een foutje geen grappige grap, maar kan het leiden tot financiële rampen of rechtszaken.
• De oplossing: We hebben een "mens in de loop" nodig. De AI kan helpen als een krachtig hulpmiddel, maar een mens moet de finale controle houden, vooral omdat de AI's soms verwarren raken door de informatie die ze krijgen.

Kortom: AI's worden steeds slimmer in het redeneren, maar ze zijn nog niet stabiel genoeg om zonder toezicht complexe verzekeringscontracten uit te leggen. Ze hebben nog een "menselijke piloot" nodig om ervoor te zorgen dat ze niet in de supermarkt vastlopen terwijl ze proberen te racen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation", geschreven in het Nederlands.

Probleemstelling

De verzekeringssector in de Canadese provincie Quebec ondergaat een fundamentele transformatie door de digitalisering van distributiekanalen, versneld door wetgeving zoals Bill 141. Deze wetgeving staat het volledig online distribueren van verzekeringsproducten toe zonder tussenkomst van een menselijk agent. Hoewel dit de markt-efficiëntie verhoogt, creëert het een aanzienlijke "advieskloof" (advice gap). Consumenten worden geconfronteerd met complexe verzekeringscontracten (vaak >30.000 woorden) zonder professionele begeleiding, wat leidt tot informatieasymmetrie en het risico op verkeerde interpretaties.

Grote Taalmodellen (LLM's) bieden een potentieel oplossing voor geautomatiseerd advies, maar hun inzet in deze hoog-risico domeinen vereist strikte juridische nauwkeurigheid. "Plausibele" antwoorden zijn onvoldoende; fouten kunnen leiden tot dekkingstekorten, financiële schade voor verzekerden en juridische aansprakelijkheid voor verzekeraars (zoals geïllustreerd door recente rechtszaken over hallucinerende chatbots). Er is een dringende behoefte aan betrouwbare systemen die specifiek zijn afgestemd op het Civil Law-stelsel van Quebec (in tegenstelling tot het Common Law-stelsel van de VS/UK) en de Franse taal.

Methodologie

1. Het AEPC-QA Benchmark Dataset
De auteurs introduceerden AEPC-QA, een privé "goudstandaard" benchmark bestaande uit 807 meerkeuzevragen.

• Bron: Vragen zijn afgeleid van officiële, enkel in drukvorm beschikbare handboeken voor de certificering van verzekeringsvertegenwoordigers (uitgegeven door de Autorité des marchés financiers).
• Uniekheid: Omdat deze bronnen niet online zijn geïndexeerd, is het risico op data-contaminatie in vooraf getrainde LLM's minimaal, wat een eerlijke evaluatie van "onbekende" domeinkennis garandeert.
• Statistieken: Het dataset bevat 96.080 tokens in de vragen, met een gemiddelde zinslengte van 18,95 woorden en een leesbaarheidsscore (Flesch-Kincaid) van 64,55, wat wijst op een professioneel moeilijkheidsniveau.

2. Evaluatie Protocol
Er werd een uitgebreide benchmark uitgevoerd van 51 LLM's (zowel propriëtaire als open-source) in twee architecturale paradigma's:

• Closed-Book: Evaluatie van de intrinsieke kennis van de modellen zonder externe context.
• Retrieval-Augmented Generation (RAG): Evaluatie waarbij een gespecialiseerd corpus (QAIERC) wordt gebruikt. Dit corpus bevat 168.600 zinnen (2,6M tokens) met officiële wetgeving, gestandaardiseerde contracten en regelgevingsdocumenten.
  • Retrieval: Gebruik van een dichte retriever (text-embedding-ada-002) om semantische matching te bereiken, aangezien gebruikersvragen vaak geen juridische terminologie bevatten.
  • Verwerking: De top-5 relevante chunks worden gecomprimeerd om ruis te verminderen voordat ze aan de prompt worden toegevoegd.

3. Baselines en Metriek

• Baselines: Inclusief willekeurige selectie en deterministisch gokken (altijd 'A', 'B', 'C' of 'D'), die een prestatievloer van ~25% vertegenwoordigen.
• Metriek: Nauwkeurigheid (Accuracy) op de meerkeuzevragen, gemeten via stratified 10-voudige cross-validatie. Statistische significantie werd getoetst met een Z-test.

Belangrijkste Bijdragen

1. AEPC-QA Benchmark: De eerste rigoureuze, privé benchmark voor juridisch begrip in de Quebecse verzekeringssector, gebaseerd op officiële certificeringsmateriaal.
2. Uitgebreide Vergelijking: Een systematische evaluatie van 51 modellen, inclusief de prestatiekloof tussen propriëtaire en open-weight modellen, en de impact van modelgrootte en architectuur.
3. Empirische Analyse van RAG: Een diepgaand inzicht in hoe RAG werkt als "kennis-egaliseerder" maar ook als bron van prestatiedalingen ("context distraction") in specifieke domeinen.

Resultaten en Kerninzichten

De studie onthulde drie kritieke inzichten:

1. De Suprematie van Redenering tijdens Inference (Inference-Time Reasoning)
Modellen die gebruikmaken van Chain-of-Thought (CoT) verwerking tijdens de inferentie (zoals o3-2025-04-16 en o1-2024-12-17) presteerden significant beter dan standaard instructie-geoptimaliseerde modellen.

• Top prestatie: o3-2025-04-16 bereikte 78,68% nauwkeurigheid met RAG.
• Inzicht: Het grootste obstakel is niet het ophalen van kennis, maar het toepassen van juridische principes op complexe scenario's. Interessant genoeg voeren deze modellen hun redeneerstappen vaak in het Engels uit, zelfs bij Franse output, wat wijst op cross-linguale transfer van redeneervermogen.

2. RAG als Kennis-Egaliseerder vs. Context Distractie

• Egaliseerder: Voor modellen met zwakke parametrische kennis (bijv. DeepSeek-reasoner), fungeerde RAG als een krachtige versterker. Hun nauwkeurigheid steeg van 36,30% (closed-book) naar 71,77% (RAG). Dit suggereert dat kleinere modellen via robuuste retrieval-pipelines effectief kunnen worden aangepast zonder dure fine-tuning.
• Context Distractie: Sommige krachtige modellen leden aan catastrofale prestatiedalingen door RAG.
  • Voorbeeld: Gemini-2.5-pro daalde van 74,65% (closed-book) naar 14,06% (RAG).
  • Oorzaken: (a) Format non-compliance: Modellen gaven lange uitleg in plaats van de gevraagde enkele letter, wat leidde tot een score van 0. (b) Veiligheidsweigering: Modellen interpreteerden de complexe juridische context als een gevoelige vraag en weigerden te antwoorden ("Ik kan geen juridisch advies geven").

3. Het "Specialisatie Paradox"
Tegen de verwachting in presteerden specifieke, op Frans gefinetunde modellen (zoals French-Alpaca-Llama3-8b-it) slechter dan grote, algemene modellen.

• Gespecialiseerde modellen sacrificeerden vaak de "redeneerdichtheid" nodig om de logische valkuilen in de vragen te doorgronden.
• Algemene modellen (o3, Claude-3.5-Sonnet) toonden superieure zero-shot transfer, wat aangeeft dat abstract redeneren over aansprakelijkheid belangrijker is dan oppervlakkige aanpassing aan juridische jargon.

4. Propriëtaire vs. Open Source Kloof
Er bestaat een persistente kloof van ongeveer 20 procentpunten tussen state-of-the-art propriëtaire modellen en de beste open-weight modellen. Voor hoog-risico taken zoals verzekeringsadvies zijn de huidige open-source modellen nog niet betrouwbaar genoeg als autonome agenten.

Betekenis en Conclusie

Dit paper benadrukt dat de automatisering van financieel advies een verschuiving vereist van "plausibele generatie" naar "verifieerbare juridische nauwkeurigheid".

• Technische Implicatie: Hoewel huidige architecturen expert-niveau prestaties (~79%) kunnen bereiken, introduceert externe contextretrieval (RAG) instabiliteit. Zonder strikte robuustheidskalibratie is autonome inzet te riskant.
• Ethische en Juridische Implicatie: Het paper waarschuwt voor "jurisdictie bias". Het inzetten van modellen getraind op Common Law-data in een Civil Law-omgeving (Quebec) is een ethisch falen dat kan leiden tot juridische hallucinaties.
• Toekomstperspectief: De auteurs pleiten voor een "tiered deployment"-strategie: gebruik lichte RAG-modellen voor algemene vragen en escalatie naar zware redeneringsmodellen voor complexe aansprakelijkheid. Verder onderzoek moet focussen op het distilleren van redeneervermogen en het ontwikkelen van methoden om context-sensitiviteit te mitigeren, voordat volledig autonome systemen veilig zijn.

De studie concludeert dat, ondanks de vooruitgang, de "mens-in-de-lus" (human-in-the-loop) voorlopig een ethische noodzaak blijft totdat verifieerbare veiligheidsgaranties kunnen worden geboden.