Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents

Technische Samenvatting: Validatie van de extractie van actuariële variabelen uit ongestructureerde schadeclaims door Large Language Models

Probleemstelling
Actuariële functies zoals reservering, tariefstelling en schadebeheer zijn historisch gezien afhankelijk geweest van gestructureerde numerieke gegevens. De schadecyclus genereert echter enorme hoeveelheden ongestructureerde tekst (medische dossiers, aantekeningen van schade-experts, transcripties) die voorspellende informatie bevatten die grotendeels onbenut blijft vanwege de hoge kosten, inconsistentie en het gebrek aan schaalbaarheid van handmatige verwerking. Hoewel Large Language Models (LLM's) een oplossing bieden voor het afhandelen van uiteenlopende formaten en contextuele disambiguatie zonder uitgebreide engineering, ontbreekt het in de literatuur aan rigoureuze validatiekaders voor het extraheren van gestructureerde actuariële variabelen uit deze documenten. Specifiek is er geen gevestigde standaard voor hoe dergelijke extractie gevalideerd moet worden of welke betrouwbaarheidsdrempels gepast zijn voor inzet in risicovolle actuariële toepassingen.

Methodologie
De auteurs hebben een formele validatiestudie uitgevoerd van een tweefasige LLM-pipeline die is ontworink om 14 kernactuariële variabelen (bijv. ernst van de claim, ernst van het letsel, procesrisico) te extraheren uit schadeclaims voor werknemersverzekeringen (workers' compensation).

• Extractie-pipeline:
  • Fase 1 (Documentniveau): Verwerkt individuele documenten (medische dossiers, aantekeningen, etc.) met op maat gemaakte prompts. De outputs omvatten een verplichte rationale met bewijsverwijzing, een type rationale (letterlijk versus afgeleid) en een betrouwbaarheidsscore [0, 1]. Dit dwingt gestructureerde 'chain-of-thought' redenering af.
  • Fase 2 (Claimniveau Synthese): Aggregeert Fase 1-extracties met behulp van samengestelde scoring die de autoriteit van het document weegt (bijv. verslagen van schikkingen worden hoger gewogen dan telefoontranscripties), betrouwbaarheidsscores, temporele verval en variabele-specifieke belangrijkheid. De outputs zijn beperkt tot gecontroleerde vocabulaires.
• Data: De validatie maakte gebruik van 20 synthetische claims gegenereerd uit Synthea FHIR-bundels. Deze bundels boden bekende grondwaarheid (ground-truth) klinische kenmerken, die werden aangevuld met aanvullende documenttypen via LLM-generatie. Deze aanpak garandeerde deelbare, privacy-conforme data met bekende waarheidswaarden.
• Validatieprotocol: Geadapteerd van het QUEST-framework (Tam et al.), beoordeelden twee onafhankelijke klinische reviewers (PharmDs) de LLM-output van 20 claims over 10 dimensies met behulp van een 5-punts Likert-schaal. De dimensies dekten onderwerpen als Kwaliteit/Nauwkeurigheid, Veiligheid/Ethiek en Begrip/Redenering.
  • Meningsverschillen van twee of meer punten leidden tot een beoordeling door een derde reviewer.
  • Claims met drie of meer afwijkende dimensies ondergingen een volledige beoordeling door een derde reviewer die blind was voor de primaire scores.
• Analyse: De inter-rater betrouwbaarheid werd gemeten met behulp van kwadratisch gewogen Cohen's kappa (κw) op 200 gekoppelde beoordelingen. De studie analyseerde ook exacte overeenstemmingspercentages, divergentieproporties en rater-asymmetrie in geadjudiceerde items.

Belangrijkste Bijdragen

1. Pipeline Architectuur: Beschrijving van een tweefasige extractie-pipeline met ontwerpkenmerken (verplichte rationales, betrouwbaarheidsscores, gecontroleerde vocabularies) bedoeld om het risico op hallucinaties te verminderen en een regelgevend audittrail te creëren.
2. Validatieprotocol: Een formeel, op dimensieniveau werkend validatiekader aangepast voor de extractie van actuariële variabelen, waarbij de inter-rater betrouwbaarheid over specifieke rubric-dimensies en principes wordt gerapporteerd.
3. Karakterisering van Rater-Asymmetrie: Identificatie van systematische scoring-asymmetrie tussen reviewers, een praktisch kenmerk van validatieontwerp dat vaak over het hoofd wordt gezien in de actuariële literatuur.

Resultaten

• Algehele Betrouwbaarheid: De algehele kwadratische gewogen kappa was 0,53, wat duidt op een matige overeenstemming. Exacte overeenstemming kwam voor in 51,5% van de items, terwijl 19,0% van de items twee of meer punten afweek.
• Dimensionale Variatie:
  • Sterke Overeenstemming: Dimensies met betrekking tot Relevantie (75% exacte overeenstemming) en Geschiktheid (45% exacte overeenstemming) vertoonden een sterke afstemming, hoewel sommige kappa-waarden nul waren door range restrictie (reviewers scoorden consistent hoog).
  • Zwakke Overeenstemming: Dimensies die fouten beoordeelden (Ontbrekende Informatie, Contextueel Begrip, Hallucinatie) vertoonden de hoogste divergentie. Ontbrekende Informatie had een negatieve kappa (−0,08), wat wijst op overeenstemming onder de kans op toeval, met 40% van de items die twee of meer punten afweek. Hallucinatie had de laagste exacte overeenstemming (20%) onder de substantiële dimensies.
• Rater-Asymmetrie: Reviewer 1 scoorde consequent lager dan Reviewer 2. In geadjudiceerde items was Reviewer 1 verder verwijderd van de geadjudiceerde score (gemiddelde absolute afstand 1,87 vs. 0,80) en scoorde onder de geadjudiceerde waarde in 12 van de 15 items, wat wijst op een systematische conservatieve bias in plaats van een willekeurige fout.
• Betrouwbaarheidsscores: De zelfgerapporteerde betrouwbaarheidsscores van de pipeline waren uniform hoog (interkwartielbereik 0,85–0,90), ongeacht het type variabele, wat het nut ervan als triage-mechanisme om onzekere extracties te onderscheiden beperkte.

Significantie en Claims
Het artikel concludeert dat de huidige LLM-extractiecapaciteiten voldoende betrouwbaar zijn voor triage-toepassingen (bijv. het signaleren van claims voor verhoogde menselijke controle) waarbij de kosten van een onjuiste signalering laag zijn. Echter, de auteurs stellen dat directe input in reservemodellen of loss development berekeningen extra validatie vereist vanwege de zwakkere prestaties op de dimensies van weglating en hallucinatie.

De studie benadrukt dat de geobserveerde rater-asymmetrie impliceert dat kalibratie-oefeningen met ankerclaims met vooraf gespecificeerde scores vooraf moeten gaan aan de formele validatie-scoring in toekomstige studies. Voorts suggereert de beperkte range van de betrouwbaarheidsscores een behoefte aan post-hoc kalibratie om effectieve filtering-drempels te creëren. De auteurs positioneren dit werk als een reproduceerbaar template voor toekomstige actuariële LLM-validatie, toepasbaar op diverse lijnen van bedrijfsactiviteiten buiten de werknemersverzekeringen.