Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

Technische Samenvatting: Optimalisatie van Large Language Models voor Causale Beoordeling in Farmacovigilantie

Probleemstelling
Het volume aan Individual Case Safety Reports (ICSRs) in het FDA Adverse Event Reporting System (FAERS) is exponentieel gestegen, wat een dringende behoefte creëert aan schaalbare, geautomatiseerde causale beoordeling. Hoewel Large Language Models (LLMs) veelbelovend zijn, blijft hun prestatie op klinisch veeleisende taken — specifiek de Naranjo-algoritme beoordeling van temporele plausibiliteit, alternatieve oorzaken en objectief bewijs — suboptimaal voor routinematig gebruik. Eerdere studies die biomedische LLMs gebruikten, bereikten een matige overeenstemming met menselijke experts, maar slaagden er niet in specifieke uitdagingen zoals de detectie van 'listedness' of complexe klinische oordeelsvorming op te lossen. Bov�eld werd de potentie van optimalisatie van hyperparameters tijdens de inferentie, specifiek temperatuurinstelling (temperature tuning), om de prestaties van LLMs in dit domein te verbeteren, niet onderzocht. Een kritische barrière voor een dergelijke optimalisatie is het gebrek aan een Gaussian Process (GP)-compatibele prestatiemetriek: bestaande maten (binaire overeenstemming, ordinale beoordelingen of ruwe cosinus-gelijkenis) falen ofwel in het vastleggen van de nuances van de kwaliteit van de LLM-output, of introduceren structurele biases die specifiek zijn voor de schaarse, op sjablonen gebaseerde aard van spontane rapportagegegevens.

Methodologie
De studie hanteerde een meerfasige aanpak om een optimalisatiekader te ontwikkelen en de effectiviteit ervan te evalueren:

1. Data Curatie: Een gestratificeerde subset van 723 FAERS-gevallen werd geselecteerd uit een grotere pool van 55.177 gevallen (afgeleid van Q1-Q2 2025 data). De gevallen werden gekoppeld aan Anatomical Therapeutic Chemical (ATC) classificaties en MedDRA High-Level Group Terms (HLGTs) om diversiteit te waarborgen.
2. Expert Gold Standard: Vier beoordelaars (drie MSc-kandidaten en één arts) evalueerden de 723 gevallen met behulp van het Naranjo-algoritme, waarbij zowel numerieke scores als redeneringsteksten werden verstrekt. Discrepanties werden opgelost via consensus om een menselijke 'gold standard' vast te stellen.
3. Geautomatiseerde Beoordeling: OpenAI's GPT-5.2 werd geëvalueerd met behulp van Chain-of-Thought (CoT) prompting. Het model genereerde scores en redeneringen voor alle Naranjo-vragen.
4. Metriekontwikkeling: Vier samengestelde, GP-compatibele metrieken werden ontwikkeld om te dienen als optimalisatiedoelen:
   • Weighted Cosine Similarity (WCS): Combineert redeneringsgelijkenis en score-overeenstemming met gelijke weging.
   • Information-Weighted Agreement Score (IWAS): Weegt binaire score-overeenstemming door genormaliseerde Shannon-entropie, waarbij vragen zonder variabiliteit in scores worden lager gewogen.
   • Entropy-Weighted Agreement and Cosine Similarity Score (EWACS): Integreert redeneringsgelijkenis met entropie-gebaseerde weging, waarbij de cosinus-component behouden blijft voor informatieve vragen.
   • Consensus-Weighted Cosine Similarity (CWCS): Een begrensde, multiplicatieve metriek ontworpen specifiek voor GP-stabiliteit, die zachte score-overeenstemming combineert met geschaalde redeneringsgelijkenis.
5. Bayesiaanse Optimalisatie: Een Gaussian Process surrogate model met een Matérn 5/2 kernel en een Probability of Improvement (PoI) acquisitiefunctie werd gebruikt om de temperatuurruimte ($T \in [0, 2]$) te doorzoeken. Experimenten omvatten grid sweeps, optimalisatie op individueel casusniveau en kruisvalidatie met behulp van een Tree-structured Parzen Estimator (TPE).

Belangrijkste Bijdragen

• Metriekformulering: Het artikel introduceert vier nieuwe metrieken die zijn afgestemd op de beperkingen van farmacovigilantie-data. Het identificeert EWACS als de optimale metriek voor deze context, en toont aan dat entropie-weging noodzakelijk is om te voorkomen dat optimalisatiedoelen worden gedomineerd door vragen met een expert-scorevariabiliteit van nul (vragen 6–9).
• Hyperparameter Onderzoek: Dit is de eerste studie die de optimalisatie van de temperatuur tijdens de inferentie onderzoekt voor LLM-gebaseerde causale beoordeling, waarmee verder wordt gegaan dan statische baseline-configuraties.
• Prestatiebenchmarking: De studie vestigt een nieuwe baseline voor GPT-5.2, waarbij wordt aangetoond dat het eerdere biomedische LLMs (bijv. MedLlama3-8B) overtreft op het gebied van het Naranjo-algoritme, zelfs vóór optimalisatie.

Resultaten

• Baseline Prestaties: Bij de baseline ($T=0$) behaalde GPT-5.2 een overeenstemming van 74,1% op Vraag 5 (alternatieve oorzaken) en 65,4% op Vraag 10 (objectief bewijs), waarmee het eerdere biomedische modellen overtreft. De algehele classificatie-overeenstemming was echter slechts 45,0%.
• Entropie-analyse: Analyse van de 723 gevallen toonde aan dat Vragen 7–9 een expert-entropie van nul hadden (uniforme scores), en dat Vragen 6–9 bijna identieke expert-redeneringssjablonen hadden. Bijgevolg waren Vragen 5 en 10 de enige informatieve doelwitten voor optimalisatie.
• Temperatuur-effecten:
  • Populatieniveau: Er werd geen systematisch effect van temperatuur op de overeenstemming op populatieniveau gevonden ($\beta \approx 0, p > 0,9$). De relatie tussen temperatuur en outputkwaliteit is niet universeel; er bestaat niet één optimale temperatuur voor alle gevallen.
  • Casus-specifieke Optimalisatie: Ondanks het gebrek aan een universeel optimum, verbeterde de EWACS-gestuurde Bayesiaanse optimalisatie de algehele causale classificatie-overeenstemming van 45,0% naar 72,0% (+27 procentpunten).
  • Doelgerichte Winsten: De verbetering was het meest uitgesproken voor "Doubtful" gevallen (+42,9 pp) en "Possible" gevallen (+18,5 pp), waardoor systematische biases werden gecorrigeerd waarbij het baseline-model ($T=0$) gevallen overmatig classificeerde als "Probable".
• Vergelijking van Metrieken: Hoewel CWCS een gladdere respons-oppervlakte bood voor de GP, leverde EWACS superieure classificatieresultaten op omdat het beter aansloot bij het specifieke eindpunt van de Naranjo-classificatie door gebruik te maken van entropie om zich te concentreren op informatieve vragen.

Significantie en Claims
De auteurs beweren dat de studie de levensvatbaarheid demonstreert van casus-specifieke temperatuuroptimalisatie als een strategie om LLM-ondersteunde farmacovigilantie te verbeteren, zelfs in de afwezigheid van een universeel temperatuuroptimum. De bevindingen suggereren dat de prestaties van LLMs in dit domein primair worden gedreven door de inhoud van de casus-narratief in plaats door de stochastiek van de generatie. Door de optimalisatiezoektocht op het niveau van de individuele casus te richten, kan het framework systematische redeneringsbiases (bijv. het overschatten van temporele plausibiliteit of het onderschatten van objectief bewijs) corrigeren die deterministische baselines teisteren.

Het artikel stelt dat de prestatiekloof die voorheen werd toegeschreven aan de noodzaak voor domeinspecifieke training, grotendeels is gedicht door de vooruitgang in algemene LLMs (GPT-5.2 presteert beter dan gespecialiseerde biomedische modellen). Het voorgestelde framework wordt gepresenteerd als een model-agnostische benadering die kan worden uitgebreid naar andere hyperparameters en rijkere databronnen (zoals klinische trial-data waar therapie-tijdlijnen en dechallenge-records aanwezig zijn), wat een pad biedt naar hybride besluitvormingsworkflows waarbij geautomatiseerde tools duidelijke gevallen afhandelen en ambigue gevallen signaleren voor menselijke beoordeling.