InsightFlow: LLM-Driven Synthesis of Patient Narratives for Mental Health into Causal Models

Probleemstelling

Klinische casusformulering in de geestelijke gezondheidszorg is een cruciaal proces waarbij therapeuten symptomen, geschiedenis en psychosociale factoren structureren tot een causaal model. Vaak wordt hiervoor het "5P"-raamwerk gebruikt (Presenting problems, Predisposing factors, Precipitating factors, Perpetuating factors, en Protective factors).

• Uitdaging: Het handmatig creëren van deze causale grafieken uit therapietranscripten is tijdrovend, subjectief en leidt tot grote variatie tussen experts (lage inter-rater overeenstemming, Cohen's kappa vaak rond 0,33-0,45).
• Doel: Het automatiseren van het extraheren van causale relaties uit ongestructureerde teksten om therapeuten te ondersteunen zonder de kwaliteit van menselijke expertise te verliezen.

Methodologie: InsightFlow

De auteurs hebben InsightFlow ontwikkeld, een end-to-end systeem dat Large Language Models (LLM's) gebruikt om causale grafieken te genereren.

1. Dataset:

   • Gebruik van 46 transcripten van intake-sessies uit de MentalCLOUDS-corpus.
   • Twee getrainde annotatoren hebben deze sessies handmatig geannoteerd volgens het 5P-raamwerk om een "ground truth" te creëren.
   • Het proces omvatte het identificeren van factoren en het leggen van causale verbindingen (gericht op een acyclische graaf).

2. LLM-Architectuur (Llama-3 8B):
   Het systeem werkt in twee fasen met een iteratieve prompt-engineering aanpak:

   • Fase 1: Factorextractie: De LLM (geframed als een klinisch psycholoog) extrahert de 5P-factoren uit de dialoog en retourneert deze in een gestructureerd JSON-formaat.
   • Fase 2: Causale Koppeling: Voor elk paar geëxtraheerde factoren wordt een tweede prompt gebruikt om te beoordelen of er een causale relatie bestaat ("TRUE" of "FALSE"). Dit voorkomt willekeurige koppelingen en bouwt een coherent netwerk op.
   • De generatie vond plaats op een NVIDIA A100 GPU.

3. Evaluatie:

   • Automatische Metrieken: Vergelijking tussen LLM- en menselijke grafieken met behulp van NetSimile (structurele gelijkenis), SBERT-embeddings voor semantische gelijkenis van knopen en randen, en graftheoretische maten (dichtheid, centraliteit, clustering).
   • Expert Review: Vijf klinische experts beoordeelden de LLM-generaties blind op zes dimensies (compleetheid, consistentie, specificiteit, plausibiliteit van knopen/verbindingen, en nut) op een schaal van 1 tot 5.

Belangrijkste Resultaten

• Structurele Gelijkenis: De LLM-generaties vertoonden een NetSimile-score van 0,38 tot 0,46 ten opzichte van menselijke annotaties. Dit valt binnen het bereik van de variatie tussen twee menselijke annotatoren onderling (0,37–0,53), wat aangeeft dat de LLM binnen de natuurlijke variabiliteit van experts presteert.
• Semantische Overlap: De semantische gelijkenis van randen en knopen was hoog (gemiddelde cosine-afstand > 0,70), wat betekent dat het model dezelfde kernconcepten identificeerde als de experts.
• Topologische Verschillen:
  • Dichtheid: LLM-grafieken waren iets dichter (0,29 vs. ~0,25 bij mensen) en hadden meer driehoekige patronen (triadic closure). Waar mensen vaak lineaire ketens (A→B→C) maakten, voegde de LLM vaak directe kortere verbindingen toe (A→C).
  • Centraliteit: Menselijke grafieken hadden een "hub-and-spoke"-structuur met gefocuste invloed, terwijl LLM-grafieken invloed meer gelijkmatig verdeelden over de knopen.
  • Community Detectie: De LLM groepeerde factoren logisch volgens de 5P-categorieën, wat overeenkomt met klinische coherentie.
• Expert Beoordeling: Experts gaven de LLM-grafieken gemiddelde scores van 3,2 tot 3,6 (op een schaal van 5) voor alle dimensies. Dit wordt beschouwd als "aanvaardbare kwaliteit" die enige verfijning vereist, maar vergelijkbaar is met de kwaliteit van menselijke formuleringen.

Bijdragen

1. Benchmarks: Het creëren van een nieuw dataset van 46 handmatig geannoteerde casusformuleringen gebaseerd op het 5P-raamwerk.
2. Innovatieve Methode: Ontwikkeling van een iteratieve, feedback-gestuurde LLM-prompt-strategie die eerst factoren extrahert en vervolgens causale relaties valideert.
3. Validatie: Een uitgebreide vergelijking van geautomatiseerde output met menselijke experts, zowel via computationele grafmetrieken als klinische beoordeling.
4. Inzicht in Verschillen: Documentatie van de stylistische verschillen (LLM: rijke netwerken vs. Mens: lineaire ketens) en de beperkingen (o.a. gebrek aan tijdsorde en redundantie).

Betekenis en Conclusie

InsightFlow demonstreert dat LLM's effectief kunnen worden ingezet om klinisch betekenisvolle casusformuleringen te genereren die vergelijkbaar zijn met expertwerk.

• Potentieel: Het systeem kan therapeuten tijd besparen, als startpunt voor besluitvorming dienen en verborgen relaties in patiëntverhalen blootleggen die mogelijk over het hoofd worden gezien.
• Beperkingen: Het huidige model mist expliciete tijdsorde (temporele redenering) en kan soms redundante knopen genereren.
• Toekomst: Verdere verfijning is nodig, waaronder het verbeteren van tijdsredenering, het verwijderen van redundantie, en het testen op grotere en diversere datasets.

Het paper concludeert dat InsightFlow een veelbelovend hulpmiddel is om de geestelijke gezondheidszorg te versterken door narratieve data om te zetten in gestructureerde causale modellen, mits gebruikt als ondersteuning onder toezicht van experts.