Real-time structuring of the clinical information section for dopamine transporter SPECT reporting with a small language model pipeline: development and external validation

Technische Samenvatting: Real-time structurering van klinische DAT-SPECT informatie via een Small Language Model pipeline

Probleemstelling
De nauwkeurige interpretatie van Dopamine Transporter (DAT)-SPECT beeldvorming is sterk afhankelijk van contextuele klinische informatie, waaronder patiëntensymptomen, medicatiehistorie, comorbiditeiten en structurele beeldvormingsbevindingen. In de routineklinische praktijk wordt deze data doorgaans gedocumenteerd als heterogene vrije tekst. Dit ongestructureerde formaat introduceert ambiguïteit, inconsistente terminologie en variabele detailniveaus, wat de consistente overweging van klinisch relevante parameters kan hinderen en de naleving van rapportage richtlijnen kan beperken. Hoewel Natural Language Processing (NLP) een oplossing biedt, vertrouwen bestaande benaderingen voornamelijk op Large Language Models (LLMs) met honderden miljarden parameters. Deze modellen vereisen aanzienlijke computationele middelen en cloud-gebaseerde infrastructuur, wat zorgen oproept over gegevensbescherming, regelgeving en technische haalbaarheid in klinische settings.

Methodologie
In deze studie is een lokaal inzetbare pipeline ontwikkeld en geëvalueerd die gebruikmaakt van een Small Language Model (SLM) om vrije klinische tekstdocumentatie te transformeren naar gestandaardiseerde, gestructureerde rapporten voor DAT-SPECT.

• Datasets: Er zijn twee retrospectieve datasets gebruikt. De in-house dataset (Universitair Medisch Centrum Hamburg-Eppendorf) bevatte 2.990 klinische informatiesecties (gesplitst in 2.700 voor training en 290 voor interne test). Een externe validatiedataset (Universitair Ziekenhuis Freiburg) bestond uit 595 klinische secties. Alle teksten waren in het Duits.
• Gestructureerd Woordenboek: Er is een referentiewoordenboek ontwikkeld door twee ervaren DAT-SPECT lezers, bestaande uit 466 vermeldingen over 12 categorieën (bijv. indicaties, vermoedelijke etiologieën, symptomen, medicatie, lateralisatie). Dit woordenboek bevatte metadata zoals synoniemen, afkortingen en attributen voor post-processing (bijv. interacties tussen medicatie en de tracer).
• Annotatie: De trainings- en interne testsets zijn handmatig geannoteerd door een deskundige lezer, waarbij de vrije tekst werd gekopperd aan de vermeldingen in het gestructureerde woordenboek.
• Modeltraining: Een Qwen3 1.7B-parameter model is via supervised learning getraind op de geannoteerde data. De training maakte gebruik van de 8-bit AdamW optimizer met een leersnelheid van 1 × 10⁻⁵ over vier epochs. Tijdens de inferentie werd de temperatuur ingesteld op 0 om deterministische output te garanderen.
• Regelgebaseerde Postprocessing: Een cruciaal onderdeel van de pipeline was een regelgebaseerde postprocessing tool. In plaats van uitsluitend te vertrouwen op de SLM voor het afleiden van complexe klinische logica, bewerkte deze module:
  • Redundante vermeldingen.
  • Stelde automatisch de scan-indicatie voor op basis van symptoommetadata.
  • Consolideerde symptoom-lateralisatie en tijdverloop.
  • Genereerde herinneringen voor ontbrekende elementen die relevant zijn voor de richtlijnen.
  • Kruiscontroleerde medicatie om onderscheid te maken tussen medicijnen met relevante interacties met [¹²³I]iofluaan-binding en medicijnen zonder dergelijke interacties.

Belangrijkste Resultaten

• Interne Prestaties: In de interne testset (n=290) bood de postgeprocessteerde SLM-output in 67,6% van de gevallen (196/290) dezelfde informatie als de deskundige handmatige annotatie. Exacte overeenkomsten kwamen voor in 50,7% (147/290) van de gevallen. Verschillen in interpretatie door tekstambiguïteit bedroegen 4,5%, en objectieve SLM-fouten kwamen voor in 14,1% van de gevallen. Opvallend genoeg was de SLM-output in 13,8% van de gevallen beoordeeld als superieur aan de handmatige annotatie wat betreft duidelijkheid of volledigheid. Van de 41 foutgevallen betrof 87,8% slechts één foutieve of ontbrekende item.
• Externe Validatie: In de externe dataset (n=595) vereiste 75,0% (446/595) van de postgeprocessseerde outputs geen handmatige correctie voor opname in een rapport. Van de resterende 25,0% die wel correctie behoefde, had 74,5% slechts één item nodig om gecorrigeerd te worden. Het gemiddelde aantal correcties per geval was 0,34 items, wat 6,0% van alle gestructureerde items vertegenwoordigt.
• Vergelijking met Base Model: De gefinetunede SLM presteerde aanzienlijk beter dan het niet-gefinetunde base model (Qwen3-1.7B-Instruct) met drie-shot prompting, dat in slechts 2,8% van de gevallen een exacte overeenkomst bereikte vergeleken met 50,7% voor de gefinetunede SLM.

Betekenis en Claims
Het artikel claimt dat een lokaal inzetbare SLM in combinatie met regelgebaseerde postprocessing effectief ongestructureerde klinische informatie kan transformeren naar gestandaardiseerde, rapport-gereed documentatie met een hoge klinische bruikbaarheid en robuuste externe prestaties.

De belangrijkste bijdragen die door de auteurs worden benadrukt zijn:

1. Lokale Implementatie: De pipeline werkt op standaard hardware (NVIDIA RTX 6000 Ada GPU's) zonder externe gegevensoverdracht, wat de zorgen over gegevensbescherming en regelgeving die gepaard gaan met cloud-gebaseerde LLM's wegneemt.
2. Hybride Architectuur: De integratie van een SLM met een gestructureerd woordenboek en regelgebaseerde postprocessing combineert de flexibiliteit van taalmodellen met de betrouwbaarheid en transparantie van regelgebaseerde systemen. Dit maakt eenvoudige adaptatie mogelijk (bijv. het toevoegen van nieuwe symptomen of medicijnen) zonder het model opnieuw te trainen.
3. Klinische Bruikbaarheid: Het systeem is ontworpen voor real-time gebruik tijdens patiëntinterviews als een "Digitale Medische Interview Assistent". Het beoogt de consistentie te verbeteren, ontbrekende richtlijn-relevante informatie te highlighten en gestructureerde rapportage te faciliteren.
4. Generaliseerbaarheid: Ondanks verschillen in documentatiestijlen tussen de interne en externe instellingen, behield de pipeline een robuuste prestatie, wat duidt op een goede generaliseerbaarheid over verschillende instellingen heen.

De auteurs erkennen beperkingen, waaronder het gebruik van een enkele lezer voor annotatie (potentiële subjectieve bias), het gebruik van de Duitse taal, en het feit dat de studie de technische haalbaarheid heeft beoordeeld in plaats van de directe impact op de klinische workflow of diagnostische nauwkeurigheid. Zij concluderen dat hoewel de pipeline een hoge nauwkeurigheid en bruikbaarheid vertoont, toekomstige prospectieve studies nodig zijn om de impact op rapportage-efficiëntie en diagnostische uitkomsten te evalueren.