Technische Samenvatting: Iteratieve Feedback–Verfijning voor Getrouwe Gestructureerde Klinische Notatie-representatie

Probleemstelling

Ongestructureerde klinische notities in Elektronische Gezondheidsdossiers (EHRs) bevatten rijke patiëntinformatie, maar blijven moeilijk te automatiseren vanwege de variabiliteit in lay-out, narratieve stijl en sectie-dekking over verschillende specialismen heen. Bestaande benaderingen om deze notities om te zetten in gestructureerde representaties worden geconfronteerd met twee primaire beperkingen:

1. Vrije tekst-samenvatting: Hoewel dit de leesbaarheid verbetert, lijden deze methoden vaak aan hallucinaties (het genereren van niet-onderbouwde inhoud) en omissies (het uitsluiten van cruciale details), en ontbreekt het hen aan de structurele beperkingen die nodig zijn voor interoperabiliteit en informatiehergebruik.
2. Vast Schema-populatie: Benaderingen die vooraf gedefinieerde, handmatig ontworpen schema's invullen (bijv. JSON-templates), generaliseren slecht over diverse documentatiestijlen. Bovendien propageren tekortkomingen in het initiële schemadesign systematisch naar elke extractie, aangezien het schema zelf niet geoptimaliseerd is.

Huidige methoden optimaliseren de gegenereerde output in plaats van de onderliggende representatie. Daarnaast schieten standaard evaluatiemetrieken (bijv. ROUGE) vaak tekort in het vastleggen van de feitelijke overeenstemming met de bron, en lossen post-hoc correctiestrategieën geen tekortkomingen op representatieniveau op.

Methodologie

De auteurs stellen een nieuw Iteratief Feedback–Verfijningskader voor dat gestructureerde klinische documentatie behandelt als een probleem van adaptieve schema-inductie in plaats van instantiegeneratie vanuit een vaste template. Het kader maakt gebruik van Large Language Models (LLMs) om een JSON-gebaseerd schema progressief te verfijnen zonder dat gelabelde data of taakspecifieke fine-tuning vereist is.

Data en Preprocessing

• Dataset: De studie gebruikt de MTSamples corpus, specifiek de categorie 'Consult - History and Physicals' (515 rapporten).
• Preprocessing:
  • Opschoning: Verwijdering van boilerplate en vormatingsartefacten.
  • Uitschieterverwijdering: Lengte-gebaseerde filtering met een z-score drempelwaarde ($\tau=0.7$) om GPU-geheugenbeperkingen (KV-cache limieten) te beheren terwijl voldoende informatie behouden blijft, waardoor de corpus werd gereduceerd van 515 naar 337 documenten.
  • Clustering: Documenten worden geëmbed (met behulp van Qwen3:0.6b) en geclusterd via UMAP en HDBSCAN in 42 thematische clusters. Dit zorgt ervoor dat het verfijningsproces in een gecontroleerde sequentie wordt blootgesteld aan diverse notitiestructuren in plaats van willekeurige steekproeven.
  • Partitionering: Een 85/15 split creëert een Verfijningssubset (286 notities) voor iteratieve schema-updates en een Validatiesubset (51 notities) voor de finale evaluatie.

Het Iteratieve Kader

Het kernproces omvat een dual-LLM loop uitgevoerd over de 42 clusters:

1. Schema Initialisatie: Een zero-shot prompt genereert een initieel, minimaal JSON-schema ($S^{(0)}$).
2. Per-notitie Evaluatie (Evaluator):
   • Voor elke notitie in een cluster wordt het huidige schema gebruikt om een gestructureerd document te genereren.
   • De evaluator scoort het schema op vijf dimensies: Dekking, Nauwkeurigheid, Helderheid, Beknoptheid en Nut.
   • De evaluator genereert gestructureerde feedback in vier categorieën: Ontbrekende Informatie, Representatieproblemen, Redundantie en Verbeteringen.
3. Batch Aggregatie: Feedback van alle notities in een cluster wordt geaggregeerd. Gemiddelde kwaliteits scores worden berekend en feedbackitems worden gededupliceerd (terwijl frequentiesignalen behouden blijven) om systematische schema-tekortkomingen te identificeren.
4. Schema Verfijning (Refiner): Een aparte stateless LLM werkt het schema ($S^{(k)}$) bij op basis van de geaggregeerde feedback. Het volgt een conservatieve strategie, waarbij prioriteit wordt gegeven aan uitbreidingen (toevoegen van velden) boven verwijderingen, en waarborgt dat wijzigingen waarschijnlijk generaliseren. Het proces herhaalt zich voor elk cluster, wat resulteert in een finaal geoptimaliseerd schema ($S^*$).
5. Finale Toepassing: Het gefinaliseerde schema wordt toegepast op de validatiesubset met behulp van een stateless filler client om de uiteindelijke gestructureerde documenten te produceren.

Baselines

De voorgestelde aanpak wordt vergeleken met:

• Extractieve Samenvatting: BERT-Centroid (selecteert saillante zinnen letterlijk).
• Abstractieve Samenvatting: Standaard single-turn en Chain-of-Thought (CoT) benaderingen.
• In-Context Learning (ICL) Schema: Een niet-iteratieve benadering waarbij een schema in één passage wordt gegenereerd uit de gehele verfijningssubset.

Evaluatiemetrieken

Getrouwheid (faithfulness) wordt gedefinieerd als de overeenstemming tussen de gegenereerde representatie en de bronnotitie, ontleed in Precisie (afwezigheid van hallucinatie) en Recall (afwezigheid van omissie).

• LLM-als-Judge: Drie metrieken met behulp van gpt-5-mini: SummarizationMetric (F1 van precisie/recall), G-Eval (rubriek-gebaseerde precisie/recall), en DAGMetric (beslissingsboom-gebaseerde metriek).
• Referentie-gebaseerd: SelfCheckGPT (BERTScore consistentie en MQAG vraag-antwoord consistentie).
• Compressie: Woordniveau compressieratio ten opzichte van de bron.

Belangrijkste Resultaten

Het kader werd geëvalueerd op 8 open-weight LLMs (variërend van 1B tot 109B parameters).

1. Superieure Getrouwheid: De Iteratieve Schema benadering behaalde de hoogste gemiddelde F1-scores over alle drie de judge-gebaseerde metrieken (SummarizationMetric: 0.939, G-Eval: 0.926, DAGMetric: 0.910), waarmee het sterkste abstractieve baseline overtrof met +0.063 tot +0.066 F1-punten.
2. Precisie-Recall Balans: In tegenstelling tot de Extractive baseline (hoge precisie, lage recall) of abstractieve baselines (lagere recall), behield de Iteratieve Schema een hoge precisie vergelijkbaar met baselines, terwijl de recall significant werd verbeterd. Dit geeft aan dat de methode omissies vermindert zonder de hallucinaties te vergroten.
3. Model Agnosticisme: De winst was consistent over verschillende modelgroottes. Middelgrote modellen (bijv. Qwen3-4B, Llama-3.1-8B) evenaarden of overtroffen grotere modellen (bijv. Llama-3.3-70B) wanneer de iteratieve verfijningsstrategie werd gebruikt.
4. Compressie: De gestructureerde representatie bereikte een gemiddelde woordcompressieratio van 0.345 (34,5% van de bronlengte), wat aanzienlijk compacter is dan abstractieve samenvattingen (~0.63–0.66) terwijl een hogere getrouwheid behouden blijft.
5. Consistentie: De resultaten bleven standhouden over verschillende evaluatiemechanismen (vraag-antwoord, rubriek, beslissingsboom en distributionele metrieken), met sterke correlaties tussen metrieken die de robuustheid van de bevindingen bevestigen.

Betekenis en Claims

Het artikel claimt dat het optimaliseren van het schema zelf een effectieve, model-agnostische route biedt naar getrouwe gestructureerde klinische representatie.

• Representatie-Centrische Optimalisatie: Door de optimalisatietarget te verschuiven van individuele outputs naar het gedeelde schema, stapelen verbeteringen zich op en propageren ze naar alle daaropvolgende extracties.
• Verminderde Omissie: Het kader adresseert de hardnekkige beperking van klinische samenvatting (omissie) door expliciet vereiste informatievelden in het schema te definiëren, wat systematische dekking stimuleert.
• Geen Gelabelde Data: De benadering vereist geen menselijk gelabelde data of taakspecifieke fine-tuning, en vertrouwt in plaats daarvan op unsupervised clustering en LLM-gestuurde feedback.
• Klinische Bruikbaarheid: De resulterende machine-leesbare outputs zijn van nature compatibel met interoperabiliteitsstandaarden (bijv. FHIR) en kennisgrafen, wat potentieel fouten in downstream besluitvormingssystemen vermindert.

De auteurs concluderen dat de belangrijkste hefboom in gestructureerde klinische extractie minder ligt in iteratieve prompting of outputverfijning, maar in het behandelen van het schema zelf als het object van optimalisatie.