Technische Samenvatting: Local-First Structurele Tekstanalyse van Klinische Teksten met Fine-Tuned MedGemma voor Risicoanalyse van Heropnames

1. Probleemstelling

Ongestructureerde klinische aantekeningen blijven een kritieke flessenhals voor inzetbare AI in de gezondheidszorg. Hoewel Large Language Models (LLM's) het begrip van klinische teksten hebben verbeterd, staat de praktische implementatie ervan voor vier belangrijke barrières:

1. Privacy: Cloud-gebaseerde inferentie vereist het verzenden van gevoelige patiëntgegevens, wat vaak verboden is, zelfs in onderzoekssettings.
2. Formaatinstabiliteit: De output van LLM's is niet-deterministisch en genereert variërende formaten voor identieke inputs, wat downstream verwerkingspipelines doorbreekt.
3. Infrastructuurtoegang: Veel klinische instellingen hebben geen toegang tot cloud-API's of high-end GPU-clusters.
4. Auditbaarheid: Black-box propriëtaire modellen compliceren klinische validatie.

Bovendien zijn bestaande Clinical NLP-systemen (bijv. cTAKES, MetaMap) geoptimaliseerd voor het detecteren van individuele concepten in plaats van het converteren van volledige documenten naar gestructureerde, operationeel bruikbare gegevens met een vooraf gedefinieerd schema.

2. Methodologie: MedGemma StructCore

De auteurs presenteren MedGemma StructCore, een local-first, twee-fasen extractie-pipeline ontworpen om te draaien op consumentenhardware (Apple Silicon, standaard GPU's) zonder cloud-afhankelijkheid. Het systeem converteert vrije-tekst Electronic Health Record (EHR) aantekeningen naar een canoniek, auditeerbaar formaat genaamd KVT4 (Cluster|Keyword|Value|Timestamp).

2.1 Architectuur

De pipeline werkt volledig offline met MedGemma 4B modellen (gekwantiseerd naar GGUF Q5_K_M) via llama.cpp.

• Fase 1: Schema-Guided Reasoning (SGR) Summarization

  • Model: Base MedGemma 4B (geen LoRA).
  • Mechanisme: Maakt gebruik van Schema-Guided Reasoning om een rigide Pydantic-schema af te dwingen, waarbij vrije-tekst aantekeningen worden omgezet in gestructureerde JSON over negen klinische clusters (DEMOGRAPHICS, VITALS, LABS, PROBLEMS, SYMPTOMS, MEDICATIONS, PROCEDURES, UTILIZATION, DISPOSITION).
  • Strategie: Input condensatie via head/tail + keyword windows; generatie temperatuur ingesteld op 0.0 voor determinisme.
  • Rol: SGR wordt primair toegepast als een mechanisme voor formaatstabiliteit, om het lagere aantal parameters (4B) te compenseren door middel van expliciete schema-begeleiding.

• **Fase 2: KVT4 Projectie

  • Model: MedGemma 4B fine-tuned met LoRA (Low-Rank Adaptation) op een "hard200" dataset (200 complexe documenten geselecteerd op basis van format drift).
  • Taak: Projecteert de Stage 1 Markdown-samenvatting naar canonieke KVT4-feiten.
  • Output Contract (KVT4): Strikt vier-veld pipe-gescheiden tupels: Cluster|Keyword|Value|Timestamp.
    • Objectieve Clusters (VITALS, LABS, UTILIZATION, DISPOSITION): Strikt numerieke waarden of allowlists.
    • Semantische Clusters (PROBLEMS, SYMPTOMS, MEDICATIONS, PROCEDURES): Alleen bewijsvoerende flags.
  • Normalisatie: Deterministische post-processing omvat keyword canonicalisering, unit stripping, timestamp mapping en deduplicatie.

• Signal-Integrity Gate & Hybride Regeneratie

  • Een geautomatiseerde gate detecteert "silent objective signal loss" tussen Fase 1 en Fase 2 (bijv. numerieke feiten aanwezig in Fase 1 maar verloren in Fase 2).
  • Offline Hybride Regeneratie: Een deterministisch herstelproces dat ruwe outputs opnieuw parseert en ontbrekende feiten uit de Fase 1 Markdown aanvult zonder extra LLM-calls. Dit verminderde de document-level objectieve loss van 15,55% naar 8,48% in een steekproef van 4.000 documenten.

2.2 Downstream Taak: Voorspelling van Heropname Risico

De pipeline wordt gevalideerd met behulp van 30-daagse ongeplande heropname voorspelling op de MIMIC-IV dataset (N=50.000 hospitalisaties; N_test=9.857).

• Experimentele Armen:
  • A4 (Tabulaire Baseline): Logistische regressie op gestructureerde EHR-kenmerken (labs, demografie, utilitatie).
  • A3factlevel (Voorgesteld): Hybride model dat A4-kenmerken combineert met fact-level sparse hashed tokens afgeleid van KVT4-feiten.
  • Typed Fusion (Exploratief): Een post-closure tak die getypeerde semantische waarschijnlijkheden (bijv. Hartfalen, Sepsis) fuseert in de voorspeller.
• Evaluatie: Gepaarde subject-bootstrap betrouwbaarheidsintervallen (K=2.000) worden gebruikt om armen te vergelijken, waarbij wordt gewaarborgd dat patiënt-niveau datalekken worden voorkomen.

3. Belangrijkste Resultaten

3.1 Extractie Betrouwbaarheid

• Formaat Validiteit: 99,74% van de Fase 2 outputs voldoet aan het strikte KVT4-contract.
• Gestructureerde-Referentie Validatie (LABS): Op de volledige testsplit (N=9.857) behaalde het systeem een micro-F1 van 0,4809 tegenover gestructureerde tabel-referenties. Prestaties varieerden per keyword (bijv. Sodium F1=0,837; Platelet F1=0,201).
• Schaalbaarheid Pilot: Een pilot waarbij Fase 1 werd vervangen door GPT-4.1-mini toonde een lichte F1-verbetering (0,521 vs. 0,484), maar suggereerde een plateau rond de 0,52, wat aangeeft dat de beperking de mismatch tussen narratief en tabel-referentie is in plaats van modelcapaciteit.

3.2 Heropname Voorspellende Prestaties

• Tabulaire Ceiling: De volledige supervisie tabulaire baseline (A4, getraind op N≈35.000) bereikte een AUROC van 0,685.
• Eerlijke Vergelijking (Matched Training): Bij het vergelijken van A3factlevel tegen een tabulaire baseline die op dezelfde gereduceerde trainingsset is gefit (N_train=1.500):
  • AUROC: A3factlevel (0,659) vs. A4LR (0,656). De stijging (+0,0033) was klein en niet statistisch bevestigd (95% CI: [-0,0048, 0,0107]).
  • AUPRC: A3factlevel vertoonde een Geverifieerde verbetering (+0,0162; 95% CI: [0,0077, 0,0252]).
  • Brier Score: A3factlevel vertoonde een Geverifieerde verbetering (-0,0012; 95% CI: [-0,0022, -0,0003]).
• Estimator Robuustheid: XGBoost getraind op dezelfde kenmerken presteerde niet beter dan Logistische Regressie, wat bevestigt dat de feature set de voorkeur geeft aan lineaire modellen en dat de baseline niet kunstmatig zwak is.
• Kalibratie: Het A3factlevel model vertoonde overmoed in hogere risicocategorieën (Calibration Slope = 0,741), wat wijst op een noodzaak voor pre-deployment recalibratie.

3.3 Efficiëntie

• Prompt KV Cache Hergebruik: Het implementeren van prompt caching in llama.cpp leverde een +10,6% snelheidswinst op in Fase 2 inferentie met bit-exacte output equivalentie.
• Hardware: De pipeline draait op consumentenhardware (bijv. Apple M3 Max, 8GB+ VRAM GPU's) zonder cloud-afhankelijkheid tijdens inferentie.

4. Betekenis en Claims

Het artikel positioneert de primaire bijdrage niet als een state-of-the-art predictief model, maar als een betrouwbare, auditeerbare, local-first tekst-structureringsinfrastructuur.

• Definitie van Betrouwbaarheid: De auteurs definiëren "betrouwbaarheid" als output-contract stabiliteit (99,74% formaat validiteit) en signal-integrity auditing (detecteren en herstellen van stille dataverlies), in plaats van te claimen dat de extractie-accuratesse per cluster volledig gevalideerd is.
• Local-First Privacy: Het systeem demonstreert dat compacte, domein-geadapteerde modellen (4 miljard parameters) complexe gestructureerde extractie kunnen uitvoeren op consumentenhardware, waardoor de noodzaak voor cloud-API's wordt geëlimineerd en wordt gegarandeerd dat patiëntgegevens het lokale apparaat nooit verlaten.
• Bescheiden Claims over Accuratesse: De auteurs geven expliciet aan dat hoewel uit de noten afgeleide KVT4-feiten nuttige voorspellende signalen toevoegen (geverifieerde verbeteringen in AUPRC en Brier), de AUROC-stijging klein is en nog niet bevestigd. Ze waarschuwen dat sterkere claims over extractiekwaliteit en eerlijkheid verdere validatie vereisen, waarbij zij opmerken dat semantische clusters (PROBLEMS, SYMPTOMS) momenteel een gebrek hebben aan kwantitatieve grondwaarheid buiten een kleine gecureerde set.
• Toekomstige Richting: Dit werk legt een fundament voor herbruikbare infrastructuur (bijv. voor het signaleren van zorgtekorten of cohort-analyse) in plaats van een standalone klinische beslissingsondersteuningstool. De auteurs benadrukken dat pre-deployment recalibratie een vereiste is voor enig klinisch gebruik op basis van waarschijnlijkheid vanwege de geobserveerde overmoed.

Samenvattend biedt MedGemma StructCore een formaat-stabiele, auditeerbare pipeline die er succesvol in slaagt de kloof tussen ongestructureerde klinische tekst en gestructureerde gegevens op lokale hardware te overbruggen, wat een levensvatbaar pad biedt voor privacy-bewuste klinische AI, terwijl de huidige beperkingen in extractie-accuratesse en kalibratie worden erkend.