Technische Samenvatting: Expert-gestuurde Klinische Tekstaugmentatie via Query-gebaseerde Modelcollaboratie

1. Probleemformulering

Data-augmentatie is een standaardstrategie voor het verbeteren van de robuustheid en generalisatie van modellen door trainingsdatasets te verrijken met synthetische voorbeelden. Echter, in hoog-risico domeinen zoals de gezondheidszorg, staat standaard augmentatietechnieken een kritieke veiligheidsuitdaging te midden: het risico op het genereren van klinisch onjuiste of misleidende informatie (hallucinaties).

Het kernprobleem dat wordt geadresseerd is het onvermogen van algemene Large Language Models (LLM's) om onderscheid te maken tussen kritieke domeinvariabelen ($V$) (bijv. specifieke symptomen, diagnoses, medicatiedoseringen) en niet-kritieke stilistische variabelen ($U$) (bijv. zinsstructuur, formulering, patiëntnamen).

• Het Risico: Naïve LLM-gebaseerde augmentatie wijzigt of verwijdert vaak kritieke medische informatie ($V$) terwijl het probeert stilistische elementen ($U$) te modificeren, of het introduceert gefabriceerde medische feiten. Dit verstoort de semantische integriteit van de data, wat downstream-modellen potentieel kan verwarren en fouten kan voortplanten die de klinische besluitvorming kunnen beïnvloeden.
• De Kloof: Bestaande methoden, inclusief die gebruikmaken van domeinspecifieke pre-trained LLM's of causale prompting (bijv. CATO), missen expliciete, fijnmazige waarborgen om te garanderen dat kritieke medische entiteiten invariant blijven tijdens het augmentatieproces.

2. Methodologie: Query-gebaseerde Modelcollaboratie

De auteurs stellen een lichtgewicht, query-gebaseerd modelcollaboratie-framework voor dat expert-niveau domeinkennis integreert om het augmentatieproces te sturen zonder dat het her trainen van het generatieve model vereist is. Het framework bestaat uit twee primaire componenten:

1. Zwakke Expert ($W$): Een lichtgewicht, domeinspecifiek model (bijv. een BERT-gebaseerd Clinical NER model) getraind om veiligheidskritieke tokens (medische trefwoorden, doseringen, bevindingen) binnen de inputtekst te identificeren. Het fungeert als een beslisser die deze tokens markeert als "onveranderlijk".
2. Sterke Generalist ($G$): Een algemeen fundamenteel model met sterke generatieve en herschrijvingscapaciteiten (bijv. Qwen, Llama), maar zonder expliciete training in het doelmedische domein.

De Augmentatie Pipeline:
Het proces volgt een driestaps-procedure voor elke input klinische noot $x_i$:

1. Extractie van Kritieke Kenmerken: De Zwakke Expert $W$ analyseert $x_i$ om een set kritieke tokens $K_i$ te extraheren die behouden moeten blijven.
2. Prompt Constructie: Een constraint-bewuste prompt wordt geconstrueerd, waarbij de originele tekst $x_i$ en de expliciete constraint-set $K_i$ naar de Sterke Generalist worden gestuurd. De prompt instrueert het model om de tekst te herschrijven met behoud van de semantiek en de letterlijke aanwezigheid van alle tokens in $K_i$.
3. Geconstelde Herschrijving: De Sterke Generalist $G$ genereert de geaugmenteerde tekst $\tilde{x}_i$ geconditioneerd op de prompt. Het is vrij om niet-kritieke elementen (stijl, syntaxis) te herformuleren, maar is beperkt in het wijzigen van de kritieke medische informatie.

Distillatie Optie:
Het paper onderzoekt ook het distilleren van dit collaboratieve gedrag naar een enkel model met behulp van Direct Preference Optimization (DPO). In deze opstelling wordt de Sterke Generalist getraind om outputs te verkiezen die gegenereerd zijn via de expert-gestuurde collaboratie boven naïeve augmentaties, waardoor de constraints van de expert effectief geïnternaliseerd worden.

3. Belangrijkste Bijdragen

• Nieuw Framework: Introductie van een modelcollaboratie-framework waarbij een lichtgewicht "zwakke expert" een "sterke generalist" superviseert om veilige, domeintrogetrouwe tekstaugmentatie te waarborgen.
• Veiligheids- en Kwaliteitsmetrieken: Demonstratie dat de voorgestelde methode de Preservation Rate (PR) van kritieke medische entiteiten significant verbetert en de Hallucination Rate (HR) vermindert op zowel token- als conceptniveau vergeleken met bestaande baselines.
• Downstream Prestaties: Empirisch bewijs dat geaugmenteerde data gegenereerd door deze methode leidt tot consistente prestatiewinsten in downstream klinische voorspellings-taken (heropname, mortaliteit, ligduur) en zero-shot/few-shot inferentie-taken (fenotypering, ICD-codering).
• Efficiëntie: Validatie dat het framework deze veiligheidswinsten behaalt met verwaarloosbare computationele overhead vergeleken met standaard LLM-augmentatie, waardoor de hoge kosten van training-gebaseerde alternatieven worden vermeden.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de MIMIC-III dataset over drie klinische voorspellings-taken en zero-shot inferentie-benchmarks.

• Data Kwaliteit:

  • Naïve LLM-augmentatie verwijderde ~49% van de medische trefwoorden en introduceerde ~59% gehallucineerde trefwoorden.
  • De voorgestelde methode bereikte een Preservation Rate (PR) van 0,79 (token niveau) en 0,73 (concept niveau), terwijl een Hallucination Rate (HR) van 0,33 (token niveau) en 0,26 (concept niveau) werd gehandhaafd. Dit presteerde significant beter dan baselines zoals Naïve LLM, CATO en regelgebaseerde synoniemsubstitutie.
  • Annotaties door menselijke experts bevestigden dat de voorgestelde methode kritieke informatie effectiever behield dan de baselines.

• Downstream Taak Prestaties:

  • Modellen getraind op de geaugmenteerde data behaalden de beste gemiddelde prestaties over alle taken (Heropname, Mortaliteit, Ligduur) vergeleken met modellen getraind op naïeve geaugmenteerde data of zonder augmentatie.
  • In zero-shot en few-shot settings (Patiënt Fenotypering en ICD-codering) verbeterde de voorgestelde methode consequent de F1-scores, terwijl naïeve augmentatie vaak de prestaties verslechterde ten opzichte van de originele data.

• Component Analyse:

  • Het gebruik van een medisch-specifieke Zwakke Expert leverde betere resultaten op dan een algemene purpose NER-model, hoewel het algemene model nog steeds verbeteringen bood ten opzichte van geen begeleiding.
  • Grotere Sterke Generalists (bijv. 3B vs 1B parameters) vertoonden betere preservation rates, maar het collaboratie-framework presteerde consistent beter dan de baselines over alle modelgroottes heen.
  • Distillatie: Hoewel DPO-getrainde single modellen verbetering vertoonden ten opzichte van zero-shot baselines, bleef de dual-model collaboratie de meest betrouwbare aanpak, met name voor modellen die minder sterke medische priors hebben.

• Kostenanalyse:

  • De methode voegt slechts een kleine inference-time kosten toe (~18% toename over naïeve augmentatie) vanwege de lichtgewicht pass van de Zwakke Expert.
  • Het vermijdt de substantiële kosten van training (honderden GPU-uren) die geassocieerd zijn met het fine-tunen van grote LLM's voor augmentatie, wat het een kostenefficiënt alternatief maakt.

5. Betekenis en Claims

Het paper claimt de kloof te overbruggen tussen het generatieve potentieel van LLM's en de strikte veiligheidseisen van gespecialiseerde domeinen zoals de gezondheidszorg. Door de rollen van kennisextractie (Zwakke Expert) en tekstgeneratie (Sterke Generalist) expliciet te scheiden, zorgt het framework ervoor dat synthetische data klinisch valide blijft.

De auteurs benadrukken dat hun aanpak:

1. Kritieke Informatie Behoudt: Voorkomt de verstoring van medische feiten die gebruikelijk is bij ongeleide LLM-augmentatie.
2. Hallucinaties Vermindert: Verlaagt aanzienlijk de snelheid van gefabriceerde medische entiteiten.
3. Generalisatie Verbetert: De resulterende synthetische data helpt downstream-modellen om robuuste kenmerken te leren, wat de prestaties over diverse klinische taken heen verbetert.
4. Een Praktische Oplossing Biedt: Een lichtgewicht, inference-time oplossing biedt die geen dure hertraining van foundation models vereist, wat het schaalbaar maakt voor veiligheidskritische toepassingen.

Het werk concludeert dat hoewel algemene purpose LLM's krachtig zijn, ze expliciete, domeinspecifieke begeleiding vereisen om veilig gebruikt te kunnen worden voor data-augmentatie in omgevingen met een hoog risico. De voorgestelde query-gebaseerde collaboratie biedt een levensvatbaar pad om deze veiligheid te bereiken zonder de computationele efficiëntie op te offeren.