Technisch overzicht: RASC+ – Retrieval-Constrained LLM Adjudicatie voor het Auteurschap van Klinische Waardensets

Probleemdefinitie

Klinische waardensets definiëren de gestandaardiseerde terminologiecodes (bijv. SNOMED-CT, ICD-10-CM, RxNorm) die vereist zijn voor elektronische kwaliteitsmeting, fenotypering en klinische besluitvorming. Het opstellen van deze sets is geen standaard tekstgeneratietaak; het vereist het selecteren van een precieze subset uit een massief, versiebeheerd terminologieuniversum.

De Retrieval-Augmented Set Completion (RASC) benchmark heeft eerder aangetoond dat directe zero-shot Large Language Model (LLM) generatie slecht geschikt is voor deze taak. LLM's hebben moeite met het memoriseren van de uitgebreide, geversoendeerde codesystemen en genereren frequent codes die afwezig zijn in de autoritatieve Value Set Authority Center (VSAC) corpus. De oorspronkelijke RASC-aanpak formuleerde het probleem als een tweestaps-proces: het ophalen van vergelijkbare eerdere waardensets om een kandidaat-pool te vormen, en vervolgens het classificeren van kandidaten. Echter, de oorspronkelijke pipeline, die vertrouwde op SAPBert-embeddings en een cross-encoder, bereikte een macro F1 van slechts 0,298 op de volledige testset, met significante prestatiedalingen bij out-of-distribution (OOD) uitgevers.

Methodologie

Dit werk stelt RASC+ voor, een stapsgewijze optimalisatie van de retrieve-then-select formulering. De auteurs ontkoppelen het probleem in twee afzonderlijke doelstellingen:

1. Fase 1 (Constructie van de Kandidaat-pool): Maximaliseer de recall (het blootleggen van zoveel mogelijk ware codes) zelfs ten koste van de precisie, om ervoor te zorgen dat de "recall-plafond" hoog is.
2. Fase 2 (Adjudicatie van Kandidaten): Maximaliseer de precisie door de juiste subset uit de uitgebreide pool te selecteren, waarbij de veiligheidsrestrictie wordt gewaarborgd dat alle outputs afkomstig moeten zijn uit de controleerbare kandidaat-pool.

Fase 1: Verbeterde Poolconstructie

De auteurs vervangen de oorspronkelijke SAPBert-titelretriever door een robuustere pipeline:

• Semantische Retrieval: Maakt gebruik van Qwen3-Embedding-0.6B om de top $K=15$ dichtstbijzijnde buurwaardensets te halen (verhoogd van $K=10$) op basis van de cosinusovereenkomst van genormaliseerde titel-embeddings.
• Vocabulaire-bewuste Expansie: Om codes te vangen die structureel dicht bij de opgehaalde zaden liggen maar afwezig zijn in de bronsets, breidt het systeem de pool uit met vocabulaire-specifieke grafen:
  • ICD-10-CM: Kind- en broer/zus-links.
  • RxNorm & SNOMED-CT: Relatie-buur-links.
  • Restricties: Expansie is beperkt (maximaal 3 nieuwe codes per zaad, 60 per vocabulaire) om de controleerbaarheid van de pool te behouden.
• Code-Display Rescue Retrieval: Om discrepanties in bewoordingen tussen doeltitels en trainingscorpus-titels aan te pakken (een kritieke foutmodus voor OOD-uitgevers), indexeert het systeem code-display strings met behulp van BM25. De top 10 matches per vocabulaire worden toegevoegd als zaden, gevolgd door dezelfde graaf-gebaseerde expansie.

De uiteindelijke kandidaat-pool ($C_v$) is de unie van de uit de bron afgeleide codes, de vocabulaire-geëxpandeerde codes en de code-display rescue codes.

Fase 2: Beperkte Adjudicatie

Twee selectors worden geëvalueerd op dezelfde uitgebreide pool:

1. SAPBert Cross-Encoder: De oorspronkelijke RASC-classifier toegepast op de uitgebreide pool zonder hertraining of drempelwaarde-herinstelling. Dit dient als een conservatieve controle om te testen of een grotere pool alleen de prestaties verbetert.
2. GPT-5 Adjudicatie: Een beperkte LLM die de metadata van de doelwaardenset en de kandidaat-pool ontvangt. Het is strikt verboden om nieuwe codes te genereren; het moet een JSON-lijst met kandidaat-ID's teruggeven uit de aangeleverde pool.
   • Blinden: De prompt sluit OID's, uitgeversnamen en grondwaarheid-labels uit om memorisatie of lekkage te voorkomen.
   • Chunking: Voor pools die meer dan 1.200 kandidaten bevatten, wordt de pool in deterministische chunks gesplitst. Het model verwerkt elke chunk onafhankelijk, en de uiteindelijke voorspellingen zijn de unie van de geselecteerde ID's.

Belangrijkste Bijdragen

1. Verhoging van het Recall-plafond: De auteurs demonstreren dat het optimaliseren van retrieval en expansie het recall-plafond aanzienlijk verhoogt. Op de volledige testset steeg de kandidaat-pool recall van de oorspronkelijke RASC-baseline van 0,553 naar 0,730. Voor uitstaande uitgevers (OOD) verbeterde de recall van 0,543 naar 0,655.
2. Superioriteit van Adjudicatie: De studie toont aan dat een beperkte LLM (GPT-5) effectief een grotere, luidruchtiger pool kan filteren waar traditionele cross-encoders falen. Het vervangen van SAPBert door GPT-5 op de uitgebreide pool verhoogde de macro F1 van de volledige testset van 0,287 naar 0,549.
3. OOD-Robuustheid: De aanpak verbetert de generalisatie naar onbekende uitgevers aanzienlijk. Op uitstaande uitgevers bereikte GPT-5 een macro F1 van 0,533, vergeleken met 0,233 voor SAPBert op dezelfde pool.

Resultaten

Het paper rapporteert de volgende belangrijke metrieken op de 3.744-waardenset testsplit:

Metriek	Originele RASC (SAPBert)	Uitgebreide Pool + SAPBert	Uitgebreide Pool + GPT-5
Pool Recall (Full Test)	0,553	0,730	0,730
Macro F1 (Full Test)	0,298	0,287	0,549
Macro F1 (OOD)	0,233*	0,233	0,533
Macro Precision (OOD)	-	0,229	0,642
Macro Recall (OOD)	-	0,415	0,564

*Opmerking: De oorspronkelijke RASC OOD F1 wordt uit de tekst afgeleid als baseline voor vergelijking, hoewel de specifieke OOD-split voor de oorspronkelijke SAPBert niet expliciet werd uitgesplitst in het originele manuscript; het paper vergelijkt de nieuwe SAPBert-resultaten op de uitgebreide pool met het oorspronkelijke full-test resultaat.

De resultaten geven aan dat hoewel de uitgebreide pool meer fout-positieven introduceert (wat de retrieval-only precisie verlaagt), de GPT-5 adjudicator erin slaagt deze te filteren terwijl een hoog deel van de ware positieven behouden blijft. De "pool-beperkte recall" (fractie van ware codes in de pool die worden geselecteerd) voor GPT-5 is 0,757, wat aangeeft dat het model sommige herstelbare codes mist, maar aanzienlijk beter presteert dan de cross-encoder.

Betekenis en Claims

Het paper beweert dat retrieval-constrained LLM adjudicatie een superieur paradigma is voor klinische waardenset-auteurschap vergeleken met onbeperkte generatie of statische cross-encoders.

• Veiligheid en Controleerbaarheid: Door de LLM te beperken tot het selecteren van enkel uit een opgehaalde kandidaat-pool, behoudt het systeem de eigenschap van "corpus-gebaseerde veiligheid". Het voorkomt de generatie van ongeldige of gehallucineerde codes, een kritieke vereiste voor klinische toepassingen.
• Decompositie van Taken: Het werk valideert de hypothese dat het scheiden van recall (poolconstructie) en precisie (adjudicatie) gespecialiseerde optimalisatie mogelijk maakt. Een hoog-recall pool biedt het noodzakelijke "plafond" voor prestaties, waar een sterke LLM vervolgens effectiever doorheen kan navigeren dan een traditionele classifier.
• Rol in Besluitvormingsondersteuning: De auteurs positioneren het systeem als een besluitvormingsondersteuningstool in plaats van een autonome uitgever. Het vermindert de menselijke beoordeling door een gerangschikte, provenance-rijke kandidaat-set te presenteren, hoewel het erkent dat menselijke curatoren nog steeds specifieke stewardship-modelleringskeuzes en mog르게 mogelijke weglatingen in de bronterminologie moeten valideren.

Het paper concludeert dat de RASC-benchmark dient als een rigoureuze testomgeving voor deze systemen en dat de combinatie van hoog-recall retrieval-strategieën met beperkte LLM-selectie een veelbelovende weg biedt voor klinisch waardenset-auteurschap.