Retrieve, Then Classify: Corpus-Grounded Automation of Clinical Value Set Authoring

1. Problemstellung

Das Authoring klinischer Wertesets (Clinical Value Set Authoring) ist eine kritische, aber manuelle Aufgabe im Gesundheitswesen. Dabei müssen aus einer großen, strukturierten und versionierten medizinischen Vokabular-Umgebung (z. B. SNOMED-CT, ICD-10-CM mit $10^5$ bis $10^6$ Codes) alle Codes identifiziert werden, die ein bestimmtes klinisches Konzept definieren (z. B. „Typ-2-Diabetes ohne Komplikationen").

• Herausforderungen:
  • Die manuelle Erstellung durch klinische Informatiker ist skalierbar schwierig, da die Wertesets (aktuell >10.000 im VSAC) stetig wachsen.
  • Der direkte Ansatz, Large Language Models (LLMs) wie GPT-4o zu nutzen, um Codes direkt zu generieren, scheitert an der Natur medizinischer Codes: Sie sind strukturierte, versionierte Strings, die nicht zuverlässig aus dem Pre-Training memorisiert werden.
  • Ergebnis: Zero-Shot-LLMs generieren oft Codes, die im offiziellen Vokabular (VSAC) gar nicht existieren (Halluzinationen), was zu einer hohen Fehlerrate führt.

2. Methodik: RASC (Retrieval-Augmented Set Completion)

Die Autoren schlagen RASC vor, ein zweistufiges Framework, das die Existenz eines Korpus bereits kuratierter Wertesets nutzt, um das Problem von einer untragbaren Generierungsaufgabe auf eine handhabbare Klassifizierungsaufgabe zu reduzieren.

Stufe 1: Semantische Suche (Retrieval)

• Für eine neue Anfrage (Titel des Wertesets) werden die $K$ ähnlichsten existierenden Wertesets aus dem Korpus (VSAC) mittels semantischer Ähnlichkeitssuche (Cosine Similarity) retrieved.
• Embedding: Es wird SAPBert (ein BERT-Modell, auf UMLS-Synonym-Paaren vortrainiert) verwendet, um Titel in einen Vektorraum zu projizieren.
• Candidate Pool: Die Vereinigung aller Codes der $K$ gefundenen Sets bildet den Kandidatenpool $C$. Dieser Pool ist klein im Vergleich zum gesamten Vokabular $U$, aber stark angereichert mit den tatsächlich relevanten Codes ($S^*$).

Stufe 2: Binäre Klassifizierung

• Ein leichter Klassifikator entscheidet für jeden Code im Kandidatenpool $C$, ob er zum Zielwerteset gehört oder nicht.
• Merkmale (Features):
  1. SAPBert-Embedding des Werteset-Titels.
  2. SAPBert-Embedding des Kandidaten-Code-Anzeigenamens.
  3. One-Hot-Enkodierung des Codesystems (z. B. SNOMED, ICD-10).
  4. Der Ähnlichkeits-Score des Kandidaten aus der Retrieval-Stufe.
• Modelle: Es wurden drei Modelle verglichen:
  1. LightGBM: Gradient-Boosted Trees (effiziente Referenz).
  2. MLP: Ein dreischichtiges neuronales Netz (Bi-Encoder-Ansatz).
  3. Cross-Encoder: Ein feinabgestimmtes SAPBert-Modell, das Titel und Code-Name als Satzpaar gemeinsam verarbeitet (bessere Token-Interaktion).

Theoretische Grundlage:
Das Paper leitet her, dass die Stichprobenkomplexität (Sample Complexity) von $O(\log N)$ (für direkte Generierung über das gesamte Vokabular $N$) auf $O(\log K)$ (für Klassifizierung im kleinen Pool $K$) reduziert wird. Dies bietet einen theoretischen Vorteil, der mit der Größe des Zielsets wächst.

3. Wichtige Beiträge

1. Formalisierung und Theorie: Einführung des RASC-Frameworks und theoretischer Nachweis der Reduktion der statistischen Komplexität.
2. Benchmark-Datensatz: Erstellung des ersten groß angelegten Benchmarks für diese Aufgabe mit 11.803 öffentlichen VSAC-Wertesets. Der Datensatz ist öffentlich verfügbar (mit Skripten zur Reproduktion).
3. Umfassende Evaluation: Vergleich von RASC mit Retrieval-only-Baselines, Zero-Shot-LLMs (GPT-4o) und verschiedenen Klassifikator-Architekturen.
4. Isolierung der Retrieval-Wirkung: Demonstration, dass Retrieval-Grounding der entscheidende Faktor ist, indem GPT-4o mit dem Kandidatenpool als Kontext getestet wurde.

4. Ergebnisse

Die Evaluation erfolgte auf einem Testset, das auch Daten von zwei im Training nicht gesehenen Publishern enthielt (Generalisierungstest).

• Performance der Klassifikatoren:

  • Der Cross-Encoder erzielte die besten Ergebnisse mit einem AUROC von 0,852 und einem F1-Score auf Set-Ebene von 0,298.
  • Dies übertrifft den MLP (F1 0,250) und LightGBM (F1 0,190) deutlich.
  • Im Vergleich zum „Retrieval-only"-Ansatz (nur Suche, keine Filterung) reduziert RASC die Anzahl irrelevanter Kandidaten pro wahrem Treffer drastisch (von 12,3 auf ca. 3,2–4,4).

• Vergleich mit LLMs (GPT-4o):

  • Zero-Shot GPT-4o: Erreichte nur einen F1-Score von 0,105.
  • Halluzinationen: 48,6 % der von GPT-4o zurückgegebenen Codes existierten gar nicht im VSAC.
  • Skalierungseffekt: Bei kleinen Wertesets (1–5 Codes) war GPT-4o noch konkurrenzfähig, aber bei großen Sets (>150 Codes) brach die Performance ein (F1 < 0,02), während RASC mit der Set-Größe besser wurde.

• LLM als Klassifikator:

  • Wenn GPT-4o den Kandidatenpool direkt im Kontext erhält (als Klassifikator), steigt der F1-Score auf 0,294 (nahe am Cross-Encoder).
  • Dies beweist, dass das Problem der Generierung nicht im LLM selbst liegt, sondern im Fehlen des Retrieval-Kontexts. Allerdings ist dieser Ansatz aufgrund des hohen Token-Verbrauchs nicht skalierbar.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Automatisierung klinischer Wertesets durch eine Kombination aus Retrieval und Klassifizierung (RASC) deutlich effektiver ist als direkte Generierung durch LLMs.

• Praktische Relevanz: RASC reduziert den manuellen Aufwand für klinische Informatiker erheblich, indem es den zu prüfenden Code-Pool von Millionen auf wenige hundert Kandidaten verkleinert.
• Theoretische Einsicht: Der Ansatz nutzt die Struktur von Experten-Korpus-Daten, um das Suchproblem zu vereinfachen. Die Leistungsgewinne wachsen mit der Komplexität der Aufgabe (Größe des Wertesets).
• Zukunftsausblick: Die größte Einschränkung bleibt die Qualität der Retrieval-Stufe (Recall). Wenn der Pool die richtigen Codes nicht enthält, kann kein Klassifikator sie finden. Zukünftige Arbeiten könnten RASC auf andere Domänen wie Gen-Panels oder systematische Reviews übertragen.

Der Code und die Daten zur Reproduktion sind unter https://github.com/mukhes3/RASC verfügbar.