Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Technische Zusammenfassung: Large Language Models zur Kennzeichnung von CT-Radiologieberichten auf Zufallsbefunde im Rahmen des Lungenkrebs-Screenings

Problemstellung
Die Implementierung von Programmen zum Lungenkrebs-Screening (LCS) in der Europäischen Union steht vor erheblichen Herausforderungen hinsichtlich des Arbeitsaufwandes für Radiologen bei der Interpretation großer Mengen an Niedrigdosis-Computertomographien (LDCT). Über die Detektion von Lungenkrebs hinaus zeigen diese Scans häufig spezifische Zufallsbefunde (Specific Incidental Findings, SIFs), darunter Aortenklappenerkrankungen, Bronchiektasen, Konsolidierungen, Koronararterienverkalkungen, Emphyseme, interstitielle Lungenanomalien (ILA), mediastinale Lymphknotenveränderungen, mediastinale Massen und Schilddrüsenanomalien. Während die Künstliche Intelligenz (KI) bei der Detektion von Lungenknoten bereits Fortschritte gemacht hat, befinden sich Algorithmen für SIFs noch in der frühen Entwicklung. Ein primärer Engpass ist der Mangel an großen, annotierten Datensätzen, die für das Training solcher Modelle erforderlich sind. Bestehende Datensätze, wie der National Lung Screening Trial (NLST), verfügen nicht über umfassende SIF-Annotationen. Klinische Radiologieberichte bieten zwar eine reiche Informationsquelle für „schwache Überwachung“ (weak supervision), jedoch scheitern traditionelle schlüsselwortbasierte Suchmethoden daran, medizinische Nuancen, Negationen und terminologische Variationen zu erfassen. Obwohl Large Language Models (LLMs) vielversprechend sind, mangelt es an validierten Strategien für den Einsatz von LLMs zur Kennzeichnung von SIFs in LCS-Berichten, insbesondere im Hinblick auf die Wirksamkeit verschiedener Prompting-Techniken (z. B. Chain-of-Thought) und die Leistungsfähigkeit von leichtgewichtigen, datenschutzfreundlichen Open-Source-Modellen im Vergleich zu proprietären Modellen.

Methodik
Diese retrospektive Studie untersuchte die Machbarkeit und die optimalen Strategien für den Einsatz von LLMs zur automatischen Kennzeichnung des Vorhandenseins oder Fehlens von neun SIFs in niederländischen Radiologieberichten.

• Datensatz: Die Studie nutzte 300 Thorax/Abdomen-CT-Berichte eines niederländischen akademischen Krankenhauses (erhoben zwischen 2003 und 2020). Der Datensatz wurde erstellt, indem 200 Berichte aus den Jahren 2016–2017 und 100 Berichte aus dem gesamten Zeitraum (1997–2021) ausgewählt wurden, um Diversität zu gewährleisten. Alle Berichte wurden anonymisiert.
• Referenzstandard: Ein einzelner Allgemeinradiologe mit 32 Jahren Erfahrung kennzeichnete die Berichte manuell für die neun SIFs und diente somit als Ground Truth.
• Evaluierte Modelle:
  • Proprietär: GPT-5 und GPT-4-Turbo (via OpenAI API).
  • Open-Source: Llama-3.1-8B-INST und MedGemma-4B-IT (lokal bereitgestellt).
  • Baseline: Eine schlüsselwortbasierte Suchmethode (Regex).
• Prompting-Strategien: Vier verschiedene Strategien wurden für jedes Modell getestet:
  1. V1: Allgemeiner Prompt zur Kennzeichnung aller neun SIFs ohne spezifische Anweisungen zu den Bestimmungskriterien.
  2. V2: Spezifische Prompts pro SIF, einschließlich der Kriterien aus der Erklärung der Europäischen Radiologischen Gesellschaft.
  3. V3: Identisch mit V2, jedoch mit Chain-of-Thought (CoT) Reasoning.
  4. V4: Identisch mit V3, jedoch mit Few-Shot-Beispielen (drei Beispiele von Bericht, Reasoning und Output).
• Evaluationsmetriken: Die Übereinstimmung wurde primär mittels Cohens Kappa ($\kappa$) gemessen, interpretiert nach den Kategorien von Landis und Koch (1977) (von gering bis fast perfekt). Sekundäre Metriken umfassten Sensitivität, Spezifität und F1-Scores. Alle Metriken enthielten 95 % Konfidenzintervalle, die mittels Bootstrapping berechnet wurden.

Wesentliche Ergebnisse

• Gesamtleistung: LLMs erreichten eine moderate bis fast perfekte Übereinstimmung mit dem Radiologen bei den meisten SIFs, was ihren Nutzen für die automatisierte Kennzeichnung validiert. Es gab jedoch keine einzelne Modell-Prompt-Kombination, die für alle neun Befunde optimal war.
• Modellleistung:
  • GPT-5 erreichte eine substanzielle oder fast perfekte Übereinstimmung für sieben der neun SIFs (einschließlich AVD, Bronchiektasen, Konsolidierung, CAC, Emphysem, MLN und TA).
  • MedGemma-4B-IT (Open-Source) zeigte eine substanzielle oder höhere Übereinstimmung für die meisten SIFs und übertraf das beste proprietäre Modell insbesondere bei interstitiellen Lungenanomalien (ILA) ($\kappa = 0,48$ gegenüber $0,46$).
  • Llama-3.1-8B-INST zeigte generell eine geringere Übereinstimmung als die proprietären Modelle und MedGemma.
  • Schlüsselwortsuche performte am besten nur für mediastinale Massen (MM), wahrscheinlich aufgrund der geringen linguistischen Variabilität für diesen spezifischen Befund, unterperformte jedoch generell im Vergleich zu LLMs, da sie Negationen und den Kontext schlechter handhaben konnte.
• Prompting-Strategie: Entgegen der Erwartungen reduzierte Chain-of-Thought (CoT) Prompting (V3 und V4) die Leistung im Vergleich zu Nicht-CoT-Strategien (V1 und V2) generell. Die höchsten Übereinstimmungswerte wurden vorwiegend mit V1 oder V2 erzielt. Die Einbeziehung von Few-Shot-Beispielen (V4) verbesserte die Übereinstimmung nicht und verschlechterte sie in einigen Fällen sogar, was potenziell darauf zurückzuführen ist, dass die Modelle weniger Aufmerksamkeit auf Instruktionen lenkten oder sich auf irrelevante Teile längerer Prompts konzentrierten.
• Fehleranalyse: Diskrepanzen entstanden oft dadurch, dass Modelle den Kontext missinterpretierten (z. B. Kennzeichnung von AVD basierend auf Referenzen zum Aortenbogen) oder durch CoT „überdenkten“, was zu unsinnigen Begründungen führte.

Bedeutung und Ansprüche
Die Autoren kommen zu dem Schluss, dass LLMs ein praktikables Werkzeug für die „schwache Annotation“ von Radiologieberichten sind, um Trainingsdaten für zukünftige SIF-Detektionsalgorithmen zu skalieren. Die Studie hebt hervor, dass:

1. Keine universale Strategie: Es gibt keine einzelne optimale Strategie oder Modell für alle SIFs; die Auswahl muss auf den spezifischen Befund zugeschnitten sein.
2. Prompt Engineering: Für diese spezifische Aufgabe sind prägnante Nicht-CoT-Prompts überlegen gegenüber CoT- oder Few-Shot-Ansätzen.
3. Viabilität von Open-Source: Leichtgewichtige Open-Source-Modelle (speziell MedGemma-4B-IT) können eine mit schwereren proprietären Modellen vergleichbare oder gar überlegene Leistung für bestimmte Befunde erzielen, was eine datenschutzfreundliche und kostengünstige Alternative für den lokalen Einsatz bietet.
4. Empfehlung: Die Autoren schlagen eine Pipeline für die zukünftige schwach überwachte Kennzeichnung vor, die mit prägnanten Nicht-CoT-Prompts beginnt und, wenn der Datenschutz kritisch ist, leichtgewichtige Open-Source-Modelle nutzt. Sie betonen, dass die Auswahl von Modell und Prompt gegen einen Experten-gelabelten Datensatz für jeden spezifischen Befund validiert werden sollte, bevor eine groß angelegte Anwendung erfolgt.

Limitierungen
Die Studie räumt gewisse Einschränkungen ein: Die geringe Größe des Datensatzes (300 Berichte) führte zu sehr wenigen Fällen für seltene Befunde wie mediastinale Massen, was die statistische Sicherheit einschränkt; die Verwendung eines einzelnen Radiologen als Referenzstandard verhindert die Bewertung der Inter-Rater-Variabilität; die Studie ist auf niederländische Berichte aus einem einzelnen Zentrum beschränkt; und die schnelle Evolution von LLMs bedeutet, dass diese Ergebnisse die zukünftigen Fähigkeiten der Modelle möglicherweise nicht widerspiegeln. Statistische Signifikanztests zwischen den Modellen wurden aufgrund des explorativen Charakters der Studie nicht durchgeführt.