Evaluating the Large Language Model-Based Quality Assurance Tool for Auto-Contouring

Diese Studie zeigt, dass das auf dem multimodalen LLM Gemini 2.5 Pro basierende LAQUA-System eine vielversprechende, zuverlässige Alternative zur manuellen Qualitätskontrolle von automatisierten Konturen darstellt, da es eine hohe Übereinstimmung mit Expertenbewertungen aufweist und als effizientes primäres Screening-Tool zur Reduzierung des klinischen Arbeitsaufwands geeignet ist.

Das Wesentliche

Das Problem: Der müde Strahlen-Optiker

Stellen Sie sich vor, ein Strahlentherapeut ist wie ein hochpräziser Maler. Bevor er einen Krebspatienten behandeln kann, muss er auf Tausenden von CT-Bildern (das sind wie dicke Schichten eines Brotes) genau nachmalen, wo der Tumor ist und wo die gesunden Organe (wie Blase oder Darm) liegen. Das nennt man „Konturieren".

Früher haben Ärzte das alles von Hand gemacht. Das war extrem langweilig, dauerte ewig und führte zu Fehlern, weil die Augen müde wurden.

Deshalb haben Computerprogramme (Künstliche Intelligenz) übernommen, diese Umrisse automatisch zu zeichnen. Das ist super schnell! Aber hier kommt das Problem: Der Computer ist manchmal faul oder verwirrt. Er zeichnet manchmal den Darm falsch oder verpasst eine wichtige Stelle. Wenn der Arzt das nicht merkt, kann die Strahlentherapie den Patienten verletzen.

Bisher musste also ein menschlicher Experte jede einzelne Zeichnung des Computers nachprüfen. Das ist immer noch sehr zeitaufwendig und ermüdend.

Die Lösung: Der KI-Gutachter (LAQUA)

Die Forscher aus Japan haben sich gedacht: „Warum lassen wir nicht eine noch schlauere KI prüfen, was die erste KI gezeichnet hat?"

Sie haben ein neues System namens LAQUA entwickelt. Stellen Sie sich LAQUA wie einen sehr gut ausgebildeten, unermüdlichen Qualitätskontrolleur vor, der auf einem riesigen Smartphone (einem „Large Language Model", also einem Sprach-KI-Modell wie Gemini) läuft.

Wie funktioniert das?

1. Der erste KI-Computer zeichnet die Organe auf den CT-Bildern ein.
2. Diese Bilder werden in PDFs umgewandelt (wie ein digitales Skizzenbuch).
3. Dieses Skizzenbuch wird dem neuen Qualitäts-Kontrolleur (LAQUA) gezeigt.
4. LAQUA schaut sich die Bilder an und sagt nicht nur: „Gut" oder „Schlecht". Es schreibt einen ganzen Bericht in normaler Sprache, zum Beispiel: „Die Zeichnung des Prostata-Randes oben ist zu weit nach außen gerutscht, das muss korrigiert werden."

Was haben sie herausgefunden?

Die Forscher haben dieses System mit 20 echten Patienten-Fällen getestet und verglichen, wie gut es mit menschlichen Experten übereinstimmt.

• Der Test: Sie gaben dem KI-Kontrolleur und menschlichen Ärzten dieselben Bilder.
• Das Ergebnis: Der KI-Kontrolleur war dem menschlichen Arzt in den meisten Fällen sehr ähnlich! Wenn der Arzt sagte: „Das ist eine schlechte Zeichnung, neu malen!", sagte die KI fast immer dasselbe.
• Die Stärke: Die KI ist besonders gut darin, Fehler zu finden und zu beschreiben. Sie kann erklären, warum etwas falsch ist, nicht nur dass es falsch ist. Das ist wie ein Lehrer, der nicht nur „Falsch" ankreuzt, sondern schreibt: „Du hast hier die Regel für die Kommasetzung vergessen."

Ein kleiner Haken (Die Warnung)

Es gibt eine kleine Schwäche: Der KI-Kontrolleur ist manchmal etwas zu gutgläubig.

• Das Risiko: Er könnte denken, eine Zeichnung sei „okay", obwohl sie eigentlich einen kleinen Fehler hat. Er übersieht vielleicht ein paar Dinge (das nennt man „False Negatives").
• Die Analogie: Stellen Sie sich einen sehr netten Sicherheitsbeamten am Flughafen vor. Er ist so freundlich, dass er manchmal eine kleine Regelverletzung übersieht, nur um den Passagier nicht aufzuhalten. Er ist gut, um die Menge zu sortieren, aber er ersetzt nicht den strengen Hauptinspektor.

Das Fazit: Ein super Assistent, kein Ersatz

Die Studie kommt zu dem Schluss: LAQUA ist kein Ersatz für den Arzt, aber ein fantastischer Assistent.

Stellen Sie sich vor, Sie haben einen Berg von 1000 Zeichnungen zu prüfen.

• Ohne KI: Sie müssen alle 1000 einzeln durchgehen. Sie werden müde und übersehen Fehler.
• Mit LAQUA: Die KI schaut sich die 1000 Zeichnungen an und sagt: „Diese 950 sind perfekt, die können Sie schnell abhaken. Diese 50 hier sehen verdächtig aus, bitte prüfen Sie die genau."

Das spart dem Arzt enorm viel Zeit und Energie. Der Arzt kann sich dann auf die 50 schwierigen Fälle konzentrieren, die wirklich menschliche Aufmerksamkeit brauchen.

Kurz gesagt: Die KI hilft uns, die KI zu kontrollieren. Sie ist wie ein unermüdlicher Praktikant, der die grobe Arbeit macht und dem Chef sagt: „Hier ist etwas schiefgelaufen, Chef, schauen Sie mal hierhin!"

Technische Zusammenfassung

Titel: Evaluation eines auf Large Language Models (LLM) basierenden Qualitätssicherungstools für das automatische Konturieren (Auto-Contouring)

1. Problemstellung

Die Integration von KI-gestützten Systemen für das automatische Konturieren (Auto-Contouring, AC) in der Strahlentherapie hat zwar die manuelle Arbeitszeit erheblich reduziert und die Inter-Operator-Variabilität verringert, garantiert jedoch keine fehlerfreien Ergebnisse.

• Herausforderungen: Ungenauigkeiten entstehen durch Bildartefakte, individuelle anatomische Variationen und Verzerrungen in den Trainingsdaten.
• Risiko: Unentdeckte Fehler können zu einer Über- oder Unterschätzung der Dosis für Zielvolumen und Risikoorgane (OARs) führen, was die Patientensicherheit gefährdet.
• Aktuelle Limitationen: Die derzeitige Qualitätssicherung (QA) erfolgt manuell durch visuelle Inspektion von Experten, was zeitaufwendig ist und aufgrund von „Automation Bias" (Blindes Vertrauen in die KI) zu Übersehen kritischer Fehler führen kann. Bestehende KI-Lösungen zur QA nutzen oft nur geometrische Metriken (z. B. Dice-Koeffizient), die nicht zwingend mit der klinischen Relevanz korrelieren, oder liefern nur starre „Pass/Fail"-Urteile ohne kontextspezifische Erklärungen.

2. Methodik

Die Studie entwickelte und evaluierte das LAQUA-System (Large Language Model-based Automated Quality Assurance for Auto-Contouring).

• Datengrundlage: 20 männliche Becken-CT-Datensätze aus einem öffentlichen, anonymisierten Open-Source-Dataset.
  • Zielstrukturen: Blase, Prostata, Rektum und beide Femurköpfe.
  • Besonderheit: Das Dataset enthält auch anatomische Randfälle (Edge Cases) zur Robustheitsprüfung.
• Generierung der Auto-Konturen: Drei verschiedene kommerzielle Softwarepakete wurden verwendet:
  1. OncoStudio 2.0.4
  2. RatoGuide 1.2.6 (Prototyp)
  3. syngo.via VB60A_HF04
• Systemarchitektur (LAQUA):
  • Eingabe: Die generierten Konturen wurden als rote Linien über die CT-Bilder gelegt und in PDF-Format konvertiert (ein Slice pro Seite). Um den räumlichen Kontext zu erhalten, wurden die Bilder nicht zugeschnitten, und es wurden drei zusätzliche Schnitte kranial und kaudal einbezogen.
  • Modell: Ein multimodales Large Language Model, Gemini 2.5 Pro, wurde über die API eingesetzt.
  • Prompt-Engineering: Das Modell erhielt den Auftrag, als Experte für Strahlentherapie zu agieren. Es sollte jede Struktur auf einer 5-Punkte-Skala bewerten (5: Optimal bis 1: Organ nicht erkannt/falsch) und eine natürlichsprachliche Begründung für die Bewertung liefern.
  • Ausgabe: Strukturierte JSON-Antworten mit Score und Begründung.
• Evaluationsdesign:
  • Geometrische Metriken: Berechnung von vDSC, HD95 und sDSC im Vergleich zum Ground Truth.
  • Expertenevaluation: Zwei zertifizierte Strahlentherapeuten bewerteten die Konturen als Ground Truth (Konsens).
  • Statistische Analyse: Berechnung von Spearman-Rangkorrelationen ($\rho$) und gewichteten Kappa-Koeffizienten ($\kappa$) zwischen LLM und Experten.
  • Screening-Performance: Sensitivität und Spezifität wurden berechnet, indem die Scores in „ausreichend" (≥3 oder ≥4) und „unzureichend" (<3 oder <4) dichotomisiert wurden.
  • Qualitative Analyse: Die Richtigkeit der vom LLM gelieferten Begründungen wurde von den Experten auf einer Likert-Skala (0–2 Punkte) in vier Domänen bewertet (Fehlererkennung, Halluzinationen, klinische Relevanz, anatomisches Verständnis).

3. Wichtige Beiträge

• Neuer Ansatz: Erstmals wird ein multimodales LLM nicht nur zur Bewertung, sondern zur vollautomatischen, kontextuellen QA von klinisch verfügbaren Auto-Contouring-Systemen eingesetzt.
• Natürlichsprachliche Erklärungen: Im Gegensatz zu rein geometrischen Metriken liefert das System spezifische, für Menschen verständliche Beschreibungen von Fehlern (z. B. „die kraniale Grenze der Prostata ist überschätzt"), was die Nachvollziehbarkeit erhöht.
• Workflow-Optimierung: Das System dient als primäres Screening-Tool, um akzeptable Konturen schnell zu filtern und Experten auf problematische Fälle zu lenken, wodurch der Arbeitsaufwand reduziert und Automation Bias verringert wird.

4. Ergebnisse

• Korrelation mit Experten: Das LAQUA-System zeigte eine moderate bis starke Übereinstimmung mit den Expertenurteilen.
  • Spearman-Korrelation ($\rho$): 0,733 – 0,794 (abhängig von der Software).
  • Quadratisch gewichteter Kappa ($\kappa$): 0,730 – 0,798.
  • Die höchste Übereinstimmung wurde beim Rektum ($\rho=0,835$), die niedrigste beim linken Femurkopf ($\rho=0,567$) beobachtet.
• Screening-Performance:
  • Bei der Definition von „ausreichend" als Score ≥ 4 (d.h. nur kleine Korrekturen nötig) erreichte das System beim Rektum eine Sensitivität von 0,976 und beim linken Femurkopf eine Spezifität von 0,933.
  • Die Konfidenzintervalle waren jedoch in einigen Subgruppen noch breit.
• Qualität der Begründungen:
  • Der mittlere Score für die Qualität der LLM-Begründungen betrug 1,70 ± 0,48 (maximal 2 Punkte).
  • 155 von 291 Ausgaben erhielten in allen Kriterien die volle Punktzahl.
  • Schwächen: In einigen Fällen (ca. 10-15 %) neigte das Modell zu Halluzinationen oder falschen Schlussfolgerungen, z. B. wenn Gas im Rektum fälschlicherweise als schwerwiegender Fehler interpretiert wurde, der die Dosisberechnung beeinflussen würde.

5. Bedeutung und Fazit

• Potenzial: Das LAQUA-System hat sich als effektives primäres Screening-Tool erwiesen, das den klinischen QA-Workflow signifikant entlasten kann, indem es akzeptable Konturen filtert und Experten gezielt auf Fehler hinweist.
• Human-in-the-Loop: Das System ist nicht als vollständiger Ersatz für menschliche Experten gedacht, sondern als Unterstützung im Rahmen eines „Human-in-the-Loop"-Ansatzes. Es hilft, kritische Fehler zu vermeiden, die durch Automation Bias übersehen werden könnten.
• Limitationen & Zukunft:
  • Die Studie basierte auf einem begrenzten, öffentlichen Datensatz (männliches Becken).
  • Die Umwandlung von 3D-DICOM-Daten in 2D-PDFs könnte Details (Kontrast, Schichtkontinuität) verloren haben.
  • Verbesserungsvorschlag: Die Integration eines Retrieval-Augmented Generation (RAG)-Systems, das dem LLM spezifische Leitlinien für das Konturieren und anatomisches Fachwissen als externe Wissensbasis zur Verfügung stellt, könnte Halluzinationen reduzieren und die Genauigkeit weiter steigern.

Zusammenfassend demonstriert die Studie, dass multimodale LLMs wie Gemini 2.5 Pro das Potenzial haben, die Qualitätssicherung in der Strahlentherapie durch automatisierte, erklärbare Bewertungen zu revolutionieren, wobei weitere Forschung zur Spezialisierung der Modelle notwendig ist.