Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Technisches Resümee: LLM-gestützte Bereinigung von berichtsbasierten Labels in einem groß angelegten Thorax-CT-Datensatz

Problemstellung
Öffentliche medizinische Bildgebungsdatensätze sind entscheidend für das Benchmarking von Modellen der künstlichen Intelligenz und das Training neuer Algorithmen. Die Qualität der strukturierten Labels innerhalb dieser Datensätze ist jedoch häufig durch Berichtsstile, Negation, Unsicherheit, zweideutige Definitionen und Fehler bei der automatisierten Extraktion beeinträchtigt. Selbst in sorgfältig konstruierten Datensätzen wie CT-RATE (einem groß angelegten öffentlichen Thorax-CT-Datensatz mit volumetrischen Bildern, Berichten und Multi-Abnormalitäts-Labels) kann eine Diskrepanz zwischen Label und Bericht auftreten. Da diese Datensätze wiederholt für Benchmarking-Zwecke verwendet werden, können solche Fehler in die Modellbewertung und den Vergleich einfließen und potenziell Leistungsschätzungen verzerren. Es besteht ein Bedarf an skalierbaren Methoden, um solche Inkonsistenzen zu identifizieren und zu korrigieren, ohne sich ausschließlich auf eine arbeitsintensive manuelle Überprüfung verlassen zu müssen.

Methodik
Die Autoren entwickelten ein LLM-gestütztes Framework, um die berichtsbasierten Labels im CT-RATE-Datensatz zu evaluieren und zu bereinigen. Die Studie nutzte einen retrospektiven Datensatz von 24.446 eindeutigen Radiologieberichten (nach Deduplizierung), die mit 18 vordefinierten Abnormalitätskategorien gepaart waren.

1. LLM-Extraktion: Die Radiologieberichte (speziell die Abschnitte „Findings“ und „Impression“) wurden mittels GPT-5.4 über Microsoft Azure AI Foundry verarbeitet. Das Modell wurde angewiesen, binäre Labels (vorhanden/nicht vorhanden) für die 18 Kategorien basierend strikt auf dem Text zu generen, wobei unsichere Befunde (z. B. „möglich“) als vorhanden behandelt wurden. Die Ausgaben wurden in ein strukturiertes JSON-Format gezwungen.
2. Vergleich und Identifikation von Diskrepanzen: Die GPT-5.4-basierten Labels wurden mit den ursprünglichen CT-RATE-Labels auf Instanzebene verglichen. Diskreante Fälle wurden entweder als „bestehendes Label positiv / GPT-negativ“ oder „bestehendes Label negativ / GPT-positiv“ kategorisiert.
3. Multi-Modell-Validierung: Um die Zuverlässigkeit zu bewerten, wurden dieselben Berichte auch mittels GPT-5.4 mini und DeepSeek V3.2 verarbeitet. Es wurde eine Multi-LLM-Mehrheitsentscheidungsstrategie (Majority-Vote) angewandt, bei der ein Label zugewiesen wurde, wenn mindestens zwei der drei Modelle übereinstimmten.
4. Radiologische Adjudikation: Drei Review-Sets wurden für die manuelle Validierung erstellt:
   • Eine Zufallsstichprobe von 100 Berichten (1.800 Label-Instanzen), die von einem Radiologie-Fellow annotiert und von einem Facharzt für Radiologie finalisiert wurden, um als Referenzstandard zu dienen.
   • Ein allgemeines Diskrepanz-Set von 100 Instanzen (50 positiv/negativ und 50 negativ/positiv), unter Ausschluss von Lymphadenopathie.
   • Ein gezieltes Diskrepanz-Set mit Fokus auf „Lymphadenopathie“ – der einzigen Kategorie mit einem Cohen's $\kappa \le 0,80$ – unter Stichproben von bis zu 50 diskrepanten Instanzen in jede Richtung.
5. Statistische Analyse: Die Übereinstimmung wurde mittels Cohen's $\kappa$ und Genauigkeitsmetriken gemessen. Die Performance gegenüber den radiologisch annotierten Referenz-Labels wurde mittels Sensitivität, Spezifität, PPV, NPV und F1-Score sowie Cohen's $\kappa$ evaluiert, berechnet über Label-Macro-Averaging und Micro-Averaging.

Wichtigste Ergebnisse

• Gesamtübereinstimmung: Die GPT-5.4-basierten Labels zeigten eine Gesamtübereinstimmung von 96,4 % mit den ursprünglichen CT-RATE-Labels, mit einem Cohen's $\kappa$ von 0,884. Die Übereinstimmung variierte signifikant je nach Kategorie, von 99,6 % für Hiatushernie bis hin zu 7-9,4 % für Lymphadenopathie.
• Lymphadenopathie-Diskrepanz: Die Lymphadenopathie wies die geringste Übereinstimmung auf ($\kappa = 0,309$). In der gezielten Überprüfung von 99 diskrepanten Lymphadenopathie-Instanzen unterstützte die radiologische Adjudikation das GPT-5.4-basierte Label in 91,9 % der Fälle, was darauf hindeutet, dass die ursprünglichen CT-RATE-Labels für diese Kategorie häufiger fehlerhaft waren.
• Allgemeine Diskrepanz: In der allgemeinen Diskrepanz-Überprüfung (unter Ausschluss von Lymphadenopathie) unterstützten Radiologen das GPT-5.4-basierte Label in 74,2 % der adjudizierbaren Instanzen, im Vergleich zu 25,8 %, die das ursprüngliche CT-RATE-Label unterstützten.
• Performance gegenüber dem Referenzstandard: Gegenüber den radiologisch annotierten Referenz-Labels erreichte der Multi-LLM-Mehrheitsentscheidungsansatz die höchste Performance mit einem Label-Macro-Averaged F1-Score von 96,0 % und einem Cohen's $\kappa$ von 0,951. Dies übertraf sowohl die ursprünglichen CT-RATE-Labels (F1: 93,8 %, $\kappa$: 0,923) als auch das einzelne GPT-5.4-Modell (F1: 95,1 %, $\kappa$: 0,940). Bemerkenswerterweise erreichte die Mehrheitsentscheidung eine „fast perfekte“ Übereinstimmung ($\kappa > 0,80$) über alle 18 Kategorien hinweg.

Bedeutung und Behauptungen
Das Paper behauptet, dass die LLM-gestützte Label-Bereinigung eine skalierbare und effektive Methode zur Identifikation klinisch bedeutsamer Diskrepanzen zwischen Berichten und Labels in groß angelegten öffentlichen Bildgebungsdatensätzen ist. Die Studie zeigt auf:

1. Diskrepanzerkennung: LLMs können Fehler in bestehenden Datensatz-Labels identifizieren, die allein durch aggregierte Übereinstimmungsmetriken möglicherweise nicht ersichtlich wären.
2. Qualitätsverbesserung: Die Multi-Modell-Mehrheitsentscheidung kann berichtsbasierte Labels verfeinern, um eine höhere Zuverlässigkeit als die Extraktion durch ein Einzelmodell oder die ursprünglichen Datensatz-Labels zu erreichen.
3. Datensatz-Wartung: Dieser Ansatz dient als praktisches Werkzeug für die Wartung von Datensätzen und hilft dabei, Kategorien mit zweideutigen Definitionen (wie Lymphadenopathie) für die Expertenprüfung und Definitionsschärfung zu priorisieren.
4. Zukünftiger Nutzen: Die Autoren beabsichtigen, den bereinigten Datensatz und den zugehörigen Code zu veröffentlichen, um die Zuverlässigkeit der Benchmarks, die für die Entwicklung und Evaluierung von KI-Modellen genutzt werden, zu unterstützen.

Die Autoren vertreten eine bescheidene Position und räumen ein, dass ihre LLM-basierten Labels und Adjudikationen auf Berichtstexten und nicht auf bildbasierten Ground-Truth-Daten basieren und dass die Diskrepanz-Review-Sets auf Unstimmigkeiten angereichert wurden, was bedeutet, dass sie keine direkten Schätzungen der Gesamtgenauigkeit des Datensatzes darstellen. Sie betonen die Notwendigkeit der menschlichen Verifizierung in Validierungs-Teilmengen, um potenzielle Biases zu minimieren, die durch LLM-generierte Labels eingeführt werden könnten.