Evaluating the Large Language Model-Based Quality Assurance Tool for Auto-Contouring

Deze studie toont aan dat het LAQUA-systeem, gebaseerd op de multimodale LLM Gemini 2.5 Pro, een substantiële overeenkomst vertoont met expertbeoordelingen bij het automatisch controleren van AI-generatie contouren, waardoor het als efficiënt screeningsinstrument kan dienen om de klinische werkdruk te verlagen.

De kern

De AI-Controleur: Een Nieuwe "Tweede Oog" voor Stralingstherapie

Stel je voor dat je een zeer belangrijke taak moet uitvoeren: het tekenen van de randen van organen op medische scans (CT-schermen) voor patiënten die stralingstherapie krijgen. Dit is als het schilderen van een heel precieze contour op een foto. Als je hier een foutje maakt, kan de straling de verkeerde plek raken of een gezond orgaan beschadigen.

Vroeger deden artsen dit met de hand. Tegenwoordig doen computers (AI) het voor hen. Maar computers maken soms fouten, en artsen moeten die fouten nog steeds één voor één controleren. Dat is als het controleren van duizenden pagina's tekst met een vergrootglas: het is saai, vermoeiend en je kunt door moeheid iets over het hoofd zien.

Het Probleem: De Vermoeide Controleur
De auteurs van dit onderzoek wilden weten of ze een slimme computer (een "Large Language Model" of LLM, vergelijkbaar met de slimme chatbots die we kennen) konden gebruiken om deze controle te automatiseren. Ze noemen hun systeem LAQUA.

Hoe werkt LAQUA?
Stel je voor dat LAQUA een zeer oplettende, maar nog niet volledig ervaren stagiair is die een boek leest.

1. De Input: De computer neemt de medische scans en de door de AI getekende lijnen (de contouren) en maakt er een PDF-bestand van, alsof het een fotoalbum is.
2. De Taak: Dit "fotoalbum" wordt naar de slimme AI (in dit geval Gemini 2.5 Pro) gestuurd. De AI krijgt de opdracht: "Kijk naar deze tekeningen. Is de lijn goed? Geef een cijfer van 1 tot 5 en leg uit waarom."
   • 5: Perfect, niets aan te merken.
   • 1: Volledige rommel, begin maar weer opnieuw.
3. De Output: De AI geeft niet alleen een cijfer, maar schrijft ook een korte tekst: "De lijn om de blaas is te hoog getrokken, hier zit een fout."

Wat hebben ze ontdekt?
De onderzoekers testten dit systeem op 20 patiënten met prostaatkanker. Ze vergeleken de oordelen van de AI met die van twee ervaren stralingsartsen (de "gouden standaard").

• De Score: De AI en de artsen waren het grotendeels eens. De AI gaf bijna dezelfde cijfers als de mensen. Het was alsof de stagiair de regels van de meester al snel had begrepen.
• De Uitleg: Het mooiste was dat de AI kon uitleggen wat er mis was. In plaats van alleen te zeggen "fout", zei de AI: "Kijk hier, de lijn loopt door de darmwand heen." Dit helpt de arts om sneller te zien waar ze moeten kijken.
• Niet perfect: De AI was soms een beetje te streng of droomde dingen in (zoals "hallucinaties"). Soms dacht de AI dat er een fout was waar er geen was, of miste hij een klein foutje. Het is dus nog niet slim genoeg om de arts volledig te vervangen.

De Grootte van de Vrijheid: Waarom is dit belangrijk?
Het belangrijkste is dat LAQUA werkt als een veiligheidsnet.
Stel je voor dat je een berg brieven moet sorteren. De AI kijkt eerst naar elke brief en zegt: "Deze 90% is goed, deze 10% heeft een fout."
De menselijke arts hoeft dan niet meer elke goede brief te lezen. Hij kan zich concentreren op die 10% waar de AI zegt: "Hier moet je even naar kijken."

Dit bespaart enorm veel tijd en verminderd de kans dat een menselijke arts, door vermoeidheid, een gevaarlijke fout over het hoofd ziet.

Conclusie
Deze studie laat zien dat slimme AI-systemen (zoals LAQUA) uitstekend kunnen fungeren als een eerste filter in de ziekenhuizen. Ze zijn niet perfect genoeg om de arts te vervangen, maar ze zijn wel slim genoeg om het werk van de arts lichter te maken en de patiënt veiliger te stellen door fouten sneller op te sporen. Het is als het hebben van een super-slimme assistent die je helpt om de fouten te vinden voordat jij ze ziet.

Technische samenvatting

Probleemstelling

In de klinische radiotherapie wordt het gebruik van AI-gestuurde automatische contouring (AC) voor het plannen van behandelingen steeds vaker toegepast. Hoewel dit de tijdsinvestering voor handmatig contouren aanzienlijk vermindert en de variabiliteit tussen gebruikers verlaagt, garandeert het niet altijd nauwkeurige resultaten. Fouten kunnen ontstaan door beeldartefacten, individuele anatomische variaties of bias in de trainingsdata. Als deze fouten onopgemerkt blijven, kunnen ze leiden tot onjuiste dosisevaluaties voor doelvolumes en organen in gevaar (OAR's), wat een ernstig risico vormt voor de patiëntveiligheid.

De huidige kwaliteitsborging (QA) bestaat voornamelijk uit visuele inspectie door experts (stralenoncologen en medisch fysici). Dit proces is echter:

• Tijdrovend: Het controleren van honderden slices per patiënt is arbeidsintensief.
• Kwetsbaar voor fouten: Het risico op overzien van fouten is groot, vooral door "automatiseringsbias" (het onbewust vertrouwen op de AI-uitvoer).
• Beperkt in bestaande AI-oplossingen: Eerdere pogingen om QA te automatiseren meten vaak alleen geometrische metrics (zoals Dice-coëfficiënten) of geven slechts een "pass/fail"-oordeel zonder contextuele uitleg. Ze missen het vermogen om complexe fouten in natuurlijke taal te beschrijven.

Methodologie

De auteurs ontwikkelden en evalueerden een systeem genaamd LAQUA (Large Language Model-based Automated Quality Assurance for Auto-Contouring).

• Data: Het onderzoek gebruikte 20 mannelijke bekken-CT-scans uit een openbare, gede-ïdentificeerde dataset. De doelstructuren waren de blaas, prostaat, rectum en beide dijbeenkoppen.
• Auto-contouring Generatie: Drie verschillende commerciële softwarepakketten werden gebruikt om de contouren te genereren: OncoStudio, RatoGuide (prototype) en syngo.via.
• Systeemarchitectuur (LAQUA):
  • De gegenereerde contouren werden overgelegd op de CT-beelden en geconverteerd naar PDF-bestanden (één slice per pagina), inclusief drie extra slices boven en onder het contourgebied om de craniale-caudale grenzen te evalueren.
  • LLM: Het multimodale model Gemini 2.5 Pro werd ingezet via de API.
  • Prompt: Het model kreeg de instructie om als expert in stralentherapie te fungeren en elke structuur te beoordelen op een 5-punts schaal (5: Optimaal tot 1: Onaanvaardbaar/organ niet gedetecteerd).
  • Output: Het model moest een gestructureerde JSON-uitvoer genereren met een score en een natuurlijke taal-justificatie (rationale) die de specifieke fouten en redenen voor de beoordeling beschreef.
• Validatie:
  • Twee erkende stralenoncologen (met >10 jaar ervaring) dienden als "ground truth".
  • Kwantitatieve analyse: Berekening van Spearman's rangcorrelatie en kwadratisch gewogen kappa-coëfficiënten tussen de LLM-scores en de expert-scores.
  • Screeningsevaluatie: Berekening van sensitiviteit en specificiteit door scores te dichotomiseren (bijv. score ≥ 3 of ≥ 4 als "adequaat").
  • Kwalitatieve analyse: De rationales van de LLM werden beoordeeld op vier domeinen (foutdetectie, hallucinatie, klinische relevantie, anatomisch begrip) met een Likert-schaal.

Belangrijkste Bijdragen

1. Nieuwe QA-Paradigma: Het introduceren van een LLM als "rechter" (LLM-as-a-Judge) voor medische beeldcontouring, waarbij niet alleen een score wordt gegeven, maar ook een menselijk interpreteerbare uitleg.
2. Contextuele Feedback: In tegenstelling tot eerdere methoden die alleen geometrische metrics of binaire beslissingen leverden, kan LAQUA specifieke anatomische afwijkingen beschrijven (bijv. "de craniale grens van de prostaat is overschat").
3. Workflow-optimalisatie: Het systeem is ontworpen als een primaire screeningsmodule binnen een "human-in-the-loop" framework om de werkdruk op experts te verlagen en het risico op overzien van kritieke fouten te verminderen.

Resultaten

• Overeenkomst met Experts: De LAQUA-systemen toonden een sterke overeenkomst met de beoordelingen van de experts.
  • Spearman's correlatiecoëfficiënten varieerden van 0,733 tot 0,794 (afhankelijk van de software).
  • De kwadratisch gewogen kappa-coëfficiënten lagen tussen 0,730 en 0,798.
  • De hoogste overeenkomst werd gevonden voor het rectum, de laagste voor de linker dijbeenkop.
• Screeningsprestaties:
  • Bij het definiëren van een score ≥ 3 als "adequaat", bereikte OncoStudio de hoogste sensitiviteit (1,000) en specificiteit (0,978), maar met brede betrouwbaarheidsintervallen.
  • Bij een strengere drempel (score ≥ 4), vertoonde syngo.via de beste prestaties. Voor het rectum werd een sensitiviteit van 0,976 bereikt.
• Kwaliteit van Rationales: De door de LLM gegeven uitleg scoorde gemiddeld 1,70 ± 0,48 op een schaal van 2. Van de 291 geëvalueerde outputs behaalde 155 een perfecte score op alle criteria.
• Beperkingen: Er werden enkele "hallucinaties" waargenomen, waarbij de LLM fouten zag die er niet waren (bijv. beïnvloed door gas in het darmkanaal) of onnodige claims deed over dosiseffecten. Dit wijst op beperkingen in het specifieke medische kennisdomein van het model.

Betekenis en Conclusie

De studie concludeert dat het LAQUA-systeem een substantiële overeenkomst vertoont met expertbeoordelingen en potentieel heeft als effectief primair screeningsinstrument voor de kwaliteitsborging van automatische contouring.

• Klinische Impact: Het systeem kan helpen de klinische werkdruk te verlagen door alleen de "goedkeurenswaardige" contouren te filteren, waardoor experts zich kunnen concentreren op de gevallen die daadwerkelijk correctie nodig hebben.
• Veiligheid: Door specifieke foutlocaties in natuurlijke taal te benoemen, kan het systeem de "automatiseringsbias" van de menselijke evaluator doorbreken en het risico op het overzien van kritieke fouten verminderen.
• Toekomstperspectief: Hoewel het systeem niet bedoeld is om de menselijke QA volledig te vervangen, vormt het een krachtige aanvulling. De auteurs suggereren dat het integreren van een Retrieval-Augmented Generation (RAG) systeem met specifieke richtlijnen voor contouring de nauwkeurigheid en het verminderen van hallucinaties verder kan verbeteren.

Samenvattend biedt deze studie een veelbelovende richting voor de automatisering van QA in de radiotherapie, waarbij LLM's worden gebruikt om niet alleen te beoordelen, maar ook te verklaren waarom een contour goed of slecht is.