Discordance in pleural mesothelioma response classification and modelling of impact on clinical trials

Deze studie toont aan dat de grote onenigheid tussen radiologen bij het beoordelen van de behandelingssuccessen van pleurale mesothelioom de statistische power en precisie van klinische trials aanzienlijk vermindert.

De kern

Stel je voor dat je een grote, onregelmatige zeewierplak (de tumor) op de wand van een grot (de borstkas) moet meten. Je hebt twee experts nodig om te zeggen of de zeewierplak kleiner wordt (genezing), groter wordt (slechter) of hetzelfde blijft.

Dit is precies wat deze studie doet met pleurale mesothelioom, een agressieve longkanker die vaak door asbest wordt veroorzaakt. De onderzoekers keken naar hoe goed artsen deze "zeewierplak" kunnen meten op CT-scanfoto's en wat er gebeurt als ze het oneens zijn.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Oneens" Artiesten

In de medische wereld gebruiken artsen een specifieke meetmethode genaamd mRECIST. Het idee is simpel: meet de tumor op zes plekken en tel het op. Als het totaal 30% kleiner is, is het een succes. Als het 20% groter is, is het een mislukking.

Maar hier komt het probleem: Mensen zijn niet perfect.
De onderzoekers vroegen twee zeer ervaren radiologen om dezelfde foto's te bekijken. Het resultaat? Ze waren het 35% van de tijd oneens.

• De analogie: Stel je voor dat je twee schilders vraagt om de hoogte van een heuvel te schatten. De ene zegt: "Het is een heuvel van 10 meter." De andere zegt: "Nee, het is een heuvel van 12 meter." Omdat de grens tussen 'groei' en 'stabiliteit' zo smal is (slechts 20% verschil), kan een klein meetverschil betekenen dat de ene arts denkt dat de patiënt geneest, terwijl de andere denkt dat de ziekte verslechtert.

2. De Oorzaken: Waarom zijn ze het oneens?

Waarom maken experts zulke fouten?

• De "Vage Randen": De tumor groeit vaak als een dunne laag over de hele borstkas, niet als een ronde bal. Het is lastig om precies te zeggen waar de tumor eindigt en de normale long begint.
• De "Meetlint-fout": Soms plaatsen artsen hun meetlijn (het digitale meetlint) net iets anders op de volgende scan. Zelfs een klein verschil in hoek kan een groot verschil in het eindresultaat geven.
• Menselijke fouten: Soms kijken ze naar de verkeerde foto, typen ze een getal verkeerd in, of missen ze een klein detail.

Van de 60 gevallen waarin ze het oneens waren, bleek dat 83% te maken had met deze subtiele interpretatieverschillen en niet met stomme fouten. Het is dus een systeemprobleem, niet per se een "slechte arts"-probleem.

3. Het Grote Gevaar: De "Verkeerde Kompas" in Klinische Proeven

Dit is het belangrijkste deel van het verhaal. Wat gebeurt er als artsen het oneens zijn in grote medische onderzoeken (klinische trials)?

De onderzoekers maakten een computer-simulatie (een virtueel laboratorium). Ze stelden zich voor dat ze een nieuw medicijn testten op 10.000 virtuele patiënten.

• Het plan: Ze wilden 80% zekerheid hebben dat het medicijn werkte.
• De realiteit: Omdat de artsen het oneens waren over de metingen (de "misclassificatie"), daalde die zekerheid drastisch.

De analogie:
Stel je voor dat je een boottocht maakt met een kompas dat soms 20 graden verkeerd wijst. Je denkt dat je naar het noorden vaart, maar je vaart eigenlijk naar het noordoosten.

• In de studie daalde de kans dat een nieuw medicijn als "succesvol" werd bestempeld van 80% naar slechts 55%.
• Dit betekent dat een goed werkend medicijn misschien wordt afgekeurd omdat de metingen "slecht" leken, terwijl het medicijn eigenlijk wel werkte.
• Omgekeerd kan een slecht werkend medicijn als succesvol worden gezien omdat de metingen "verbetering" lieten zien, terwijl dat slechts een meetfout was.

4. De Oplossing: Van Handmatig naar Slim

De studie concludeert dat we niet langer kunnen vertrouwen op handmatige metingen door mensen, omdat de menselijke variatie te groot is voor zulke precieze ziektes.

• De oplossing: We hebben Artificiële Intelligentie (AI) nodig.
• De analogie: In plaats van dat twee schilders de heuvel meten met een meetlint, laten we een robot de hele heuvel in 3D scannen en tellen. Een robot maakt geen fouten door vermoeidheid of een andere kijkhoek. Als AI de tumor meet, is het resultaat altijd hetzelfde, ongeacht wie de scan bekijkt.

Samenvatting in één zin

Deze studie laat zien dat artsen vaak het oneens zijn over hoe groot een kanker is geworden, en dat deze verwarring ervoor zorgt dat we in medische onderzoeken goede medicijnen verwerpen en slechte medicijnen accepteren; de oplossing is om slimme computers (AI) de metingen te laten doen in plaats van mensen.

Technische samenvatting

Probleemstelling

Pleuraal mesotheeloom (PM) is een agressieve thoracale maligniteit die vaak laat wordt gediagnosticeerd. De evaluatie van de respons op chemotherapie is cruciaal voor zowel de klinische praktijk als klinische trials. Momenteel wordt hiervoor de gemodificeerde Response Evaluation Criteria In Solid Tumours (mRECIST) v1.1 gebruikt. Deze methode vereist dat radiologen zes unidimensionale metingen van pleurale tumoren uitvoeren op CT-beelden.

Het probleem is dat er bekend is dat er sprake is van een slechte overeenkomst tussen radiologen bij het toepassen van deze criteria. Echter, de kwantitatieve impact van deze onnauwkeurigheden op de statistische power en de precisie van eindpunten in klinische trials is tot nu toe niet gemeten. Een onjuiste responsclassificatie kan leiden tot het voortzetten van inefficiënte en toxische behandelingen of het vroegtijdig staken van effectieve therapieën.

Methodologie

De auteurs voerden een mixed-methods studie uit, bestaande uit twee componenten:

1. Retrospectieve Cohortstudie (Multicenter):

   • Populatie: 172 patiënten met PM uit vier centra in het VK die chemotherapie kregen.
   • Proces: CT-beelden (baseline en follow-up) werden onafhankelijk beoordeeld door twee expert-thoracale radiologen volgens mRECIST v1.1.
   • Analyse: De discordantiegraad (percentage waarbij de beoordelingen verschilden) en de Kappa-statistiek werden berekend. Een derde radioloog diende als arbiter bij discrepanties.
   • Root Cause Analyse: Discordante gevallen werden gecategoriseerd in: subjectieve interpretatieverschillen, menselijke fouten (bijv. verkeerde scan, foutieve toepassing van criteria) en meetvariaties binnen de mRECIST-methode.
   • Volumetrie: Een subset van patiënten onderging volumetrische analyse om de correlatie met mRECIST-discordantie te onderzoeken.

2. In Silico Modelleren:

   • Doel: Simuleren van de impact van respons-misclassificatie op statistische power en eindpunt-precisie.
   • Opzet: Twee-armige trials werden gesimuleerd met een beoogde power van 80%.
   • Variabele: De misclassificatiegraad varieerde van 0% tot 100% (in stappen van 1%), elk 10.000 keer herhaald.
   • Eindpunten: Objectieve responsratio (ORR), ziektecontrole-ratio (DCR), progressievrije overleving (PFS) en totale overleving (OS).
   • Aannames: Voor PFS en OS werden specifieke klinische aannames gedaan over overleving na stopzetting van de trial-medicatie en de waarschijnlijkheid van misclassificatie per klasse.

Belangrijkste Resultaten

• Discordantiegraad: Er was een discordantie in 35% van de gevallen (60/172). De inter-observer overeenkomst was slechts matig (Kappa = 0,456).
• Oorzaken van Discordantie:
  • 83% (50/60) van de discordanties betrof interpretatie- of meetverschillen inherent aan mRECIST (vaak tussen aangrenzende klassen zoals SD vs. PR of SD vs. PD).
  • 17% (10/60) betrof duidelijke menselijke fouten (zoals het beoordelen van de verkeerde scan).
  • Er was geen correlatie gevonden tussen de discordantiegraad en het basale tumorvolume.
• Impact op Klinische Trials (Modelleringsresultaten):
  • Bij een misclassificatiegraad van 17% (wat overeenkomt met de waargenomen 35% discordantie in de retrospectieve studie, waarbij minstens één van de twee beoordelaars fout is), daalde de statistische power aanzienlijk:
    • ORR: Van 80% naar 55%.
    • DCR: Van 80% naar 53%.
    • PFS: Van 80% naar 65%.
    • OS: Van 80% naar 66%.
  • De precisie van de eindpunten nam eveneens af; de betrouwbaarheidsintervallen dekten slechts 88-92% van het ware behandelingseffect in plaats van de beoogde 95%.
• Volumetrie: Er was een slechte overeenkomst tussen volumetrische respons en mRECIST-classificatie. Hoewel volumetrie theoretisch beter zou moeten zijn, bleek ook menselijke volumetrie vatbaar voor variatie.

Bijdragen en Conclusies

• Eerste Kwantificering: Dit is de eerste studie die systematisch de frequentie van discordante responsclassificaties bij PM in de echte wereld heeft gemeten en de daaruit voortvloeiende impact op trials heeft gemodelleerd.
• Statistische Impact: De studie toont aan dat de huidige onnauwkeurigheid in radiologische beoordeling de statistische power van klinische trials voor PM substantieel ondermijnt. Dit kan leiden tot het mislopen van effectieve therapieën of het valideren van inefficiënte behandelingen.
• Oorzaken: De variatie is grotendeels inherent aan de complexiteit van het meten van diffuse pleurale tumoren met unidimensionale lijnen (mRECIST), waarbij kleine verschillen in caliperplaatsing leiden tot verschillende klassificaties.
• Aanbevelingen:
  • Er is een dringende noodzaak om minder foutgevoelige eindpunten te adopteren voor klinische trials.
  • De implementatie van AI-gestuurde automatische tumorsegmentatie en volumetrie wordt gepropageerd als de meest veelbelovende oplossing om menselijke meetfouten en variabiliteit te minimaliseren.
  • Het gebruik van gestandaardiseerde rapportagetemplates in combinatie met AI kan de consistentie in de routinematige klinische zorg verbeteren.

Significantie

De bevindingen hebben grote implicaties voor het ontwerp van toekomstige klinische trials voor pleuraal mesotheeloom. De huidige afhankelijkheid van handmatige mRECIST-metingen introduceert een aanzienlijke "ruis" in de data, wat de kans op het succesvol aantonen van een behandelingseffect verkleint. De studie onderstreept dat zonder verbetering in de meetmethodiek (bijvoorbeeld door AI), de validiteit van trialresultaten en de vertaling daarvan naar de klinische praktijk in gevaar komt.