⚡ elektrotechniek

Why Variance Metrics Cannot Validate ComBat Harmonization: Evidence from Three-Vendor Mammography Radiomics

Deze studie toont aan dat conventionele op variantie gebaseerde metrieken een tautologische en misleidende validatie van ComBat-harmonisatie bieden, aangezien zij er niet in slagen persistente niet-lineaire leveranciersspecifieke patronen en verlies van biologisch signaal te detecteren, waardoor het gebruik van onafhankelijke niet-lineaire scheidbaarheidstests noodzakelijk wordt om de cross-vendor vergelijkbaarheid werkelijk te beoordelen.

Oorspronkelijke auteurs: XU ZHANG, YUNJIANG LI, RUI FENG, QINQIN AI, YUHAI XIE, WENBIN NI

Gepubliceerd 2026-09-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: XU ZHANG, YUNJIANG LI, RUI FENG, QINQIN AI, YUHAI XIE, WENBIN NI

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin artsen ziekten kunnen diagnosticeren door de subtiele texturen van medische scans te vertalen naar duizenden precieze getallen. Dit veld, bekend als radiomics, verandert beelden van het menselijk lichaam in data die computers kunnen analyseren om tumoren op te sporen of te voorspellen hoe een patiënt zal reageren op een behandeling. Echter, een groot probleem bedreigt deze belofte: de getallen veranderen afhankelijk van de machine die de foto heeft gemaakt. Een scan van de ene fabrikant ziet er anders uit dan een scan van dezelfde patiënt die is gemaakt op een machine van een ander bedrijf. Deze verschillen, veroorzaakt door de apparatuur in plaats van de gezondheid van de patiënt, creëren een barrière die artsen verhindert om data van verschillende ziekenhuizen te combineren. Om dit op te lossen, gebruiken onderzoekers een statistisch hulpmiddel genaamd ComBat, dat fungeert als een vertaler en de getallen aanpast zodat ze lijken alsof ze allemaal van dezelfde machine afkomstig zijn. Jarenlang hebben wetenschappers gecontroleerd of dit hulpmiddel werkte door te meten hoeveel de getallen varieerden tussen groepen. Als de variatie verdween, namen ze aan dat de vertaling succesvol was. Maar een nieuwe studie suggereert dat deze manier van controleren gebrekkig is en mogelijk een vals gevoel van veiligheid geeft terwijl het juist de verschillen die er het meest toe doen, verbergt.

In een studie gericht op borstkankerscreening met behulp van full-field digitale mammografie, zetten onderzoekers zich in om te testen of deze standaardmethode van controle daadwerkelijk werkt. Ze verzamelden beelden van drie verschillende ziekenhuizen, elk gebruikmakend van een mammografiemachine van een andere fabrikant. Uit deze beelden schetsen zij zorgvuldig de tumoren en extraheerden zij 59 verschillende textuurkenmerken, wat de specifieke getallen zijn die de vorm en het patroon van het weefsel beschrijven. Vervolgens pasten zij het ComBat-hulpmiddel toe om de data te harmoniseren, in de hoop de unieke "vingerafdrukken" achtergelaten door elke machine te verwijderen. Volgens de gebruikelijke regels in het vakgebied controleerden ze eerst de resultaten met standaard statistische tests die de variantie meten, oftewel hoe ver de getallen uiteenlopen. Zoals verwacht toonden deze tests aan dat de verschillen tussen de machines waren verdwenen. De variatie daalde naar bijna nul, en de statistische tests verklaarden de data succesvol geharmoniseerd.

De onderzoekers stopten echter niet daar. Ze vermoedden dat hoewel de eenvoudige spreiding van de getallen misschien was gecorrigeerd, de diepere, complexere relaties tussen de getallen nog steeds de handtekening van de machine konden dragen. Om dit te testen, gebruikten ze een ander soort controle: ze vroegen een computer om als een detective op te treden en te raden welke machine elke scan had gemaakt op basis van de geharmoniseerde data. Ze gebruikten twee soorten detectives: één die zoekt naar eenvoudige, rechte patronen en een andere die complexe, gebogen patronen in de data kan herkennen. De eenvoudige detective faalde en raadde niet beter dan op toeval gebaseerd, wat overeenkwam met de resultaten van de standaard variantietests. Maar de complexe detective, die de verborgen structuur in de data kon zien, presteerde perfect. Het identificeerde de juiste machine voor elke scan met honderd procent nauwkeurigheid. Dit onthulde dat hoewel het hulpmiddel de oppervlakkige verschillen had gladgestreken, het de diepere, niet-lineaire vingerafdrukken van de fabrikant volledig intact had gelaten.

De studie bracht ook een gevaarlijker bijeffect aan het licht van het gebruik van het hulpmiddel zonder extra zorgvuldigheid. In hun data was de grootte van de tumoren toevallig gekoppeld aan de machine die werd gebruikt, een toevalligheid in de manier waarop de patiënten werden verzameld. Wanneer de onderzoekers de standaardversie van het hulpmiddel toepasten, verwijderden zij de verschillen tussen de machines, maar verwijderden zij ook per ongeluk de echte biologische verschillen in tumoromvang. De data toonden niet langer aan dat tumoren verschillende groottes hadden binnen de groepen, waardoor een betekenisvol medisch feit effectief werd gewist. Een nauwkeurigere versie van het hulpmiddel, ontworpen om biologische informatie te beschermen, hield de tumoromvang onderscheidend, maar de onderzoekers merkten op dat deze aanpak moeilijk te gebruiken was in hun specifieke opstelling omdat de data van één machine alleen grote tumoren bevatte, waardoor de groepen onmogelijk perfect in balans te brengen waren.

De bevindingen suggereren dat de huidige standaard voor het bewijzen dat medische data klaar is om gecombineerd te worden, onvoldoende is. Vertrouwen op tests die alleen eenvoudige variatie meten, is als het controleren of een kamer stil is door alleen te luisteren naar een schreeuw; het mist het gefluister dat nog steeds gaande is. De onderzoekers betogen dat om echt te weten of data van verschillende machines samen vertrouwd kan worden, wetenschappers meer rigoureuze tests moeten gebruiken die zoeken naar deze verborgen, complexe patronen. Zij ontdekten dat zelfs nadat het standaardhulpmiddel werd toegepast, de machine die de foto maakte nog steeds met perfecte zekerheid geïdentificeerd kon worden, en dat echte biologische signalen verloren konden gaan. Dit betekent niet dat het hulpmiddel nutteloos is, maar het betekent dat het verklaren van succes op basis van eenvoudige statistiek voortijdig is. Voor radiomics, om patiënten over verschillende ziekenhuizen heen echt te kunnen helpen, moeten de methoden die gebruikt worden om de data te combineren worden beoordeeld op hun vermogen om de complexe waarheid van de biologie van de patiënt te bewaren, en niet alleen op hun vermogen om de getallen aan de oppervlakte hetzelfde te laten lijken.

Technische Samenvatting: Waarom variantie-metrieken de ComBat-harmonisatie niet kunnen valideren

Probleemstelling
In multi-center radiomics, met name bij Full-Field Digital Mammography (FFDM), vertonen kenmerken geëxtraheerd uit beelden die zijn verkregen met verschillende leveranciers vaak significante variabiliteit ("leveranciers-effecten") die niet gerelateerd is aan de biologie van de patiënt. De empirische Bayesiaanse methode, ComBat, is de standaardbenadering voor het harmoniseren van deze kenmerken door verschillen in locatie (gemiddelde) en schaal (variantie) te corrigeren. Echter, de validatie van het succes van ComBat in de literatuur steunt bijna uitsluitend op eerste- en tweede-orde variantiestatistieken: de Intraclass Correlation Coefficient (ICC), eta-kwadraat ( $\eta^2$ ) en de Kruskal-Wallis test.

De auteurs stellen dat deze validatiebenadering circulair (tautologisch) is. Omdat ComBat wiskundig is geconstrueerd om gemiddelden en varianties af te stemmen, is het rapporteren dat deze specifieke metrieken verbeteren na ComBat-toepassing slechts een herhaling van de functie van de methode, in plaats van onafhankelijk bewijs dat de informatie over de leverancier werkelijk is verwijderd. Bovendien bestaat er een risico dat de "standaard" toepassing van ComBat onbedoeld biologisch relevante variatie kan verwijderen die correleert met de batch-variabele (bijv. tumoromvang).

Methodologie
De studie maakte gebruik van een retrospectieve cohort van 120 patiënten met invasief borstkanker uit drie instellingen, elk uitgerust met een andere mammografie-leverancier: United Imaging (UIH), Hologic en GE. Na het uitsluiten van gevallen met bijna volledige borstmaskers, werd een zuivere subset van 91 gevallen (40 UIH, 40 Hologic, 11 GE) geanalyseerd.

Kenmerkextractie: 102 IBSI-conforme radiomische kenmerken (vorm, first-order, en textuur) werden geëxtraheerd uit door experts gedelineëerde tumor-ROI's. Na het filteren van kenmerken met een bijna nul-variantie bleven 59 kenmerken over voor analyse.
Harmonisatie: ComBat (zowel de standaard als de covariaat-beschermde versies) en per-leverancier Z-score normalisatie werden toegepast om leveranciers-effecten te corrigeren.
Validatiekader: De auteurs contrasteerden conventionele variantie-metrieken met vijf onafhankelijke, niet-circulaire evaluatielijnen (E1–E5) die niet gericht zijn op dezelfde momenten die ComBat afstemt:
- E1 (Niet-lineaire scheidbaarheid): Het trainen van lineaire (Logistische Regressie) en niet-lineaire (Random Forest) classificators om de leverancier te voorspellen op basis van kenmerken. Een succesvolle harmonisatie zou de leverancier onidentificeerbaar moeten maken (AUC $\approx$ 0,5) door elke classificator.
- E2 (PCA Geometrie): Het beoordelen van leveranciers-clustering via silhouette-coëfficiënten in de principal component ruimte.
- E3 (Biologische Preservatie): Testen of een met de batch gecorreleerde biologische covariaat (tumor pixel oppervlakte) behouden blijft of wordt uitgewist.
- E4 (Downstream Transfer): Het evalueren van het vermogen van textuurkenmerken om de tumoromvang over leveranciers heen te voorspellen met behulp van Ridge regressie.
- E5 (Hogere-orde Structuur): Meten van het voortbestaan van inter-leverancier kenmerk-covariantiestructuren (correlatiematrices).

Belangrijkste Resultaten

Circulariteit van Conventionele Metrieken: Zoals verwacht door constructie, verminderde ComBat de mediane $\eta^2$ tot 0,000 en de mediane ICC tot 0,000, en verminderde het significant het aantal kenmerken met significante inter-leverancier verschillen (Kruskal-Wallis). De auteurs merken op dat deze resultaten bevestigen dat ComBat momenten afstemt, maar niet bewijzen dat de leveranciersinformatie verdwenen is.
Voortbestaan van Leveranciersinformatie (E1 & E5): Ondanks de reductie in lineaire variantie, kon een niet-lineaire Random Forest classificator de leverancier met perfecte nauwkeurigheid identificeren (AUC 1,00, Accuraatheid 0,99) na standaard ComBat-harmonisatie. In tegen tegenstelling hiertoe daalde de prestatie van de lineaire classificator naar niveau van toeval (AUC 0,56). Dit geeft aan dat hoewel ComBat lineaire locatie/schaal-effecten verwijdert, het hogere-orde covariantiestructuren intact laat, die niet-lineaire modellen exploiteren.
Verlies van Biologisch Signaal (E3): Standaard ComBat heeft een significant verschil in tumoromvang (een biologische covariaat die gecorreleerd is met de batch) uitgewist, waarbij de Kruskal-Wallis p-waarde daalde van $4,0 \times 10^{-8}$ naar 0,10. Covariaat-beschermde ComBat behield dit verschil, maar de auteurs merken op dat in deze specifieke cohort, structurele nullen (GE had alleen grote tumoren) de covariaat-beschermde ComBat statistisch instabiel maakten.
Downstream Transfer (E4): Hoewel harmonisatie de cross-leverancier transfer van textuurkenmerken om tumoromvang te voorspellen verbeterde, schrijven de auteurs de winsten van Z-score normalisatie deels toe aan de verwijdering van de biologische variatie (tumoromvang) die het model bedoeld was te voorspellen, in plaats van aan ware harmonisatie.

Betekenis en Claims
Het artikel beweert niet dat ComBat nutteloos is, maar dat de standaard validatiemetrieken onvoldoende en misleidend zijn. De auteurs stellen dat:

Validatie Moet Onafhankelijk Zijn: De adequaatheid van harmonisatie kan niet worden gecertificeerd door variantie-statistieken ( $\eta^2$ , ICC) die ComBat juist is ontworpen om te veranderen. In plaats daarvan moet succes worden beoordeeld door onafhankelijke niet-lineaire scheidbaarheidstests (bijv. lek-vrije Random Forest classificators) en covariantie-structuur diagnostiek.
Risico op Biologische Erosie: De standaard toepassing van ComBat kan een batch-gecorreleerd biologisch signaal verwijderen, wat prognostische modellen die op dergelijke variaties vertrouwen, in gevaar kan brengen.
Ontwerpimplicaties: Covariaat-beschermde ComBat is theoretisch superieur, maar vereist een zorgvuldig studieontwerp om overlap tussen batch-variabelen en biologische covariaten te waarborgen; anders wordt de methode instabiel.

De studie concludeert dat in FFDM radiomics de leveranciersinformatie zelfs na ComBat-harmonisatie aanwezig blijft in hogere-orde kenmerkverdelingen. Daarom moet het vakgebied niet-lineaire, onafhankelijke validatiemetrieken adopteren om valse zekerheid over de vergelijkbaarheid tussen leveranciers te voorkomen.

Meer zoals dit