Assessment of Conditional Diffusion Model for Synthetic Histopathology Image Generation

Technische Samenvatting: Beoordeling van een Conditioneel Diffusiemodel voor de Generatie van Synthetische Histopathologische Beelden

Probleemstelling
De ontwikkeling van AI-modellen in de digitale pathologie wordt gehinderd door het tekort aan geannoteerde whole-slide images (WSI's) en de hoge kosten van annotaties door experts. Hoewel synthese van data een potentiële oplossing biedt voor het uitbreiden van trainingsdatasets, zijn huidige evaluatiemethodologieën ontoereikend voor het beoordelen van de kwaliteit en bruikbaarheid van synthetische histopathologische beelden. Conventionele metrieken, specifiek de Fréchet Inception Distance (FID) en de Inception Score (IS), vertrouwen op feature extractors (InceptionV3) die zijn voorgetraind op natuurlijke afbeeldingen (ImageNet). De auteurs stellen dat deze domeinmismatch resulteert in gecomprimeerde scorebereiken en een gebrek aan discriminerend vermogen bij toepassing op histopathologie, waardoor domeinspecifieke kenmerken zoals complexe texturele patronen en kleuringvariaties niet adequaat worden vastgelegd. Bovendien leggen bestaande methoden vaak te weinig nadruk op "coverage" (datavariëteit), wat cruciaal is voor robuuste prestaties bij downstream-taken.

Methodologie
De studie hanteerde een tweefasige aanpak bestaande uit de generatie van synthetische data en de ontwikkeling van domeinspecifieke evaluatiemetrieken.

1. Generatie van Synthetische Data:

   • Modelarchitectuur: De auteurs maakten gebruik van conditionele Denoising Diffusion Probabilistic Models (DDPM's) gebaseerd op een U-Net architectuur.
   • Conditionering: Het generatieproces werd gestuurd door instantie-nuclei segmentatie-masks. Deze masks werden gecodeerd in drie kanalen: een binaire voorgrond-achtergrond mask, een horizontale afstandskaart en een verticale afstandskaart. Deze werden geïntegreerd in de U-Net via een Spatially Adaptive Normalization (SPADE) module.
   • Datasets: Vier benchmark histopathologische datasets werden gebruikt: MoNuSeg, Triple-Negative Breast Cancer (TNBC), 2018 Data Science Bowl (DSB) en PanNuke.
   • Tweestaps Trainingsstrategie: Om de kwaliteitskenmerken systematisch te variëren, werd een tweestaps trainingsaanpak geïmplementeerd:
     • Coarse Training: Initiële training met een leersnelheid van 0.0001 om structurele coherentie te bereiken.
     • Fine-Tuning: Voortgezette training zonder de classifier-component bij een verlaagde leersnelheid van 0.00002 om de kleurgetrouwheid en texturele details te verbeteren.

2. Evaluatiekader:

   • Standaard Metrieken: Traditionele metrieken waaronder FID, IS, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR), Precision en Recall werden berekend met behulp van InceptionV3.
   • Domeinspecifieke Metrieken: Om de beperkingen van op ImageNet voorgetrainde modellen aan te pakken, stelden de auteurs gemodificeerde FID en IS metrieken voor die gebruikmaken van foundation models die zijn voorgetraind op digitale pathologie-datasets: UNI, Virchow en Virchow2. Deze modellen werden gebruikt om features te extraheren voor het berekenen van de metrieken, naast precision-recall beoordelingen.
   • Downstream Validatie: De bruikbaarheid van de synthetische data werd gevalideerd door een HoVerNet model voor nuclei segmentatie te trainen. Prestaties werden gemeten met de Dice Similarity Coefficient (DICE) en de Improved Aggregated Jaccard Index (AJI+).
   • Correlatieanalyse: Pearson correlatiecoëfficiënten werden berekend tussen de kwaliteit van de synthetische data metrieken en de downstream segmentatie prestatie metrieken.

Belangrijkste Bijdragen

• Tweestaps Trainingsaanpak: Introductie van een coarse-to-fine trainingsstrategie voor conditionele denoising diffusion models om synthetische datasets met systematisch gevarieerde kwaliteitskenmerken te genereren.
• Domeinspecifieke Metrieken: Ontwikkeling van gemodificeerde FID en IS metrieken die gebruikmaken van pathologie-specifieke foundation models (UNI, Virchow, Virchow2) in plaats van feature extractors voor natuurlijke afbeeldingen, aangevuld met precision-recall metrieken.
• Empirische Validatie: Een evaluatiekader dat de kwaliteit van synthetische data correleert met downstream nuclei segmentatie prestaties, waarbij wordt aangetoond dat domeinspecifieke metrieken een betere voorspellende waarde bieden voor de bruikbaarheid van de taak.

Resultaten

• Visuele en Kwantitatieve Kwaliteit: Fine-tuned modellen produceerden beelden met verbeterde kleurgetrouwheid en verminderde bias vergeleken met coarse modellen. Hoewel standaard metrieken (InceptionV3-gebaseerde FID) enige verbetering vertoonden, bleef de Inception Score (IS) stagnerend (geclusterd rond 1.00–1.07) en slaagde het er niet in om onderscheid te maken tussen coarse en fine-tuned outputs.
• Discriminerend Vermogen van Domeinspecifieke Metrieken: Pathologie-specifieke feature extractors leverden een veel breder dynamisch bereik op in FID-scores (bijv. UNI-gebaseerde FID variërend van ~960 tot ~2150) vergeleken met InceptionV3. Deze metrieken onderscheidden succesvol tussen coarse en fine-tuned modellen, waarbij een duidelijker verbeteringspatroon zichtbaar was. Evenzo vertoonden domeinspecifieke IS-waarden een grotere numerieke differentiatie (variërend van 1.17 tot 1.65) vergeleken met de bijna constante InceptionV3 scores.
• Feature Ruimte Analyse: Dimensiereductie (PCA, t-SNE, UMAP) en nearest-neighbor analyse toonden aan dat pathologie-specifieke extractors (met name Virchow2) een betere scheiding produceerden tussen echte en synthetische distributies en buren ophaalden op basis van klinisch relevante morfologische kenmerken, terwijl InceptionV3 vertrouwde op brede structurele patronen.
• Downstream Prestaties: Het trainen van segmentatiemodellen met fine-tuned synthetische data augmented de echte data, wat resulteerde in consistente verbeteringen in DICE en AJI+ scores over alle datasets.
• Correlatiebevindingen: De meest significante bevinding was de correlatie tussen evaluatiemetrieken en downstream prestaties. De gemodificeerde Inception Score (Foundation Based) vertoonde de hoogste correlatie met AJI+ ($r = 0.6096, p = 0.0122$) en DICE ($r = 0.5639$). In contrast hiermee vertoonde de originele InceptionV3-gebaseerde IS een verwaarloosbare correlatie met AJI+ ($r = 0.0708$). Foundation-based FID vertoonde eveneals een significante negatieve correlatie met DICE ($r = -0.5597$).

Significantie en Claims
Het artikel stelt dat pathologie-specifieke evaluatiemetrieken een superieur discriminatievermogen bieden vergeleken met standaard metrieken die afhankelijk zijn van natuurlijke beeldkenmerken. Specifiek dient de gemodificeerde Inception Score met behulp van foundation model features als een veelbelovende indicator voor het potentieel van een synthetische dataset voor downstream taken. De auteurs suggereren dat het vergroten van de variëteit van gegenereerde trainingsdata positiever correleert met de prestaties van het segmentatiemodel dan enkel het verbeteren van de visuele getrouwheid van individuele beelden.

De studie concludeert dat deze domeinspecifieke metrieken kunnen dienen als een instrument voor datasetbeoordeling, wat potentieel de noodzaak vermindert voor uitgebreide trial-and-error training van volledige downstream segmentatiemodellen om de initiële effectiviteit van een dataset te peilen. De auteurs merken op dat deze bevindingen specifiek zijn voor de datasets, modelarchitecturen en metrieken die in deze studie zijn gebruikt en mogelijk niet generaliseerbaar zijn naar alle contexten. Zij erkennen beperkingen met betrekking tot de omvang van de gebruikte geannoteerde datasets en stellen toekomstig werk voor om de relatie tussen synthetische data-attributen en downstream taakprestaties verder te onderzoeken.