Towards Trustworthy Breast Cancer Diagnosis: A Comparative Explainability Stability Study of DenseNet121 and Vision Transformers

Technische Samenvatting: Naar een betrouwbare diagnose van borstkanker

Probleemstelling
Deep learning-modellen hebben groot succes getoond in medische beeldclassificatie, met name voor de diagnose van borstkanker op basis van histopathologische beelden. Deze modellen functioneren echter vaak als "black boxes", waarbij een gebrek aan interpreteerbaarheid voor clinici de toepassing in kritieke veiligheidssituaties ondermijnt. Hoewel Explainable Artificial Intelligence (XAI)-tools zoals SHapley Additive exPlanations (SHAP) visuele rationales bieden voor voorspellingen, bestaat er een aanzienlijke kloof in het begrip van de stabiliteit en robuustheid van deze verklaringen. Specifiek blijft het onduidelijk hoe de stabiliteit van verklaringen verschilt tussen convolutionele architecturen (bijv. DenseNet) en transformer-gebaseerde architecturen (bijv. Vision Transformers) wanneer invoergegevens onderhevig zijn aan kleine perturbaties zoals ruis, helderheidsverschuivingen of contrastschaling. Zonder stabiele verklaringen kunnen clinici het vertrouwen in geautomatiseerde diagnostische systemen verliezen, zelfs als de classificatienauwkeurigheid hoog blijft.

Methodologie
Deze studie stelt een vergelijkend kader voor om de verklaarbaarheid-stabiliteit van DenseNet121 (een Convolutional Neural Network) en Vision Transformer (ViT)-modellen op de Breast Histopathology Images-dataset te evalueren. De methodologie waarborgt een eerlijke vergelijking door beide architecturen te trainen met identieke preprocessing, optimalisatieparameters en perturbatie-instellingen.

1. Data-preparatie: De dataset werd gestratificeerd in trainings-, validatie- en testsets. Beelden werden geresized naar 224x224, genormaliseerd met behulp van ImageNet-statistieken en geaugmenteerd met willekeurige horizontale spiegeling.
2. Modelarchitectuur:
   • DenseNet121: Maakt gebruik van dichte connectiviteit om feature-hergebruik en gradiëntpropagatie te faciliteren, met een focus op lokale ruimtelijke contexten.
   • Vision Transformer (ViT-B/16): Verdeelt afbeeldingen in patches en maakt gebruik van self-attention mechanismen om langetermijnafhankelijkheden en globale context te modelleren.
3. Generatie van verklaarbaarheid: SHAP (specifiek GradientExplainer) werd toegepast om visuele attributiekaarten voor beide modellen te genereren, waarbij de regio's worden gehighlight die de classificatiebeslissing drijven.
4. Stabiliteitsanalyse: Om de robuustheid te beoordelen, werden de invoerbeelden onderworpen aan drie soorten perturbaties: Gaussische ruis, helderheidsverschuiving en contrastschaling.
5. Kwantitatieve Metrieken: De stabiliteit van de verklaringen werd gemeten met behulp van:
   • Cosine Similarity: Om de directionele consistentie tussen de originele en de geperturbeerde verklaringen te meten.
   • Mean Absolute Difference (MAD): Om de omvang van veranderingen in attributiewaarden te kwantificeren.
   • Structural Similarity Index Measure (SSIM): Om de perceptuele gelijkenis te evalueren.
6. Statistische Validatie: Paired t-testen en Cohen's d effectgrootte-analyse werden uitgevoerd om te bepalen of de geobserveerde verschillen in stabiliteit tussen de twee architecturen statistisch significant waren.

Belangrijkste Bijdragen

• Vergelijkende Stabiliteitsstudie: Dit werk vult een gat in de literatuur door direct de stabiliteit van de verklaringen van CNN-gebaseerde en Transformer-gebaseerde architecturen te vergelijken in de context van borsthistopathologie, een domein waar dergelijke vergelijkingen schaars zijn.
• Dual-Metric Evaluatie: De studie gaat verder dan voorspellende nauwkeurigheid door simultaan zowel de classificatieprestaties als de robuustheid van XAI-outputs onder invoerperturbaties te evalueren.
• Statistische Rigor: In tegen tegenstelling tot eerdere studies die mogelijk vertrouwen op visuele inspectie of vergelijkingen met één metriek, hanteert dit onderzoek rigoureuze statistische testen (t-testen en effectgrootte-analyse) om de significantie van stabiliteitsverschillen te valideren.
• Identificatie van Trade-offs: Het artikel identificeert en kwantificeert expliciet de trade-off tussen hoge classificatienauwkeurigheid/gelokaliseerde verklaringen (DenseNet) en de consistentie van de verklaring onder perturbatie (ViT).

Experimentele Resultaten

• Classificatieprestaties: DenseNet121 presteerde beter dan de Vision Transformer op het gebied van predictieve metrieken, met een nauwkeurigheid van 91% en een 0,965 ROC-AUC, vergeleken met de 89% nauwkeurigheid en 0,948 ROC-AUC van de ViT. DenseNet121 vertoonde ook een hogere sensitiviteit en recall voor maligne monsters, wat cruciaal is voor het minimaliseren van fout-negatieven in de medische diagnose.
• Verklaring-lokalisatie: DenseNet121 produceerde meer ruimtelijk coherente en gelokaliseerde attributiekaarten, die nauw aansluiten bij diagnostisch relevante weefselstructuren. In contrast hiermee waren de ViT-verklaringen meer verspreid, wat de globale attention-mechanismen reflecteert.
• Stabiliteit onder Perturbatie: De Vision Transformer vertoonde een superieure stabiliteit van de verklaringen. Het behaalde hogere Cosine Similarity (0,261 vs. 0,218) en SSIM-waarden (0,667 vs. 0,509), en een lagere MAD (0,00044 vs. 0,00138) vergeleken met DenseNet121. Dit geeft aan dat de ViT-verklaringen consistenter bleven wanneer de invoerbeelden werden gewijzigd door ruis of contrastveranderingen.
• Statistische Significantie: Het verschil in de stabiliteit van de verklaringen tussen de twee modellen bleek statistisch significant (p < 0,001), met een Cohen's d effectgrootte van -0,341, wat bevestigt dat het geobserveerde stabiliteitsvoordeel van de ViT niet op toeval berust.

Betekenis en Claims
Het artikel beargumenteert dat betrouwbare medische AI-systemen moeten worden geëvalueerd op zowel classificatienauwkeurigheid als de betrouwbaarheid van hun verklaringen. De bevindingen benadrukken een cruciale trade-off: terwijl DenseNet121 superieure diagnostische nauwkeurigheid en gelokaliseerde interpreteerbaarheid biedt, biedt de Vision Transformer meer robuuste en consistente verklaringen in aanwezigheid van variaties in de invoer.

De auteurs concluderen dat voor klinische besluitvormingsondersteuning het uitsluitend vertrouwen op nauwkeurigheid onvoldoende is. Toekomstige medische AI-frameworks moeten de stabiliteit van verklaringen als een kernmetriek opnemen. De studie suggereert dat de keuze van de architectuur afhangt van de specifieke klinische vereiste: als de prioriteit ligt bij maximale diagnostische sensitiviteit, is DenseNet121 te prefereren; als de prioriteit ligt bij het behouden van consistente interpreteerbaarheid ondanks kleine inconsistenties in de beeldvorming (gangbaar in real-world scenario's), biedt de Vision Transformer een duidelijk voordeel. Het werk onderstreept de noodzaak van een holistische beoordeling van AI-systemen om ervoor te zorgen dat ze niet alleen accuraat zijn, maar ook klinisch vertrouwd en betrouwbaar.