Technische Samenvatting: Schalen van Vision-modellen verbetert niet consequent de kwaliteit van op localisatie gebaseerde verklaringen

Probleemstelling

Hoewel kunstmatige intelligentiemodellen steeds vaker worden geschaald om de voorspellende nauwkeurigheid te verbeteren, blijft het onduidelijk of het vergroten van modeldiepte en het aantal parameters de kwaliteit van post-hoc-verklaringen verbetert. In veiligheidskritieke domeinen zoals gezondheidszorg en financiën is transparantie van het grootste belang; toch fungeren diepe neurale netwerken (CNN's en Vision Transformers) vaak als "black boxes". Een heersende aanname suggereert dat grotere modellen functies leren met een sterkere semantische structuur, wat mogelijk leidt tot verklaringen die beter aansluiten bij menselijke interpretaties. Deze studie daagt die aanname uit door te onderzoeken of het schalen van architecturale diepte en het aantal parameters consequent leidt tot kwalitatief betere visuele verklaringen, specifiek wat betreft hun vermogen om relevante beeldregio's te localiseren.

Methodologie

De auteurs voerden een uitgebreide empirische evaluatie uit met 11 computer vision-modellen uit drie verschillende families: ResNet, DenseNet en Vision Transformers (ViT). De modellen varieerden in diepte en complexiteit, van ResNet-18 tot ResNet-101, DenseNet-121 tot DenseNet-201, en ViT-B/16 tot ViT-L/16. De studie omvatte zowel modellen die vanaf nul werden getraind als modellen die gebruikmaakten van vooraf getrainde gewichten (ImageNet-1k, CheXpert, ImageNet-21k).

Datasets:
Experimenten werden uitgevoerd op drie datasets met ground-truth segmentatiemaskers:

1. COVID-QU-Ex: Borstfoto's voor COVID-19-detectie.
2. Oxford-IIIT Pet: Dierafbeeldingen voor objectlocalisatie.
3. Chest X Pneumothorax: Borstfoto's voor pneumothorax-detectie.

Verklarende AI (XAI)-methodes:
Vijf post-hoc-verklaringmethodes werden toegepast om salientiekaarten te genereren:

• Saliency Maps
• GradientSHAP
• Integrated Gradients
• Feature Permutation
• Grad-CAM (aangepast voor ViT's)

Evaluatiemetrics:
De kwaliteit van verklaringen werd gekwantificeerd door de overeenkomst te meten tussen gegenereerde attributiekaarten en ground-truth-maskers met behulp van twee metrics:

1. Relevance Rank Accuracy (RRA): Meet het fraction van de top-gerangschikte attributiepixels die binnen het ground-truth-masker vallen.
2. Dual-Polarity Precision (DPP): Een nieuwe metric voorgesteld door de auteurs. In tegenstelling tot evaluaties die alleen op grootte zijn gebaseerd, meet DPP expliciet de ruimtelijke precisie van zowel positieve attributies (ondersteunend bewijs binnen het masker) als negatieve attributies (tegenbewijs buiten het masker). Het straft tegenstrijdige of ruisachtige achtergrondattributies af.

Statistische Analyse:
De studie hanteerde Kruskal-Wallis H-tests en Mann-Whitney U-tests met Benjamini-Hochberg-correctie om statistische significantie te beoordelen over modelgroottes en voortrainingsregimes heen. Fideliteit werd verder beoordeeld via sanity checks met betrekking tot laag-voor-laag gewichtsrandomisatie en inputpixel-permutatie.

Belangrijkste Bijdragen

1. Systematische Schaal-evaluatie: De auteurs onderzochten de relatie tussen modelcomplexiteit (aantal parameters) en classificatieprestaties over 11 architecturen en drie datasets.
2. Kwantificering van voortrainings-effecten: De studie kwantificeerde hoe voortraining de kwaliteit van XAI-verklaringen beïnvloedt, door modellen die vanaf nul zijn getraind te vergelijken met hun voorgetrainde tegenhangers.
3. Introductie van Dual-Polarity Precision (DPP): Het paper introduceert DPP om beperkingen in bestaande metrics aan te pakken door de ruimtelijke precisie van zowel positieve als negatieve attributies te evalueren, zodat verklaringen worden gestraft voor tegenstrijdige achtergrondruis.
4. Empirisch bewijs van divergentie: De studie levert bewijs dat voorspellende prestaties en de kwaliteit van verklaringen kunnen divergeren, met scenario's waarin modellen hoge nauwkeurigheid bereiken maar een localisatieprecisie van bijna nul hebben.

Resultaten

Modelgrootte en Kwaliteit van Verklaringen:
Over alle datasets en XAI-methodes heen leidde het vergroten van architecturale diepte en het aantal parameters niet consequent tot een verbetering van de verklaringkwaliteit.

• In statistische vergelijkingen presteerden grotere modellen (bijv. ResNet-101, DenseNet-201, ViT-L/16) niet systematisch beter dan kleinere varianten (bijv. ResNet-18, DenseNet-121, ViT-B/16).
• In gevallen waarin significante verschillen werden gevonden, presteerden kleinere modellen in 34% van de vergelijkingen gelijk aan of beter dan grotere modellen, terwijl het grootste model slechts in 12% van de gevallen de hoogste score behaalde.
• Effectgroottes voor schaalgerelateerde verschillen waren doorgaans verwaarloosbaar tot klein.

Impact van Voortraining:
Voortraining verbeterde over het algemeen de voorspellende prestaties, maar verhoogde niet consequent de localisatiescores (RRA of DPP).

• Hoewel voorgetrainde modellen een sterkere afhankelijkheid vertoonden van geleerde gewichten (aangegeven door hogere degradatie bij laagrandomisatie) en een hogere gevoeligheid voor inputstructuur, vertaalde dit zich niet in een systematische winst in localisatiemetrics.
• In veel significante vergelijkingen presteerden vanaf nul getrainde modellen even goed als of beter dan voorgetrainde modellen.

Voorspellende Prestaties versus Kwaliteit van Verklaringen:
Een cruciale bevinding was de ontkoppeling van nauwkeurigheid en interpreteerbaarheid. Op de Chest X Pneumothorax-dataset behaalden modellen redelijke classificatieprestaties (AUC ~0,77–0,87) terwijl ze localisatiescores van bijna nul produceerden. Dit suggereert dat hoge nauwkeurigheid kan worden bereikt door te vertrouwen op schijnbare correlaties of acquisitie-artefacten in plaats van de geannoteerde anatomische regio's.

Sanity Checks:

• Laagrandomisatie: Diepere en vooral voorgetrainde modellen vertoonden hogere degradatie wanneer gewichten werden gerandomiseerd, wat wijst op een sterkere afhankelijkheid van geleerde parameters in plaats van alleen netwerkstructuur.
• Inputrandomisatie: De meeste op gradiënten gebaseerde methodes vertoonden een lage gevoeligheid voor pixel-shuffling, hoewel Grad-CAM grotere verschuivingen liet zien. Voorgetrainde modellen vertoonden over het algemeen een hogere gevoeligheid voor veranderingen in inputstructuur in vergelijking met vanaf nul getrainde modellen.

Betekenis en Beweringen

Het paper concludeert dat grotere modellen niet betrouwbaar verklaringen van hogere kwaliteit bieden. De aanname dat het opschalen van modellen inherent de semantische uitlijning van salientiekaarten verbetert, wordt niet ondersteund door de data. In plaats daarvan bieden kleinere modellen vaak verklaringen die even goed of beter aansluiten dan hun diepere tegenhangers.

De auteurs betogen dat verklaarbaarheid expliciet moet worden beoordeeld tijdens de modelselectie, met name voor veiligheidsgevoelige implementaties. Uitsluitend vertrouwen op voorspellende nauwkeurigheid is onvoldoende, aangezien modellen hoge prestaties kunnen behalen terwijl ze falen in het localiseren van de beoogde regio's van belang. De introductie van Dual-Polarity Precision (DPP) biedt een strengere manier om deze verklaringen te evalueren door rekening te houden met zowel ondersteunend als tegenbewijs.

De studie benadrukt dat procedures voor modelselectie computatiekosten en operationele eisen moeten overwegen naast prestaties, aangezien kleinere modellen vergelijkbare verklaringkwaliteit kunnen bieden met aanzienlijk lagere resource-eisen. De bevindingen suggereren dat in overgeparameteriseerde settings voorspellende nauwkeurigheid en interpreteerbaarheid kunnen divergeren, wat een expliciete evaluatie van de fideliteit van verklaringen vereist in plaats van ervan uit te gaan dat deze verbetert met schaal.