Trustworthy AI-based crack-tip segmentation using domain-guided explanations

Technische Samenvatting: Betrouwbare AI-gebaseerde segmentatie van de scheurtip met behulp van domeingestuurde verklaringen

Probleemstelling
Deep learning (DL) modellen, met name in hoogwaardige wetenschappelijke toepassingen zoals breukmechanica, kampen met een "black-box"-uitdaging waarbij het gebrek aan interpreteerbaarheid het vertrouwen en de betrouwbaarheid ondermijnt. Hoewel post-hoc Explainable AI (XAI)-methoden, zoals Class Activation Mapping (CAM), inzicht bieden in de besluitvorming van modellen, produceren ze vaak verklaringen die misleidend, niet getrouw aan het onderliggende model of inconsistent over verschillende methoden zijn. Bovendien leunen bestaande benaderingen voor het integreren van verklaringen in de training (bijv. Learning by Self-Explaining) vaak op secundaire critic-modellen of menselijke feedback, wat tijdrovend en moeizaam kan zijn en er niet in slaagt om gevestigde domeinkennis expliciet te incorporeren. In de specifieke context van de segmentatie van de scheurtip in Digital Image Correlation (DIC) data, kunnen modellen leren zich te concentreren op fysiek irrelevante artefacten (bijv. ruis nabij het scheurpad) in plaats van op de onderliggende spanningsvelden, wat leidt tot een slechte generalisatie op out-of-distribution data.

Methodologie
De auteurs stellen Attention-Guided Training (AGT) voor, een framework dat getrouwe XAI-technieken, kwantitatieve evaluatiemetrieken en domeinspecifieke priors direct in de trainingslus van het model integreert. De methodologie verloopt in drie hoofdfasen:

1. Selectie van XAI-methode en Kwantitatieve Evaluatie:
   De auteurs passen eerst CAM-gebaseerde methoden aan voor semantische segmentatietaken. Ze evalueren systematisch diverse gradiëntgebaseerde (bijv. Grad-CAM, Grad-CAM++) en gradiëntvrije (bijv. Score-CAM, Eigen-CAM) technieken met behulp van vier objectieve criteria voorgesteld door Nauta et al. [29]:

   • Correctheid (Getrouwheid/Faithfulness): Hoe goed de verklaring het werkelijke gedrag van het model reflecteert.
   • Volledigheid (Completeness): De mate waarin de verklaring relevante kenmerken dekt.
   • Continuïteit (Continuity): De stabiliteit van verklaringen onder kleine perturbaties van de input.
   • Compactheid (Compactness): De grootte van het verklarende gebied.
     Door deze evaluatie werd Grad-CAM++ toegepast op encoderlagen geïdentificeerd als de meest geschikte methode voor de taak van scheurtipsegmentatie.

2. Integratie van Domeinkennis:
   In plaats van te vertrouwen op menselijke annotatie of ongeverifieerde critic-modellen, gebruikt AGT analytische domeinkennis als doelwit voor de aandacht van het model. Specifiek gebruiken de auteurs de Williams-reeksontwikkeling [35], een theoretische oplossing voor de spanning- en verplaatsingsvelden nabij een scheurtip in de lineair-elastische breukmechanica. Uit DIC-verplaatsingsdata berekenen zij het von Mises equivalente spanningsveld. Dit theoretische spanningsveld dient als de "doelverklaring" ($\hat{\Phi}$).

3. Het AGT Trainingsproces:
   De training maakt gebruik van een tweefasige aanpak:

   • Fase 1 (Pretraining): Een standaard DL-aanpak die uitsluitend een voorspellingsverlies (Dice loss) gebruikt om ervoor te zorgen dat het model de segmentatietaak leert en betekenisvolle initiële verklaringen produceert.
   • Fase 2 (Attention-Guided): Een gezamenlijke verliesfunctie wordt geïntroduceerd om de aandacht van het model uit te lijnen met de domeingestuurde doelstelling. De totale loss ($L_{total}$) wordt gedefinieerd als:
     $$L_{total} = \text{Dice}(y, \hat{y}) + \lambda \cdot SC(\Phi, \hat{\Phi})$$
     Waarbij $y$ en $\hat{y}$ voorspellingen en de grondwaarheid zijn, $\Phi$ de huidige Grad-CAM++ verklaring is, $\hat{\Phi}$ de doelstelling is van de spanningsveldverklaring, en $SC$ de cosinusovereenkomst (cosine similarity) is. De hyperparameter $\lambda$ balanceert de twee termen.

Belangrijkste Bijdragen

• Framework Ontwikkeling: Introductie van AGT, een framework dat XAI verplaatst van een post-hoc interpreteerbaarheidsinstrument naar een actief onderdeel van het trainingsproces, gestuurd door natuurkundige wetten in plaats van enkel datapatronen.
• Kwantitatieve XAI-evaluatie: Demonstratie dat post-hoc verklaringen voor segmentatiemodellen aanzienlijk variëren in kwaliteit en dat rigoureuze, objectieve metrieken noodzakelijk zijn om de meest getrouwe methode te selecteren (waarbij Grad-CAM++ als optimaal voor deze taak werd geïdentificeerd).
• Domeingestuurde Aandacht: De expliciete formulering van een verliesterm die afwijkingen bestraft tussen de modelaandacht en fysiek betekenisvolle spanningsvelden (Williams-oplossing), waardoor het model zich concentreert op regio's van hoge mechanische relevantie.
• Vergelijkende Analyse: Een systematische vergelijking van AGT met gebruik van fysieke targets (Binary Williams, Gradual Williams) versus niet-fysieke/misleidende targets (willekeurig geplaatste aandachtskaarten) en een standaard ongeleide baseline.

Resultaten
De studie werd gevalideerd op scheurtipsegmentatie in DIC-data uit experimenten met vermoeiingsscheurgroei.

• Voorspellende Prestaties: Modellen getraind met fysieke aandachtstargets (BW en GW) behaalden significant lagere validatie Dice-losses (gemiddeld $\approx 0,67$) vergeleken met niet-fysieke targets en de ongeleide referentie (gemiddeld $\ge 0,70$).
• Generalisatie en Betrouwbaarheid: Op out-of-distribution datasets (specifiek $S950,1.6$) vertoonde de Binary Williams (BW) strategie een superieure betrouwbaarheid (94% geldige voorspellingen) vergeleken met alle andere strategieën (maximaal 86%). Dit geeft aan dat het afstemmen van de aandacht op fysieke spanningsvelden de robuustheid tegen distributieverschuivingen versterkt.
• Getrouwheid van Verklaringen: Kwantitatieve metrieken toonden aan dat fysieke AGT-strategieën de correctheid (getrouwheid) van verklaringen verbeterden (lagere AUC-waarden), terwijl niet-fysieke strategieën de kwaliteit van de verklaring verslechterden. De ongeleide baseline vertoonde geen verandering in correctheid over een uitgebreide training, wat bevestigt dat de verbeteringen voortkwamen uit de aandachtsturing en niet louter uit extra trainingscycli.
• Hyperparameter Gevoeligheid: Empirische testen identificeerden een optimale range voor $\lambda$ tussen 0,5 en 3. Waarden die te hoog waren, veroorzaakten overcorrectie en verlies van saillante kenmerken, terwijl waarden die te laag waren onvoldoende effect hadden.

Betekenis en Claims
Het artikel claimt dat AGT succesvol de trade-off tussen modelnauwkeurigheid en interpreteerbaarheid in wetenschappelijke machine learning aanpakt. Door het trainingsproces te verankeren aan gevestigde fysische theorieën (Williams-reeks), zorgt het framework ervoor dat deep learning-modellen niet alleen accuraat voorspellen, maar ook "denken" op een wijze die consistent is met domeinexperts. Dit leidt tot modellen die robuuster, betrouwbaarder en beter generaliseerbaar zijn, met name in scenario's waar data ruisachtig of schaars is.

De auteurs benadrukken dat deze benadering XAI verder brengt dan louter visualisatie; het wordt een mechanisme om expertkennis in het leerproces te injecteren. Zij erkennen dat het vinden van geschikte domein-priors die wiskundig geformuleerd kunnen worden voor aandachtsturing een aanzienlijke uitdaging is, maar waar toepasbaar, biedt AGT een geprincipeerd pad naar betrouwbare AI in de breukmechanica en potentieel andere wetenschappelijke domeinen. Het werk claimt niet alle XAI-problemen op te lossen, maar biedt een specifieke, gevalideerde weg voor het integreren van fysieke beperkingen in deep learning-training om zowel prestaties als verklaarbaarheid te verbeteren.