When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide

Probleemstelling

De toepassing van diepe neurale netwerken (DNN) in veiligheidskritieke domeinen, zoals industriële defectdetectie, autonoom rijden en medische diagnose, wordt ernstig beperkt door een gebrek aan betrouwbaarheid. Hoewel modellen vaak hoge nauwkeurigheid bereiken, blijven ze "black boxes" zonder interne mechanismen om onbetrouwbare voorspellingen te signaleren.

• Het kernprobleem: Bestaande methoden voor onzekerheidsschatting (zoals MC Dropout) zijn goed in het detecteren van "out-of-distribution" data, maar falen vaak bij "in-distribution yet confidently wrong" scenario's. Dit betekent dat een model een foutieve voorspelling doet met een zeer hoog vertrouwen, wat in kritieke toepassingen tot catastrofale gevolgen kan leiden (bijvoorbeeld een defect dat niet wordt gedetecteerd, een zogenaamde false negative).
• Huidige beperking: Er is geen manier om proactief te bepalen of een specifieke output van een getraind model foutief is, voordat deze in de praktijk wordt gebruikt.

Methodologie

De auteurs stellen een post-hoc interpretatiegebaseerde aanpak voor om verdachte samples (potentiële fouten) te detecteren zonder het model opnieuw te hoeven trainen of de architectuur te wijzigen.

1. Het Fundamentele Inzicht:
Het onderzoek baseert zich op het verschil tussen twee soorten uitlegmethoden (explanation methods):

• Class-discriminative (Klassiek): Methoden zoals Grad-CAM die specifiek kijken naar de kenmerken die bijdragen aan een bepaalde klasse (bijv. "defect").
• Class-agnostic (Niet-discriminerend): Methoden zoals FullGrad die gradienten van alle lagen aggregeren en kijken naar alle niet-achtergrondkenmerken, ongeacht de specifieke klasse.

2. De $\Delta$-IoU Indicator:
De kern van de methode is het kwantificeren van de discrepantie tussen deze twee uitleggen voor dezelfde input.

• Voor een binair defectdetectieprobleem (achtergrond vs. defect) worden warmtekaarten (heatmaps) gegenereerd voor beide klassen met zowel Grad-CAM als FullGrad.
• De auteurs berekenen het Intersection over Union (IoU) verschil tussen de discriminatieve heatmap en de class-agnostische heatmap.
• Formule: $\Delta IoU = IoU(E_{d}^{c1}, E_{n}) - IoU(E_{d}^{c0}, E_{n})$
  • Waarbij $E_d$ de discriminatieve heatmap is en $E_n$ de class-agnostische heatmap.
• Logica: Bij een True Negative (geen defect) zullen de methoden sterk verschillen omdat er geen specifieke defectkenmerken zijn. Bij een False Negative (defect bestaat maar wordt gemist) zullen beide methoden vaak dezelfde defectregio's lokaliseren, wat leidt tot een specifieke $\Delta$-IoU waarde. Samples met een afwijkende $\Delta$-IoU worden gemarkeerd als "verdacht".

3. Adversarial Enhancement (Adversariële Versterking):
Om ervoor te zorgen dat alle false negatives worden gedetecteerd (inclusief die met subtiele defectkenmerken), wordt een adversariële aanval toegepast op de inputafbeeldingen.

• Door de input iteratief te verschuiven in de richting van de positieve klasse (defect), worden subtiele defectkenmerken versterkt.
• Dit maakt het voor het model en de interpretatiemethoden makkelijker om de defecten te "zien", waardoor de $\Delta$-IoU indicator gevoeliger wordt voor potentiële fouten.

Belangrijkste Bijdragen

1. Nieuwe Detectiemethode: De eerste methode die proactief potentieel foutieve netwerkoutput identificeert door het vergelijken van class-discriminative en class-agnostic interpretaties ($\Delta$-IoU).
2. Paradigmaverschuiving: De auteurs pleiten voor een nieuw paradigma: Data-Model-Interpretatie-Output. Dit vervangt het traditionele "Data-Model-Output" en integreert interpretatie als een integraal onderdeel van de besluitvorming voor veiligheidskritieke toepassingen.
3. Training-free Aanpak: De methode vereist geen hertraining van het model en geen architecturale aanpassingen, wat het direct toepasbaar maakt voor bestaande systemen.
4. Adversariële Versterking: Een strategie om de detectie van false negatives te maximaliseren tot 100% recall.

Resultaten

De methode is getest op twee industriële defectdetectie-benchmarks (Kolektor SDD en Kolektor SDD2, oppervlaktedefecten van elektrische commutatoren).

• Prestaties zonder versterking:
  • Op de Kolektor SDD dataset bereikte de methode 100% recall (geen false negatives gemist) met een nauwkeurigheid van 100%, in vergelijking met de originele modellen die 93,4% recall hadden.
  • Op de Kolektor SDD2 dataset verbeterde de recall van 82,7% naar 91,0% (en tot 96,0% met een CBAM-architectuur).
• Prestaties met Adversarial Enhancement:
  • Met de adversariële versterking ($\Delta$-IoU$_{adv}$) werd 100% recall bereikt op beide datasets en voor verschillende modelarchitecturen.
  • Trade-off: Dit hoge niveau van veiligheid gaat ten koste van het aantal True Negatives dat als "verdacht" wordt gemarkeerd (False Positives). Bijvoorbeeld, op Kolektor SDD2 daalde het aantal correct geïdentificeerde veilige samples van 881 naar 250. Dit betekent dat het systeem conservatiever werkt: het waarschuwt vaker, maar mist geen enkele defect.
• Vergelijking: Bestaande methoden gebaseerd op confidencescore (zekerheidsgraad van het model) bleken inefficiënt, aangezien ze veelal faalden bij "hoog-vertrouwens fouten".

Betekenis en Conclusie

Dit paper biedt een cruciale stap naar betrouwbare AI in industriële en veiligheidskritieke omgevingen.

• Veiligheid: Het lost het probleem op van "hoog-vertrouwens fouten" door interne redeneringsprocessen van het model te gebruiken als een veiligheidscontrole.
• Nieuw Paradigma: Het introduceert interpretatie niet als een naslagwerk, maar als een noodzakelijke stap in de operationele cyclus van AI-systemen.
• Toekomstperspectief: Hoewel de methode momenteel leidt tot een hoger aantal waarschuwingen voor veilige items (wat leidt tot extra handmatige inspectie), is dit een aanvaardbare prijs in veiligheidskritieke scenario's. De auteurs erkennen dat verdere verbetering nodig is om de balans tussen valse alarmen en gemiste detecties te optimaliseren, waarschijnlijk door domeinspecifieke kennis beter te integreren.

Kortom, de studie bewijst dat interpretatie (XAI) een krachtig instrument kan zijn om de betrouwbaarheid van diepe neurale netwerken te garanderen, zelfs wanneer deze fouten maken.