When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide

Titolo

Quando possiamo fidarci delle Reti Neurali Profonde? Verso un dispiegamento industriale affidabile con una guida per l'interpretabilità.

1. Il Problema

L'implementazione di sistemi di Intelligenza Artificiale (AI) in domini critici per la sicurezza (come l'ispezione dei difetti industriali, la guida autonoma e la diagnosi medica) è ostacolata dalla mancanza di affidabilità intrinseca dei modelli di Deep Learning.

• Il Paradosso dell'Affidabilità: Anche con tassi di accuratezza elevati, un singolo errore non rilevato (falso negativo) può portare a conseguenze catastrofiche.
• Limiti delle Metodi Attuali: Le attuali pipeline "dati-modello-output" mancano di meccanismi interni per segnalare proattivamente previsioni errate. Metodi basati sull'incertezza (Uncertainty Estimation) o sulla confidenza del modello sono efficaci per rilevare dati fuori distribuzione (OOD), ma falliscono nel rilevare casi di "in-distribution yet confidently wrong" (dati nella distribuzione ma con previsioni errate e ad alta confidenza).
• Obiettivo: Determinare quando una rete commette un errore, basandosi sul processo di ragionamento interno del modello piuttosto che solo sull'output finale.

2. Metodologia Proposta

Gli autori propongono un indicatore post-hoc basato sull'interpretabilità per rilevare i falsi negativi nelle reti di rilevamento dei difetti binari. Il metodo si articola in tre fasi principali:

A. Sfruttamento della Discrepanza Interpretativa

L'ipotesi centrale è che l'affidabilità di una previsione possa essere giudicata confrontando diverse spiegazioni visive (heatmap) generate per lo stesso campione:

1. Metodo Discriminativo (Grad-CAM): Genera mappe di attivazione specifiche per la classe prevista (es. "difetto" vs "sfondo"). Si concentra sulle caratteristiche che distinguono la classe target.
2. Metodo Non Discriminativo (FullGrad): Genera mappe agnostiche rispetto alla classe, catturando tutte le caratteristiche non di sfondo presenti nell'immagine, indipendentemente dalla classe finale.

B. Calcolo del $\Delta$-IoU

Il metodo quantifica la discrepanza tra queste due mappe di calore calcolando la differenza nell'Intersection over Union (IoU):

• Si calcola l'IoU tra la mappa della classe positiva (Grad-CAM) e la mappa agnostica (FullGrad).
• Si calcola l'IoU tra la mappa della classe negativa (Grad-CAM) e la mappa agnostica (FullGrad).
• La differenza ($\Delta$IoU) serve come punteggio di affidabilità.
  • Campioni True Negative (TN): Le mappe Grad-CAM e FullGrad differiscono significativamente (basso $\Delta$IoU o comportamento prevedibile).
  • Campioni False Negative (FN): Spesso mostrano una discrepanza anomala perché il modello non riesce a focalizzarsi correttamente sul difetto, creando una discrepanza strutturale tra le spiegazioni.

C. Potenziamento Avversario (Adversarial Enhancement)

Per garantire che tutti i falsi negativi vengano rilevati (anche quelli con difetti sottili), viene introdotta una tecnica di potenziamento:

• Si applica un attacco avversario iterativo all'immagine di input per spostare le caratteristiche verso la classe positiva ($y_{c1}$).
• Questo processo amplifica le caratteristiche del difetto, rendendo più evidente la discrepanza tra le spiegazioni e facilitando il rilevamento dei campioni sospetti.

3. Contributi Chiave

1. Metodo senza addestramento (Training-free): Non richiede modifiche architetturali al modello pre-addestrato; utilizza solo le spiegazioni post-hoc.
2. Rilevamento Proattivo: È il primo metodo proposto che identifica proattivamente le uscite potenzialmente errate basandosi sul processo decisionale interno, non solo sull'output.
3. Nuovo Paradigma: Propone un cambio di paradigma da "dati-modello-output" a "dati-modello-interpretazione-output", integrando l'interpretabilità come componente fondamentale del processo decisionale per la sicurezza.
4. Prestazioni di Recall: Con il potenziamento avversario, il metodo raggiunge il 100% di recall nella rilevazione dei difetti, eliminando i falsi negativi.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark industriali per il rilevamento di difetti superficiali (Kolektor SDD e Kolektor SDD2):

• Senza potenziamento avversario:
  • Su Kolektor SDD: Raggiunge il 100% di recall (0 falsi negativi), identificando tutti i campioni sospetti, sebbene con un compromesso (alcuni veri negativi vengono classificati come sospetti).
  • Su Kolektor SDD2: Identifica 10 su 19 falsi negativi, migliorando il recall dell'8,3% rispetto al modello originale.
• Con potenziamento avversario ($\Delta$IoUadv):
  • Su Kolektor SDD2 con modello VGG16: Recall del 98,2%.
  • Su Kolektor SDD2 con modello VGG16+CBAM: Raggiunge il 100% di recall (0 falsi negativi).
• Trade-off: Il raggiungimento del 100% di recall comporta un aumento dei falsi positivi (campioni veri negativi etichettati come sospetti), che vengono poi rimossi dal flusso di produzione per garantire la sicurezza.

5. Significato e Implicazioni

• Sicurezza Industriale: Il lavoro dimostra che l'interpretabilità non è solo uno strumento di analisi, ma un meccanismo di sicurezza attivo. Permette di filtrare le previsioni a rischio prima che causino danni fisici o economici.
• Cambiamento di Paradigma: Suggerisce che per le applicazioni critiche, l'AI non deve essere una "scatola nera" che produce un output diretto, ma deve includere un passo di verifica basato sull'interpretazione interna.
• Limitazioni e Futuro: Il paper riconosce che l'attuale tasso di falsi positivi è elevato (spesso dovuti a campioni che assomigliano visivamente ai difetti). Il lavoro futuro si concentrerà sull'estendere il metodo a scenari multi-classe e sull'integrazione di conoscenze specifiche del dominio per ridurre i falsi allarmi.

In sintesi, questo studio offre una soluzione pratica per trasformare le reti neurali profonde in sistemi più affidabili per l'industria, utilizzando la discrepanza tra spiegazioni visive come segnale di allarme per potenziali errori critici.