Interactive Mars Image Content-Based Search with Interpretable Machine Learning

Riepilogo Tecnico: Ricerca di Immagini Marzine Basata sul Contenuto con Apprendimento Automatico Interpretabile

Enunciato del Problema
Il Sistema di Dati Planetari della NASA (PDS) ospita milioni di immagini provenienti da missioni planetarie, creando un archivio dati in cui la ricerca manuale di prodotti specifici è impraticabile. Sebbene esistano sistemi di classificazione basati sul contenuto per automatizzare tale ricerca, i modelli di deep learning standard funzionano spesso come "scatole nere", mancando di trasparenza riguardo alle evidenze visive utilizzate per la presa di decisioni. Questa opacità crea un divario tra i modelli mentali degli utenti di Atlas (scienziati e pubblico) e i classificatori, ostacolando la fiducia e impedendo agli utenti di validare le evidenze. Inoltre, i metodi di spiegazione post-hoc esistenti (ad esempio GradCAM) possono essere inaffidabili in presenza di pattern ripetitivi comuni nelle immagini planetarie, come rocce o terreni, e falliscono nel spiegare perché una regione è stata presa in considerazione, indicando solo dove.

Metodologia
Gli autori propongono di sostituire il classificatore basato sul contenuto non interpretabile sull'Atlas delle Immagini PDS con un sistema intrinsecamente interpretabile basato sull'architettura Prototypical Part Network (ProtoPNet) (Chen et al., 2019).

• Architettura: Il sistema utilizza un backbone di rete profonda standard (VGG19 o ResNet18) per l'estrazione delle caratteristiche, seguito da un livello prototipico. Questo livello apprende un insieme di prototipi (esemplari) che rappresentano ciascuna classe di immagini. Un livello completamente connesso pesa quindi questi prototipi per effettuare la classificazione finale.
• Meccanismo di Interpretabilità: Per un'immagine di test, il sistema identifica le regioni più simili ai prototipi appresi. Queste regioni sono visualizzate come riquadri di delimitazione o mappe di calore, mostrando le evidenze specifiche utilizzate dal modello. La decisione di classificazione è trasparente: è una combinazione lineare dei punteggi di similarità tra le patch dell'immagine di test e i prototipi.
• Miglioramento Innovativo (Funzione di Perdita per la Diversità): Gli autori hanno identificato che l'addestramento standard del ProtoPNet spesso comporta una mancanza di diversità tra i prototipi (ad esempio, più prototipi che appaiono identici o originano dalla stessa immagine di addestramento). Per affrontare ciò, hanno introdotto un termine di diversità ($Div$) nella funzione di perdita. Questo termine minimizza la similarità tra prototipi distinti all'interno della stessa classe, assicurando che il modello apprenda un più ampio spettro di evidenze visive.
• Strategia di Addestramento: Il modello, denominato Proto-MSLNet, è stato addestrato sul dataset della superficie MSL (immagini dagli strumenti Mastcam e MAHLI del rover Curiosity). Il processo di addestramento impiega una divisione temporale (addestramento su sol passati, validazione/test su sol futuri) per simulare una generalizzazione realistica. La funzione di perdita totale combina entropia incrociata, costo di clustering, costo di separazione e il nuovo costo di diversità.

Contributi Chiave

1. Implementazione di un Sistema Interpretabile: Il documento delinea un piano per implementare il Proto-MSLNet sull'Atlas delle Immagini PDS, sostituendo il classificatore non interpretabile esistente per supportare la scoperta scientifica e la curiosità degli utenti.
2. Addestramento Potenziato dalla Diversità: Gli autori introducono e valutano un termine di costo per la diversità che migliora significativamente la varietà di evidenze utilizzate dal classificatore, in particolare per le classi con inizialmente bassa diversità di prototipi (ad esempio, "Cielo Notturno").
3. Valutazione Quantitativa e Qualitativa delle Evidenze: A differenza di lavori precedenti che si basano sull'accordo con annotazioni umane, questo studio quantifica la correttezza e la diversità dei prototipi appresi. Dimostrano che il sistema può identificare evidenze errate (ad esempio, caratteristiche di sfondo che agiscono come evidenze negative) e dati etichettati erroneamente.
4. Ciclo di Feedback Utente: Il sistema proposto include un meccanismo per gli utenti per segnalare classificazioni errate o evidenze errate, creando un ciclo di feedback per affinare il modello.

Risultati

• Compromesso sulle Prestazioni: I modelli interpretabili Proto-MSLNet hanno mostrato un lieve calo nell'accuratezza di test (circa 2,5 punti percentuali) e un aumento del tasso di astensione (immagini in cui il modello non è sufficientemente sicuro da classificare, passando da ~15,5% a ~24,5% per ResNet18) rispetto ai loro corrispettivi non interpretabili. Ciò è attribuito ai vincoli imposti dal livello prototipico.
• Miglioramenti nella Diversità: L'inclusione del termine di perdita per la diversità ha portato a un aumento di 2 punti percentuali nell'accuratezza di test e ha aumentato significativamente la diversità dei prototipi per la classe "Cielo Notturno" (da ~4 prototipi unici a un conteggio più elevato), mentre le classi già ricche di diversità (ad esempio, "Roccia Galleggiante") non hanno mostrato cambiamenti.
• Approfondimenti Qualitativi:
  • Correttezza: Il sistema ha identificato con successo che i prototipi "Cielo Notturno" si concentravano sul vuoto, portando a una classificazione errata delle immagini "Sole" quando il sole non era prominente. Al contrario, le classificazioni corrette evidenziavano la forma luminosa e rotonda del sole.
  • Evidenza Negativa: Il modello ha imparato a utilizzare le caratteristiche di sfondo come evidenze negative (ad esempio, sfondi rocciosi con pesi negativi) per distinguere i target di calibrazione.
  • Sovrapposizione di Classi: L'analisi ha rivelato sovrapposizioni tra classi come "Giunto della Ruota" e "Ruota", attribuite alla posizione della telecamera e agli angoli di rotazione, e ha identificato istanze etichettate erroneamente nel dataset.

Significato e Affermazioni
Il documento afferma che un sistema intrinsecamente interpretabile è vitale per colmare il divario tra i modelli mentali degli utenti e i classificatori di immagini planetarie. Rendendo trasparente l'evidenza, il sistema permette agli utenti di:

1. Validare gli indizi visivi utilizzati dal classificatore.
2. Identificare evidenze errate o problemi di qualità dei dati attraverso l'adjudicazione degli utenti.
3. Impegnarsi attivamente con i dati, favorendo un ciclo di feedback che può migliorare le prestazioni del classificatore nel tempo.

Gli autori affermano con modestia che, sebbene vi sia un costo marginale nelle prestazioni, la capacità di correggere evidenze spurie e l'istituzione di un meccanismo di feedback guidato dall'utente sono essenziali per il miglioramento a lungo termine della classificazione dei contenuti nelle missioni planetarie della NASA. Il lavoro futuro si concentrerà su studi con gli utenti per ottimizzare la visualizzazione dei prototipi e l'integrazione del feedback degli utenti nei protocolli di affinamento del modello.