AnomalyMatch: Discovering Rare Objects of Interest with Semi-supervised and Active Learning

Sintesi Tecnica: AnomalyMatch

Problematica
L'identificazione delle anomalie — outlier rari e insoliti — in dataset di immagini su larga scala è una sfida critica in astronomia e nella visione artificiale. Mentre gli osservatori di prossima generazione come Euclid e il Vera C. Rubin Observatory rilasceranno volumi di dati senza precedenti (miliardi di galassie), la scarsità di esempi etichettati per oggetti rari (spesso <0,1% di un dataset) rende impraticabili i metodi tradizionali di apprendimento automatico supervisionato. Gli approcci esistenti affrontano ostacoli significativi: i metodi non supervisionati spesso faticano con la complessità dei dati d'immagine ad alta dimensionalità, mentre i metodi supervisionati richiedono grandi dataset etichettati che non esistono per molte morfologie rare. Inoltre, le iniziative di scienza dei cittadini, pur essendo preziose, affrontano sfide nel definire criteri di anomalia coerenti e non possono scalare per l'ispezione manuale dei vasti volumi di dati delle moderne rilevazioni. Il problema centrale è lo sviluppo di un framework scalabile ed efficiente capace di rilevare anomalie rare con un minimo di dati etichettati iniziali, sfruttando al contempo l'abbondanza di dati non etichettati e incorporando il feedback umano esperto per perfezionare il rilevamento.

Metodologia: AnomalyMatch
Gli autori presentano AnomalyMatch, un framework di rilevamento delle anomalie semi-supervisionato progettato per trattare il rilevamento delle anomalie come un problema di classificazione binaria fortemente sbilanciato ("normale" vs "anomalia"). La metodologia integra tre componenti primarie:

1. Apprendimento Semi-Supervisionato (FixMatch): La strategia di addestramento principale adatta l'algoritmo FixMatch (Sohn et al. 2020). Utilizza un piccolo set di dati etichettati ($D_L$) e un ampio pool di dati non etichettati ($D_U$). Il modello, basato su un backbone EfficientNet (specificamente EfficientNetLite0), viene addestrato utilizzando una funzione di perdita combinata:

   • Perdita Supervisionata: Cross-entropy standard sul set etichettato.
   • Perdita Non Supervisionata: Regolarizzazione della coerenza applicata ai dati non etichettati. Immagini con aumenti deboli vengono utilizzate per generare pseudo-label ad alta confidenza (se la confidenza del modello supera la soglia $\tau=0,95$). Questi pseudo-label vengono poi utilizzati per penalizzare le predizioni del modello su versioni degli stessi dati con aumenti forti.
   • Gestione dello Sbilanciamento: Il framework impiega l'oversampling tramite un campionatore casuale pesato per affrontare il grave sbilanciamento delle classi, garantendo che i campioni di anomalia rari siano adeguatamente rappresentati durante l'addestramento.

2. Ciclo di Active Learning: Per mitigare la scarsità di anomalie etichettate, AnomalyMatch incorpora un processo iterativo human-in-the-loop. Dopo l'addestramento iniziale, il modello assegna punteggi al pool non etichettato. Un'interfaccia utente (GUI) consente agli esperti di dominio di:

   • Ispezionare visivamente i candidati con punteggio elevato.
   • Verificare le vere anomalie e correggere i falsi positivi (ad esempio, distinguere anomalie reali da artefatti di imaging come cattivi CCD o regioni defocate).
   • Espandere iterativamente il set di addestramento etichettato con questi campioni verificati.
   • Riedificare il modello sull'insieme espanso.

3. Implementazione Scalabile: Il sistema è costruito per alte prestazioni, capace di elaborare centinaia di milioni di immagini su una singola GPU. Supporta diversi formati di input (PNG, JPEG, TIFF, FITS) e si integra con gli standard di archiviazione dei dati astronomici (HDF5, Zarr) e la piattaforma ESA Datalabs. La GUI, costruita con ipywidgets, facilita l'esplorazione interattiva all'interno di notebook Jupyter.

Contributi Chiave

• Pipeline Innovativa: Una pipeline di rilevamento delle anomalie semi-supervisionata che combina FixMatch (snellito per il forte sbilanciamento delle classi), EfficientNet e active learning, riducendo significativamente il requisito di dati etichettati.
• GUI Interattiva: Un'interfaccia user-friendly che consente agli esperti di guidare iterativamente la selezione delle anomalie, correggere gli errori del modello e perfezionare le prestazioni senza interazione diretta con il backend.
• Integrazione: Integrazione fluida con strumenti astronomici stabiliti (normalizzazione Astropy, supporto FITS) e distribuzione all'interno dell'ecosistema ESA Datalabs.
• Benchmarking Completo: Valutazione estesa su diversi dataset (miniImageNet, GalaxyMNIST e Galaxy Zoo 2) che dimostra le prestazioni con un numero estremamente limitato di label iniziali (5–10 anomalie).
• Scalabilità: Un'implementazione capace di analizzare 100 milioni di immagini in pochi giorni, adatta alle imminenti rilevazioni su larga scala.

Risultati Sperimentali
Il framework è stato valutato su tre dataset sotto un severo sbilanciamento di classe:

• miniImageNet: Trattando specifiche classi di oggetti (es. Hourglass, Guitar) come anomalie (1% dei dati). Partendo da soli 5 anomalie etichettate, AnomalyMatch ha raggiunto un AUROC medio di 0,96 e un AUPRC di 0,82. Dopo tre cicli di active learning, ha raggiunto una precisione del 76% nel top 1% delle immagini classificate.
• GalaxyMNIST: Un dataset di morfologie galattiche dove una classe è stata trattata come anomalia (25% dei dati). Partendo da 10 anomalie etichettate, il sistema ha raggiunto un AUROC medio di 0,89 e un AUPRC di 0,77. La precisione nel top 1% ha raggiunto il 94%.
• Galaxy Zoo - The Galaxy Challenge: Un subset di circa 65.000 galassie con classificazioni "odd". Confrontato con il software consolidato Astronomaly, AnomalyMatch ha ottenuto prestazioni comparabili con un AUROC medio di 0,83. Gli autori notano che le prestazioni sono sensibili alla definizione di "anomalia" (cutoffs della frazione di votanti) in questo dataset con soft-label.

Studi di Ablazione

• Label Iniziali: L'aumento del numero iniziale di campioni etichettati (da 100 a 1000) ha prodotto rendimenti decrescenti, con le metriche di performance che rimangono robuste anche con un numero minimo di etichette iniziali.
• Iterazioni di Addestramento: Il numero ottimale di iterazioni di addestramento per ogni ciclo di active learning è stato individuato intorno a 100. Cicli di addestramento più lunghi (250–500 iterazioni) hanno portato all'overfitting sui dati etichettati iniziali, riducendo l'efficienza complessiva del rilevamento.

Significatività e Rivendicazioni
L'articolo sostiene che AnomalyMatch offre un'utilità eccezionale e scalabilità per la scoperta di anomalie in domini caratterizzati da una severa scarsità di etichette, come l'astronomia. Combinando l'apprendimento semi-supervisionato con l'active learning, il framework permette agli esperti di dominio di definire e rilevare anomalie scientificamente interessanti piuttosto che semplici outlier statistici generali. Gli autori sottolineano che il metodo sfrutta efficacemente i dati non etichettati per ridurre l'onere della revisione manuale, rendendolo uno strumento pratico per l'era delle rilevazioni del cielo ricche di dati. I risultati evidenziano che approcci specializzati che combinano l'esperienza umana con l'apprendimento automatico efficiente sono fondamentali per far avanzare il rilevamento delle anomalie in campi dove i dati etichettati sono intrinsecamente rari. L'articolo conclude che, sebbene il metodo sia altamente efficace, il lavoro futuro dovrebbe esplorare l'IA spiegabile, l'integrazione di dati multimodali e l'impatto degli errori di etichettatura per aumentarne ulteriormente la robustezza.