Adaptive Training Controller (ATC): An Autotuning Framework for CNN-Based Plastic Waste Classification Using the PLASTIC Dataset

Sintesi Tecnica: Adaptive Training Controller (ATC) per la Classificazione di Rifiuti Plastici basata su CNN

Problematica
L'inquinamento da rifiuti plastici rimane una sfida ecologica critica, che richiede soluzioni di smistamento precise e automatizzate. Sebbene la classificazione delle immagini basata sul deep learning abbia mostrato potenziale, la sua applicazione nella gestione dei rifiuti è ostacolata da due fattori primari: la scarsità di dataset di riferimento specifici per il dominio e la mancanza di algoritmi di autotuning generalizzati e trasparenti. Gli approcci esistenti spesso si affidano a dataset di rifiuti generici che mancano di categorie sufficientemente specifiche per la plastica e di variabilità visiva, portando a una scarsa generalizzazione del modello. Inoltre, i metodi tradizionali di ottimizzazione degli iperparametri, come Optuna, richiedono spesso regolazioni specifiche per l'architettura e molteplici tentativi di addestramento, comportando elevati costi computazionali e dipendenza dalla GPU senza garantire miglioramenti costanti delle prestazioni tra le diverse architetture di Reti Neurali Convoluzionali (CNN).

Metodologia
La ricerca affronta queste sfide attraverso un approccio a due pilastri che coinvolge la creazione di un dataset e un nuovo framework di addestramento.

1. Il Dataset PLASTIC: Gli autori hanno costruito un dataset di riferimento personalizzato denominato "PLASTIC", composto da 4.500 immagini distribuite in 15 classi distinte di rifiuti plastici (ad es., plastiche cosmetiche, plastiche mediche, polistirolo, PVC). Il dataset è stato curato da vari repository open-source e siti di immagini stock commerciali per garantire diversità in termini di forma, consistenza, colore e deterioramento superficiale. I dati sono stati suddivisi in 70% per l'addestramento, 20% per la validazione e 10% per il test. Il pre-processing ha comportato il ridimensionamento delle immagini a 224x224, la normalizzazione tramite statistiche ImageNet e tecniche di data augmentation, inclusi ridimensionamento casuale, flipping, rotazione e color jittering.

2. Valutazione del Modello: Dieci popolari architetture CNN sono state rigorosamente testate sotto identiche condizioni sperimentali: ResNet (18, 34, 50, 101, 152), VGG (16, 19), GoogLeNet, EfficientNet e AlexNet.

3. Strategie di Addestramento: I modelli sono stati valutati utilizzando tre distinte strategie di addestramento:

   • Baseline: Iperparametri fissi (ottimizzatore SGD, learning rate costante di 0,001, nessun autotuning).
   • Optuna Autotuning: Un framework di ricerca bayesiana degli iperparametri utilizzato per ottimizzare i parametri prima dell'addestramento.
   • Adaptive Training Controller (ATC): Un framework di autotuning proposto, agnostico rispetto all'architettura. A differenza dei metodi di ricerca statica, ATC opera come un sistema a ciclo chiuso, consapevole dell'addestramento (training-aware). Regola dinamicamente il processo di addestramento in tempo reale in base alle tendenze della perdita (loss). I meccanismi chiave includono:
     • Adattamento del Learning Rate Sensibile alla Loss: Utilizza una Media Mobile Esponenziale (EMA) della loss per rilevare la stagnazione. Se viene rilevata stagnazione, il learning rate viene ridotto.
     • Scheduling: Implementa il cosine annealing con warm-up.
     • Misure di Stabilità: Include il gradient clipping e l'Automatic Mixed Precision (AMP) per la gestione delle risorse consapevole dell'hardware.
     • Flessibilità dell'Ottimizzatore: Supporta SGD, Adam e AdamW.

Contributi Chiave

• Dataset PLASTIC: Un dataset di riferimento unico di 4.500 immagini reali suddivise in 15 categorie di rifiuti plastici, progettato per superare i limiti dei dataset di rifiuti generici.
• Adaptive Training Controller (ATC): Un algoritmo di autotuning generalizzato, trasparente e indipendente dal modello. Migliora la convergenza e riduce i costi computazionali regolando dinamicamente i learning rate, utilizzando la precisione mista e stabilizzando i gradienti senza richiedere una regolazione specifica per l'architettura o estese risorse GPU.
• Analisi Comparativa: Una valutazione completa di dieci architetture CNN sia sul nuovo dataset PLASTIC che su un dataset di rifiuti pubblico standard, dimostrando la superiorità dei dati specifici del dominio e del framework ATC rispetto ai metodi baseline e Optuna.

Risultati Sperimentali
Lo studio è stato condotto su un sistema equipaggiato con una GPU NVIDIA GeForce GTX 1660 Ti.

• Prestazioni sul Dataset PLASTIC: ATC ha costantemente prodotto i valori di accuratezza più elevati rispetto ai metodi baseline e Optuna.

  • ResNet101 ha raggiunto l'accuratezza massima del 94,89% utilizzando ATC (rispetto al 94,44% con Optuna e al 91,78% con la baseline).
  • Anche ResNet50 ha raggiunto il 94,89% di accuratezza con ATC, superando significativamente il suo risultato Optuna del 92,89%.
  • ATC ha dimostrato una stabilità superiore, in particolare per architetture come VGG16 e VGG19, dove Optuna ha causato un significativo degrado delle prestazioni (ad es., l'accuratezza di test di VGG19 è scesa al 77,78% con Optuna ma è rimasta all'89,33% con ATC).
  • ATC ha ridotto i tempi di addestramento e i requisiti di memoria mantenendo un'alta accuratezza.

• Prestazioni sul Dataset Garbage: Quando testato sul dataset di rifiuti generico, ATC ha nuovamente superato la baseline e Optuna, sebbene l'accuratezza assoluta fosse inferiore a causa dell'eterogeneità del dataset. Ad esempio, EfficientNet ha raggiunto il 68,95% di accuratezza con ATC, rispetto al 66,78% con Optuna. Significativamente, ATC ha fornito guadagni sostanziali per i modelli che faticavano con la baseline, come ResNet50, che è passato dal 21,27% (baseline) al 55,44% (ATC).

• Efficienza: ATC ha richiesto un singolo ciclo di addestramento con regolazioni dinamiche, mentre Optuna ha richiesto molteplici tentativi indipendenti (n_trials), risultando in un overhead computazionale e una dipendenza dalla GPU significativamente più elevati per Optuna.

Significatività e Rivendicazioni
Il documento afferma che il framework ATC proposto offre una soluzione rapida, efficace e computazionalmente efficiente per la classificazione dei rifiuti plastici basata sul deep learning. Integrando l'adattamento del learning rate, l'ottimizzazione intelligente e la consapevolezza dell'hardware, ATC minimizza la dipendenza da GPU ad alte prestazioni e riduce i tempi di addestramento massimizzando al contempo l'accuratezza della classificazione. Lo studio asserisce che la combinazione del dataset specifico del dominio PLASTIC e del framework ATC indipendente dall'architettura fornisce una soluzione robusta e scalabile per la gestione sostenibile dei rifiuti, superando i metodi tradizionali di addestramento statico e di ricerca degli iperparametri basati su ricerca tra diverse modelli CNN. Gli autori osservano che, sebbene ATC mostri miglioramenti significativi per modelli leggeri e a media profondità, i modelli più profondi potrebbero mostrare guadagni marginali a causa della saturazione architettonica rispetto alla dimensione del dataset. Il lavoro futuro è orientato allo sviluppo di modelli leggeri per l'edge computing e all'espansione del dataset PLASTIC.