Adaptive Training Controller (ATC): An Autotuning Framework for CNN-Based Plastic Waste Classification Using the PLASTIC Dataset

Technische Samenvatting: Adaptive Training Controller (ATC) voor CNN-gebaseerde classificatie van plastic afval

Probleemstelling
Plastic afvalvervuiling blijft een kritieke ecologische uitdaging, wat behoefte geeft aan nauwkeurige en geautomatiseerde sorteeroplossingen. Hoewel deep learning-gebaseerde beeldclassificatie veelbelovend is gebleken, wordt de toepassing ervan in afvalbeheer gehinderd door twee primaire factoren: de schaarste aan domeinspecifieke benchmark-datasets en het gebrek aan gegeneraliseerde, transparante autotuning-algoritmen. Bestaande benaderingen vertrouwen vaak op algemene vuilnisdatasets die onvoldoende plastic-specifieke categorieën en visuele variabiliteit bevatten, wat leidt tot een slechte generalisatie van het model. Bovendien vereisen traditionele methoden voor hyperparameteroptimalisatie, zoals Optuna, vaak architectuurspecifieke aanpassingen en meerdere trainingspogingen, wat resulteert in hoge computationele kosten en GPU-afhankelijkheid zonder consistente prestatieverbeteringen te garanderen over verschillende Convolutional Neural Network (CNN) architecturen heen.

Methodologie
Het onderzoek pakt deze uitdagingen aan via een tweeledige aanpak bestaande uit datasetcreatie en een nieuw trainingsframework.

1. De PLASTIC Dataset: De auteurs hebben een aangepaste benchmark-dataset geconstrueerd genaamd "PLASTIC", bestaande uit 4.500 afbeeldingen verdeeld over 15 verschillende klassen van plastic afval (bijv. cosmetische plastics, medische plastics, piepschuim, PVC). De dataset is samengesteld uit diverse open-source repositories en commerciële stockfotosite om diversiteit in vorm, textuur, kleur en oppervlakteverslechtering te waarborgen. De data werd gesplitst in 70% training, 20% validatie en 10% test. Preprocessing omvatte het herschalen van afbeeldingen naar 224x224, normalisatie met behulp van ImageNet-statistieken, en data-augmentatietechnieken zoals willekeurige resizing, flipping, rotatie en color jittering.

2. Model Evaluatie: Tien populaire CNN-architecturen werden strikt getest onder identieke experimentele omstandigheden: ResNet (18, 34, 50, 101, 152), VGG (16, 19), GoogLeNet, EfficientNet en AlexNet.

3. Trainingsstrategieën: De modellen werden geëvalueerd met drie verschillende trainingsstrategieën:

   • Baseline: Vaste hyperparameters (SGD optimizer, constante learning rate van 0.001, geen autotuning).
   • Optuna Autotuning: Een Bayesiaans hyperparameterzoekframework dat parameters optimaliseert voorafgaand aan de training.
   • Adaptive Training Controller (ATC): Een voorgestelde, architectuur-agnostische autotuning-framework. In tegen tegenstelling tot statische zoekmethoden werkt ATC als een closed-loop, training-bewust systeem. Het past het trainingsproces dynamisch en in real-time aan op basis van loss-trends. Belangrijke mechanismen zijn:
     • Loss-Sensitive Learning Rate Adaptation: Gebruikt een Exponential Moving Average (EMA) van de loss om stagnatie te detecteren. Indien stagnatie wordt gedetecteerd, wordt de learning rate verlaagd.
     • Scheduling: Implementeert cosine annealing met warm-up.
     • Stabiliteitsmaatregelen: Omvat gradient clipping en Automatic Mixed Precision (AMP) voor hardware-bewust resourcebeheer.
     • Optimizer Flexibiliteit: Ondersteunt SGD, Adam en AdamW.

Belangrijkste Bijdragen

• PLASTIC Dataset: Een unieke benchmark van 4.500 real-life afbeeldingen over 15 categorieën van plastic afval, ontworpen om de beperkingen van algemene vuilnisdatasets te overwinnen.
• Adaptive Training Controller (ATC): Een gegeneraliseerd, transparant en model-agnostisch autotuning-algoritme. Het verbetert convergentie en vermindert computationele kosten door dynamisch learning rates te reguleren, mixed precision te gebruiken en gradiënten te stabiliseren zonder dat daarvoor architectuurspecifieke tuning of uitgebreide GPU-resources nodig zijn.
• Vergelijkende Analyse: Een uitgebreide evaluatie van tien CNN-architecturen op zowel de nieuwe PLASTIC-dataset als een standaard publieke vuilnisdataset, waarbij de superioriteit van domeinspecifieke data en het ATC-framework boven de baseline en Optuna-methoden wordt aangetoond.

Experimentele Resultaten
De studie werd uitgevoerd op een systeem uitgerust met een NVIDIA GeForce GTX 1660 Ti GPU.

• Prestaties op de PLASTIC Dataset: ATC leverde consistent de hoogste nauwkeurigheidswaarden vergeleken met zowel de baseline als de Optuna-methoden.

  • ResNet101 bereikte de piek-nauwkeurigheid van 94,89% met ATC (vergeleken met 94,44% met Optuna en 91,78% met de baseline).
  • ResNet50 bereikte ook 94,89% nauwkeurigheid met ATC, wat aanzienlijk beter is dan de Optuna-resultaten van 92,89%.
  • ATC demonstreerde superieure stabiliteit, met name voor architecturen zoals VGG16 en VGG19, waarbij Optuna leidde tot significante prestatieverslechtering (bijv. de VGG19 test-nauwkeurigheid daalde naar 77,78% met Optuna, maar bleef op 89,33% met ATC).
  • ATC verminderde de trainingstijd en geheugenvereisten terwijl een hoge nauwkeurigheid behouden bleef.

• Prestaties op de Garbage Dataset: Bij testen op de algemene vuilnisdataset presteerde ATC opnieuw beter dan de baseline en Optuna, hoewel de absolute nauwkeurigheid lager was vanwege de heterogeniteit van de dataset. Bijvoorbeeld, EfficientNet behaalde 68,95% nauwkeurigheid met ATC, vergeleken met 66,78% met Optuna. Opvallend genoeg leverde ATC substantiële winst op voor modellen die moeite hadden met de baseline, zoals ResNet50, die verbeterde van 21,27% (baseline) naar 5 পদার্থ 5,44% (ATC).

• Efficiëntie: ATC vereiste slechts één trainingsronde met dynamische aanpassingen, terwijl Optuna meerdere onafhankelijke pogingen (n_trials) vereiste, wat resulteerde in aanzienlijk hogere computationele overhead en GPU-afhankelijkheid voor Optuna.

Betekenis en Claims
Het artikel claimt dat het voorgestelde ATC-framework een snelle, effectieve en computationeel efficiënte oplossing biedt voor deep learning-gebaseerde classificatie van plastic afval. Door adaptieve learning rate tuning, intelligente optimalisatie en hardware-bewustzijn te integreren, minimaliseert ATC de afhankelijkheid van high-end GPU's en vermindert het de trainingstijd terwijl de classificatienauwkeurigheid wordt gemaximaliseerd. De studie stelt dat de combinatie van de domeinspecifieke PLASTIC-dataset en het architectuur-onafhankelijke ATC-framework een robuuste, schaalbare oplossing biedt voor duurzaam afvalbeheer, waarbij het superieur is aan traditionele statische training en zoekgebaseerde hyperparameteroptimalisatiemethoden over diverse CNN-modellen heen. De auteurs merken op dat hoewel ATC significante verbeteringen laat zien voor lichtgewicht en middeldiepe modellen, diepere modellen marginaal minder winst kunnen laten zien vanwege architecturale verzadiging relatief aan de datasetgrootte. Toekomstig werk is gericht op het ontwikkelen van lichtgewicht modellen voor edge computing en het uitbreiden van de PLASTIC-dataset.