Adaptive Training Controller (ATC): An Autotuning Framework for CNN-Based Plastic Waste Classification Using the PLASTIC Dataset

Résumé Technique : Contrôleur d'Entraînement Adaptatif (ATC) pour la Classification des Déchets Plastiques basée sur les CNN

Énoncé du Problème
La pollution par les déchets plastiques demeure un défi écologique critique, nécessitant des solutions de tri précises et automatisées. Bien que la classification d'images basée sur l'apprentissage profond ait montré des promesses, son application dans la gestion des déchets est entravée par deux facteurs principaux : la rareté des ensembles de données de référence spécifiques au domaine et l'absence d'algorithmes d'auto-ajustement généralisés et transparents. Les approches existantes reposent souvent sur des ensembles de données de déchets généraux qui manquent de catégories spécifiques au plastique et de variabilité visuelle suffisante, ce qui conduit à une faible généralisation des modèles. De plus, les méthodes traditionnelles d'optimisation des hyperparamètres, telles qu'Optuna, nécessitent souvent des ajustements spécifiques à l'architecture et de multiples essais d'entraînement, ce qui entraîne des coûts de calcul élevés et une dépendance aux GPU sans garantir d'améliorations de performance constantes à travers différentes architectures de réseaux de neurones convolutifs (CNN).

Méthodologie
La recherche aborde ces défis par une approche à deux volets impliquant la création de données et un nouveau cadre d'entraînement.

1. L'ensemble de données PLASTIC : Les auteurs ont construit un ensemble de données de référence personnalisé nommé « PLASTIC », comprenant 4 500 images réparties en 15 classes distinctes de déchets plastiques (ex. : plastiques cosmétiques, plastiques médicaux, polystyrène, PVC). L'ensemble de données a été constitué à partir de divers dépôts en libre accès et de sites d'images commerciales afin d'assurer la diversité des formes, des textures, des couleurs et de la détérioration des surfaces. Les données ont été divisées en 70 % pour l'entraînement, 20 % pour la validation et 10 % pour les tests. Le prétraitement a consisté en un redimensionnement des images à 224x224, une normalisation utilisant les statistiques d'ImageNet, et des techniques d'augmentation de données incluant le redimensionnement aléatoire, le retournement, la rotation et la variation de couleur (color jittering).

2. Évaluation des Modèles : Dix architectures CNN populaires ont été rigoureusement testées sous des conditions expérimentales identiques : ResNet (18, 34, 50, 101, 152), VGG (16, 19), GoogLeNet, EfficientNet et AlexNet.

3. Stratégies d'Entraînement : Les modèles ont été évalués selon trois stratégies d'entraînement distinctes :

   • Baseline (Référence) : Hyperparamètres fixes (optimiseur SGD, taux d'apprentissage constant de 0,001, pas d'auto-ajustement).
   • Autotuning Optuna : Un cadre de recherche bayésienne des hyperparamètres utilisé pour optimiser les paramètres avant l'entraînement.
   • Contrôleur d'Entraînement Adaptatif (ATC) : Un cadre d'auto-ajustement proposé, agnostique à l'architecture. Contra à une méthode de recherche statique, l'ATC fonctionne comme un système en boucle fermée, sensible à l'entraînement. Il ajuste dynamiquement le processus d'entraînement en temps réel en fonction des tendances de la perte (loss). Les mécanismes clés incluent :
     • Adaptation du Taux d'Apprentissage Sensible à la Perte : Utilise une moyenne mobile exponentielle (EMA) de la perte pour détecter la stagnation. Si une stagnation est détectée, le taux d'apprentissage est réduit.
     • Planification (Scheduling) : Implémente un recuit cosinus (cosine annealing) avec une phase de chauffe (warm-up).
     • Mesures de Stabilité : Inclut l'écrêtage du gradient (gradient clipping) et la précision mixte automatique (AMP) pour une gestion des ressources sensible au matériel.
     • Flexibilité de l'Optimiseur : Supporte SGD, Adam et AdamW.

Principales Contributions

• Ensemble de données PLASTIC : Un benchmark unique de 4 500 images réelles à travers 15 catégories de déchets plastiques, conçu pour surmonter les limites des ensembles de données de déchets généraux.
• Contrôleur d'Entraînement Adaptatif (ATC) : Un algorithme d'auto-ajustement généralisé, transparent et indépendant du modèle. Il améliore la convergence et réduit les coûts de calcul en régulant dynamiquement les taux d'apprentissage, en utilisant la précision mixte et en stabilisant les gradients sans nécessiter d'ajustements spécifiques à l'architecture ou de ressources GPU étendues.
• Analyse Comparative : Une évaluation complète de dix architectures CNN sur le nouvel ensemble de données PLASTIC et sur un ensemble de données de déchets standard, démontrant la supériorité des données spécifiques au domaine et du cadre ATC par rapport aux méthodes de référence et Optuna.

Résultats Expérimentaux
L'étude a été menée sur un système équipé d'un GPU NVIDIA GeForce GTX 1660 Ti.

• Performance sur l'ensemble de données PLASTIC : L'ATC a systématiquement produit les valeurs de précision les plus élevées par rapport aux méthodes de référence et Optuna.

  • ResNet101 a atteint la précision de pointe de 94,89 % avec l'ATC (contre 94,44 % avec Optuna et 91,78 % avec la baseline).
  • ResNet50 a également atteint 94,89 % de précision avec l'ATC, surpassant nettement son résultat Optuna de 92,89 %.
  • L'ATC a démontré une stabilité supérieure, particulièrement pour des architectures comme VGG16 et VGG19, où Optuna a entraîné une dégradation significative des performances (ex. : la précision de test de VGG19 est tombée à 77,78 % avec Optuna mais est restée à 89,33 % avec l'ATC).
  • L'ATC a réduit le temps d'entraînement et les besoins en mémoire tout en maintenant une précision élevée.

• Performance sur l'ensemble de données de Déchets (Garbage Dataset) : Testé sur l'ensemble de données de déchets généraux, l'ATC a de nouveau surpassé la baseline et Optuna, bien que la précision absolue soit plus faible en raison de l'hétérogénéité des données. Par exemple, EfficientNet a atteint 68,95 % de précision avec l'ATC, contre 66,78 % avec Optuna. Notamment, l'ATC a apporté des gains substantiels pour les modèles en difficulté avec la baseline, tel que ResNet50, qui est passé de 21,27 % (baseline) à 55,44 % (ATC).

• Efficacité : L'ATC n'a nécessité qu'un seul cycle d'entraînement avec des ajustements dynamiques, tandis qu'Optuna nécessitait de multiples essais indépendants (n_trials), entraînant des frais de calcul et une dépendance aux GPU nettement plus élevés pour Optuna.

Signification et Revendications
L'article affirme que le cadre ATC proposé offre une solution rapide, efficace et informatiquement optimisée pour la classification des déchets plastiques basée sur l'apprentissage profond. En intégrant un ajustement adaptatif du taux d'apprentissage, une optimisation intelligente et une conscience du matériel, l'ATC minimise la dépendance aux GPU haut de gamme et réduit le temps d'entraînement tout en maximisant la précision de classification. L'étude soutient que la combinaison de l'ensemble de données spécifique PLASTIC et du cadre ATC indépendant de l'architecture fournit une solution robuste et évolutive pour la gestion durable des déchets, surpassant les méthodes traditionnelles d'entraînement statique et de recherche d'hyperparamètres sur divers modèles CNN. Les auteurs notent que si l'ATC montre une amélioration significative pour les modèles légers et de profondeur moyenne, les modèles plus profonds peuvent présenter des gains marginaux en raison de la saturation architecturale par rapport à la taille de l'ensemble de données. Les travaux futurs sont orientés vers le développement de modèles légers pour l'informatique en périphérie (edge computing) et l'expansion de l'ensemble de données PLASTIC.