Adaptive Training Controller (ATC): An Autotuning Framework for CNN-Based Plastic Waste Classification Using the PLASTIC Dataset

Resumen Técnico: Controlador de Entrenamiento Adaptativo (ATC) para la Clasificación de Residuos Plásticos Basada en CNN

Planteamiento del Problema
La contaminación por residuos plásticos sigue siendo un desafío ecológico crítico, lo que requiere soluciones de clasificación precisas y automatizadas. Si bien la clasificación de imágenes basada en aprendizaje profundo ha mostrado resultados prometedores, su aplicación en la gestión de residuos se ve obstaculizada por dos factores primordiales: la escasez de conjuntos de datos de referencia específicos del dominio y la falta de algoritmos de autoajuste generalizados y transparentes. Los enfoques existentes suelen depender de conjuntos de datos generales de basura que carecen de suficientes categorías específicas de plástico y de variabilidad visual. Además, los métodos tradicionales de optimización de hiperparámetros, como Optuna, a menudo requieren ajustes específicos de la arquitectura y múltiples ensayos de entrenamiento, lo que resulta en altos costos computacionales y dependencia de GPU sin garantizar mejoras de rendimiento consistentes en diferentes arquitecturas de Redes Neuronales Convolucionales (CNN).

Metodología
La investigación aborda estos desafíos mediante un enfoque de doble vía que involucra la creación de un conjunto de datos y un nuevo marco de entrenamiento.

1. El Conjunto de Datos PLASTIC: Los autores construyeron un conjunto de datos de referencia personalizado llamado "PLASTIC", que comprende 4,500 imágenes distribuidas en 15 clases distintas de residuos plásticos (por ejemplo, plásticos cosméticos, plásticos médicos, poliestireno expandido, PVC). El conjunto de datos fue curado a partir de varios repositorios de código abierto y sitios de imágenes de stock comerciales para asegurar la diversidad en forma, textura, color y deterioro de la superficie. Los datos se dividieron en 70% para entrenamiento, 20% para validación y 10% para pruebas. El preprocesamiento consistió en el redimensionamiento de las imágenes a 224x224, la normalización utilizando estadísticas de ImageNet y técnicas de aumento de datos, incluyendo redimensionamiento aleatorio, volteo, rotación y oscurecimiento de color (color jittering).

2. Evaluación de Modelos: Diez arquitecturas populares de CNN fueron evaluadas rigurosamente bajo condiciones experimentales idénticas: ResNet (18, 34, 50, 101, 152), VGG (16, 19), GoogLeNet, EfficientNet y AlexNet.

3. Estrategias de Entrenamiento: Los modelos fueron evaluados utilizando tres estrategias de entrenamiento distintas:

   • Línea Base (Baseline): Hiperparámetros fijos (optimizador SGD, tasa de aprendizaje constante de 0.001, sin autoajuste).
   • Autoajuste con Optuna: Un marco de búsqueda bayesiana de hiperparámetros utilizado para optimizar parámetros antes del entrenamiento.
   • Controlador de Entrenamiento Adaptativo (ATC): Un marco de autoajuste propuesto, agnóstico a la arquitectura. A diferencia de los métodos de búsqueda estáticos, el ATC opera como un sistema de bucle cerrado consciente del entrenamiento. Ajusta dinámicamente el proceso de entrenamiento en tiempo real basándose en las tendencias de la pérdida (loss). Los mecanismos clave incluyen:
     • Adaptación de la Tasa de Aprendizaje Sensible a la Pérdida: Utiliza una Media Móvil Exponencial (EMA) de la pérdida para detectar el estancamiento. Si se detecta estancamiento, la tasa de aprendizaje se reduce (decay).
     • Programación (Scheduling): Implementa el recocido de coseno (cosine annealing) con fase de calentamiento (warm-up).
     • Medidas de Estabilidad: Incluye recorte de gradiente (gradient clipping) y Precisión Mixta Automática (AMP) para la gestión de recursos consciente del hardware.
     • Flexibilidad del Optimizador: Soporta SGD, Adam y AdamW.

Contribuciones Clave

• Conjunto de Datos PLASTIC: Un referente único de 4,500 imágenes de la vida real a través de 15 categorías de residuos plásticos, diseñado para superar las limitaciones de los conjuntos de datos de basura generales.
• Controlador de Entrenamiento Adaptativo (ATC): Un algoritmo de autoajuste generalizado, transparente y agnóstico al modelo. Mejora la convergencia y reduce los costos computacionales al regular dinámicamente las tasas de aprendizaje, utilizando precisión mixta y estabilizando los gradientes sin requerir un ajuste específico de la arquitectura o extensos recursos de GPU.
• Análisis Comparativo: Una evaluación exhaustiva de diez arquitecturas CNN tanto en el nuevo conjunto de datos PLASTIC como en un conjunto de datos de basura público estándar, demostrando la superioridad de los datos específicos del dominio y del marco ATC sobre los métodos de línea base y Optuna.

Resultados Experimentales
El estudio se llevó a cabo en un sistema equipado con una GPU NVIDIA GeForce GTX 1660 Ti.

• Rendimiento en el Conjunto de Datos PLASTIC: El ATC produjo consistentemente los valores de precisión más altos en comparación con los métodos de línea base y Optuna.

  • ResNet101 alcanzó el pico de precisión del 94.89% usando ATC (comparado con 94.44% con Optuna y 91.78% con la línea base).
  • ResNet50 también alcanzó un 94.89% de precisión con ATC, superando significativamente su resultado de Optuna de 92.89%.
  • El ATC demostró una estabilidad superior, particularmente para arquitecturas como VGG16 y VGG19, donde Optuna resultó en una degradación significativa del rendimiento (por ejemplo, la precisión de prueba de VGG19 cayó al 77.78% con Optuna pero se mantuvo en 89.33% con ATC).
  • El ATC redujo el tiempo de entrenamiento y los requisitos de memoria manteniendo una alta precisión.

• Rendimiento en el Conjunto de Datos de Basura (Garbage Dataset): Al ser probado en el conjunto de datos de basura general, el ATC también superó a la línea base y a Optuna, aunque la precisión absoluta fue menor debido a la heterogeneidad del conjunto de datos. Por ejemplo, EfficientNet logró un 68.95% de precisión con ATC, frente al 66.78% con Optuna. Notablemente, el ATC proporcionó ganancias sustanciales para modelos que tuvieron dificultades con la línea base, como ResNet50, que mejoró del 21.27% (línea base) al 55.44% (ATC).

• Eficiencia: El ATC requirió una sola ejecución de entrenamiento con ajustes dinámicos, mientras que Optuna requirió múltiples ensayos independientes (n_trials), lo que resultó en una carga computacional y dependencia de GPU significativamente mayor para Optuna.

Significancia y Reivindicaciones
El artículo afirma que el marco ATC propuesto ofrece una solución rápida, efectiva y computacionalmente eficiente para la clasificación de residuos plásticos basada en aprendizaje profundo. Al integrar el ajuste adaptativo de la tasa de aprendizaje, la optimización inteligente y la conciencia del hardware, el ATC minimiza la dependencia de GPUs de alto nivel y reduce el tiempo de entrenamiento mientras maximiza la precisión de la clasificación. El estudio sostiene que la combinación del conjunto de datos específico del dominio PLASTIC y el marco independiente de la arquitectura ATC proporciona una solución robusta y escalable para la gestión sostenible de residuos, superando los métodos tradicionales de entrenamiento estático y de búsqueda de optimización de hiperparámetros en diversos modelos CNN. Los autores señalan que, si bien el ATC muestra una mejora significativa para modelos ligeros y de profundidad media, los modelos más profundos pueden mostrar ganancias marginales debido a la saturación arquitectónica en relación con el tamaño del conjunto de datos. El trabajo futuro se dirige hacia el desarrollo de modelos ligeros para computación en el borde (edge computing) y la expansión del conjunto de datos PLASTIC.