A Transfer Learning Evaluation of Deep Neural Networks for Image Classification

Resumen Técnico: Una Evaluación de Aprendizaje por Transferencia de Redes Neuronales Profundas para Clasificación de Imágenes

Enunciado del Problema
El aprendizaje por transferencia es una técnica ubicua en el aprendizaje profundo que aprovecha pesos preentrenados de un dominio fuente (típicamente ImageNet) para acelerar el aprendizaje y mejorar el rendimiento en un dominio objetivo. Aunque se adopta ampliamente en diversos campos como la imagen médica, la detección remota y las aplicaciones móviles, seleccionar el modelo preentrenado óptimo para una tarea objetivo específica sigue siendo un dilema complejo. La literatura existente a menudo se centra principalmente en la precisión, descuidando restricciones críticas como el tiempo de entrenamiento, los requisitos de memoria y el tamaño del modelo. Los investigadores frecuentemente enfrentan confusión al equilibrar estos compromisos, particularmente al tratar con conjuntos de datos limitados o entornos con restricciones de hardware (por ejemplo, sistemas embebidos). El artículo aborda la necesidad de una evaluación integral que considere múltiples métricas más allá de la simple precisión para guiar la selección del modelo.

Metodología
Los autores realizaron un extenso estudio empírico que evaluó once arquitecturas populares de Redes Neuronales Convolucionales (CNN) preentrenadas contra cinco conjuntos de datos objetivo distintos. El estudio utilizó los siguientes componentes:

• Modelos Probados: Once arquitecturas que abarcan diferentes épocas de diseño y características: AlexNet, VGG-16, GoogLeNet (Inception-V1), ResNet-18, SqueezeNet, ResNext, DenseNet, MobileNet, WideResNet, ShuffleNet-V2 y MnasNet. Estos modelos varían en profundidad, ancho, uso de conexiones de salto y características especializadas como convoluciones separables por profundidad.
• Conjuntos de Datos: Se utilizaron cinco conjuntos de datos para representar diversos niveles de complejidad y especificidad de dominio:
  1. CIFAR-10: Un conjunto de datos estándar con 60,000 imágenes.
  2. MNIST: Un conjunto de datos estándar con 70,000 imágenes.
  3. Hymenoptera: Un conjunto de datos pequeño (245 de entrenamiento, 153 de prueba) para clasificar hormigas y abejas.
  4. Conjunto de Datos de Smartphone: Un conjunto de datos personalizado de 654 imágenes que representa 12 clases de modelos de teléfonos inteligentes (por ejemplo, Apple, Samsung, Huawei) para la clasificación de reciclaje de residuos electrónicos.
  5. Conjunto de Datos de Smartphone Aumentado: El conjunto de datos de smartphone expandido mediante rotación e inyección de ruido hasta 8,502 imágenes.
• Configuración Experimental: Los experimentos se realizaron en una GPU Nvidia GTX 1080 Ti utilizando PyTorch. El estudio empleó una búsqueda en cuadrícula para las tasas de aprendizaje ($\eta \in \{10^{-2}, 10^{-3}, 10^{-4}\}$) con el optimizador ADAM y un tamaño de lote de 10. Se aplicó parada temprana basada en la precisión de validación.
• Estrategias de Ajuste Fino: Se evaluaron dos escenarios distintos de aprendizaje por transferencia:
  1. Solo Capa Clasificadora: Las capas de extracción de características se congelaron; solo la capa de clasificación final se reinitializó y entrenó.
  2. Ajuste Fino Completo: Todas las capas de la red se desbloquearon y entrenaron.
• Episodios de Aprendizaje: Se probaron dos regímenes de entrenamiento: "Un Episodio" (muestras presentadas una vez) y "Diez Episodios" (muestras presentadas diez veces).
• Métricas de Evaluación: El rendimiento se midió utilizando:
  • Precisión: Rendimiento estándar de clasificación.
  • Densidad de Precisión: Definida como la precisión dividida por el número de parámetros ($\text{densidad} = \frac{\text{precisión}}{\#\text{parámetros}}$), sirviendo como medida de eficiencia de parámetros.
  • Tamaño del Modelo: Medido en número de parámetros (MB).
  • Tiempo de Entrenamiento: Medido en segundos.

Resultados Clave
El estudio arrojó hallazgos específicos sobre el rendimiento del modelo bajo diferentes restricciones:

• Densidad de Precisión:
  • En Ajuste Fino Completo, SqueezeNet demostró consistentemente la mayor densidad de precisión en todos los conjuntos de datos, validando su objetivo de diseño de mantener una precisión al nivel de AlexNet con significativamente menos parámetros.
  • En Ajuste Solo de Clasificador, ResNet-18 surgió como el candidato más eficiente en cuanto a densidad de precisión.
• Precisión:
  • Para aplicaciones que requieren la precisión absoluta más alta, DenseNet (en ajuste solo de clasificador) y modelos como GoogLeNet, ResNet-18, ResNext y ShuffleNet-V2 fueron identificados como candidatos sólidos.
• Tiempo de Entrenamiento:
  • AlexNet consistentemente requirió el tiempo de entrenamiento más corto.
  • SqueezeNet también demostró tiempos de entrenamiento muy cortos, particularmente en el ajuste solo de clasificador.
  • VGG-16 fue identificado como el modelo más complejo con los tiempos de entrenamiento más largos y los tamaños de modelo más grandes, lo que lo hace menos adecuado para entornos con recursos limitados.
• Tamaño del Modelo:
  • SqueezeNet, ShuffleNet, MobileNet, MnasNet y GoogLeNet ofrecieron los tamaños de modelo más pequeños, haciéndolos ideales para aplicaciones embebidas y móviles.
  • MnasNet mostró baja complejidad y tiempos de entrenamiento cortos, pero exhibió el peor rendimiento en términos de métricas de error en algunas configuraciones.

Significado y Afirmaciones
El artículo afirma proporcionar una "guía viable" y una "perspectiva profunda" para investigadores y practicantes que seleccionan modelos preentrenados. En lugar de ofrecer un único modelo "mejor", los autores argumentan que la elección óptima depende en gran medida de las restricciones específicas de la aplicación:

• Alta Precisión: GoogLeNet, DenseNet, ShuffleNet-V2, ResNet-18 y ResNext.
• Eficiencia de Parámetros (Densidad de Precisión): SqueezeNet (ajuste completo) y ResNet-18 (ajuste de clasificador).
• Velocidad (Tiempo de Entrenamiento): AlexNet y SqueezeNet.
• Despliegue Embebido/Móvil (Tamaño Pequeño): SqueezeNet, ShuffleNet, MobileNet, MnasNet y GoogLeNet.

Los autores declaran modestamente que su trabajo no proporciona un "veredicto final", sino que apoya la toma de decisiones basada en los compromisos entre el tiempo de entrenamiento, el tamaño del modelo y la precisión. Enfatizan que, aunque el aprendizaje por transferencia es poderoso, la reutilización de modelos preentrenados requiere una consideración cuidadosa de los requisitos específicos del dominio objetivo (por ejemplo, tamaño del conjunto de datos, limitaciones de hardware) para evitar implementaciones subóptimas. El estudio destaca que el ajuste fino solo de las capas del clasificador a menudo logra un alto rendimiento con menos parámetros y tiempos de entrenamiento más cortos, particularmente cuando las etiquetas objetivo son escasas, mientras que el ajuste completo es más apropiado cuando las etiquetas son abundantes.

Trabajo Futuro
Los autores indican planes para probar métricas de evaluación adicionales para facilitar aún más la toma de decisiones y para investigar sistemáticamente el uso de metadatos para estimar hiperparámetros útiles de aprendizaje por transferencia.