CNN and ViT Efficiency Study on Tiny ImageNet and DermaMNIST Datasets

Resumen Técnico: Estudio de Eficiencia entre CNN y ViT en Tiny ImageNet y DermaMNIST

1. Problema Identificado

El estudio aborda el desafío crítico de desplegar modelos de visión por computadora en entornos con recursos limitados (dispositivos móviles para diagnóstico médico y drones para vigilancia militar). Se identifican dos limitaciones principales en las arquitecturas actuales:

• Redes Neuronales Convolucionales (CNN): Modelos como ResNet son eficientes y capturan bien características espaciales locales, pero carecen de la capacidad para modelar dependencias globales de largo alcance, lo que puede limitar su precisión en tareas complejas.
• Transformers de Visión (ViT): Aunque ofrecen un rendimiento superior en grandes conjuntos de datos gracias a sus mecanismos de autoatención, tienden a sufrir de overfitting (sobreajuste) en conjuntos de datos pequeños y de baja resolución (como DermaMNIST). Además, su alto costo computacional y gran huella de memoria los hacen poco prácticos para la inferencia en tiempo real en dispositivos con restricciones de hardware.

El objetivo es encontrar un equilibrio óptimo que reduzca la latencia de inferencia y la complejidad del modelo sin sacrificar significativamente la precisión, permitiendo su uso en escenarios de toma de decisiones rápidas.

2. Metodología

Los autores propusieron un marco de trabajo sistemático para evaluar y comparar arquitecturas basadas en CNN y Transformer:

• Conjuntos de Datos:
  • Tiny ImageNet: Utilizado como benchmark de clasificación general. Se redujo a 30 clases y se ajustó a 224x224 píxeles para la entrada del modelo.
  • DermaMNIST: Conjunto de datos médico con imágenes dermatoscópicas de baja resolución (28x28), reescaladas a 224x224 y convertidas a 3 canales para simular RGB.
• Modelos Evaluados:
  • Línea Base: ResNet-18 (CNN).
  • Modelo Objetivo: ViT-Base (Patch size 32).
  • Variantes ViT: Se probaron cuatro variantes (Tiny, Small, Base, Large) con dos tamaños de parche (16 y 32).
• Estrategia de Entrenamiento:
  • Se aplicó un ajuste fino (fine-tuning) sistemático con variaciones de hiperparámetros (tamaño de parche, dimensión de embedding, profundidad de capas, cabezas de atención).
  • Se utilizaron técnicas de aumento de datos (rotación, flipping, jittering de color) y normalización estándar.
• Métricas de Evaluación:
  • Precisión: Porcentaje de clasificación correcta.
  • Tiempo de Inferencia y Entrenamiento: Medido en milisegundos y segundos respectivamente.
  • Complejidad: Número de parámetros y FLOPs (Operaciones de Punto Flotante).
  • Ratio de Eficiencia (ER): Una métrica propuesta que relaciona la precisión de validación con la suma del tiempo de inferencia y la complejidad del modelo, para identificar el mejor compromiso.

3. Contribuciones Clave

• Análisis Comparativo Riguroso: Se demuestra que los ViTs, a menudo considerados demasiado pesados para datos pequeños, pueden ser altamente eficientes si se selecciona la arquitectura y el tamaño de parche adecuados.
• Identificación del "Punto Dulce" (Sweet Spot): El estudio identifica que ViT-Small con tamaño de parche 16 es la arquitectura óptima para el equilibrio entre precisión y eficiencia en ambos dominios (médico y general).
• Estrategia de Optimización: Se propone que reducir el tamaño del parche (de 32 a 16) es crucial para capturar detalles finos en imágenes médicas de baja resolución, mientras que reducir la capacidad del modelo (de Base a Small) es esencial para la eficiencia sin perder generalización.
• Métrica de Eficiencia Unificada: Introducción del Efficiency Ratio (ER) para cuantificar objetivamente el trade-off entre rendimiento y costo computacional.

4. Resultados Principales

Los experimentos arrojaron los siguientes hallazgos significativos:

• En Tiny ImageNet:

  • ViT-Base (Patch 16) obtuvo la mayor precisión (~80%), pero con un costo de inferencia 3-4 veces mayor que la línea base.
  • ViT-Small (Patch 16) logró una precisión de ~77-78% (dentro del 3% de la mejor precisión), pero con una inferencia 3-4 veces más rápida y usando solo 1/4 de los parámetros en comparación con ViT-Base.
  • Las variantes con parche 32 mostraron una caída significativa en precisión, especialmente en datos médicos.

• En DermaMNIST:

  • La importancia del tamaño de parche 16 fue aún más crítica. ViT-Base (Patch 32) tuvo un rendimiento pobre debido a la pérdida de detalles en imágenes de 28x28.
  • ViT-Small (Patch 16) superó a la línea base (ResNet18) y a ViT-Base (Patch 32), manteniendo una precisión cercana a la de ViT-Base (Patch 16) (~68-70%) con una eficiencia drásticamente superior.
  • Este modelo demostró una excelente capacidad de generalización en datos limitados, evitando el sobreajuste típico de los ViTs grandes.

• Eficiencia General:

  • ViT-Small (Patch 16) redujo los FLOPs en un ~75% respecto a ViT-Base (Patch 16) manteniendo una precisión casi idéntica.
  • En términos de Ratio de Eficiencia (ER), ViT-Small (Patch 16) fue el modelo superior en ambos conjuntos de datos.

5. Significado e Impacto

Este estudio es fundamental para la implementación práctica de IA en el borde (edge computing):

1. Viabilidad en Dispositivos Móviles y Drones: Demuestra que no es necesario sacrificar la precisión por la velocidad. Modelos como ViT-Small (Patch 16) son lo suficientemente ligeros para ejecutarse en tiempo real en teléfonos inteligentes (para diagnóstico dermatológico) y drones (para vigilancia), permitiendo decisiones clínicas o tácticas inmediatas.
2. Reevaluación de ViT en Datos Pequeños: Desafía la noción de que los Transformers solo funcionan bien con grandes volúmenes de datos, mostrando que con la configuración correcta (tamaño de parche y arquitectura escalada), pueden superar a las CNN tradicionales en tareas de clasificación de imágenes médicas.
3. Guía para el Diseño de Modelos: Proporciona una hoja de ruta clara para ingenieros que buscan desplegar sistemas de visión: priorizar tamaños de parche más pequeños para datos de alta resolución relativa (o baja resolución original) y seleccionar variantes "Small" para maximizar la eficiencia sin perder rendimiento crítico.

En conclusión, el trabajo valida que ViT-Small (Patch 16) es la arquitectura preferida para aplicaciones que requieren un alto rendimiento, baja latencia y bajo consumo de memoria en entornos con recursos restringidos.