Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

Resumen Técnico: Transformadores de Visión y Redes Neuronales Convolucionales para la Clasificación de Escenas de Uso del Suelo

Planteamiento del Problema
La Clasificación de Escenas de Uso del Suelo (LUSC) a partir de imágenes de teledetección es una tarea fundamental para la monitorización ambiental, la planificación urbana y la gestión de recursos. Si bien las Redes Neuronales Convolucionales (CNN) han dominado históricamente este campo debido a su capacidad para capturar características espaciales locales y su robustez en escenarios con datos limitados, poseen limitaciones inherentes en el modelado de dependencias espaciales de largo alcance y relaciones contextuales globales. Por el contrario, los Transformadores de Visión (ViT), que aprovechan mecanismos de autoatención para procesar imágenes como secuencias de parches, ofrecen capacidades superiores para capturar el contexto global, pero generalmente exigen conjuntos de datos más grandes y mayores recursos computacionales. El artículo aborda la necesidad de una comparación sistemática y controlada de estos dos paradigmas arquitectónicos para determinar sus respectivas fortalezas y adecuación para diversas aplicaciones de teledetección.

Metodología
El estudio emplea un marco comparativo riguroso que evalúa una arquitectura CNN representativa (AlexNet) frente a una arquitectura Transformador de Visión (ViT-B/16). Para garantizar una evaluación justa, ambos modelos fueron sometidos a condiciones experimentales idénticas, que incluyen:

• Conjuntos de datos: Se utilizaron dos conjuntos de datos de referencia de teledetección: el Conjunto de Datos de Uso del Suelo de UC Merced (2.100 imágenes aéreas de alta resolución, 21 clases) y el Conjunto de Datos EuroSAT (27.000 imágenes satelitales Sentinel-2, 10 clases). Los experimentos se realizaron sobre subconjuntos que contenían 5 y 10 clases para cada conjunto de datos.
• Partición de datos: Para todos los experimentos, los datos se dividieron en 80 % para entrenamiento, 10 % para validación y 10 % para prueba.
• Preprocesamiento: Las imágenes sufrieron estandarización por canal y aumento estocástico (volteo, rotación, recorte, perturbación de color) para reducir el sobreajuste.
• Implementación: Ambos modelos se implementaron utilizando MATLAB en un sistema equipado con un procesador AMD Ryzen 9 7950X y 128 GB de RAM.
• Estrategia de entrenamiento: Ambos modelos utilizaron pérdida de entropía cruzada categórica, optimización basada en gradientes, parada temprana, decaimiento de pesos, dropout y programación de la tasa de aprendizaje.
• Métricas de evaluación: El rendimiento se evaluó utilizando Exactitud, Precisión, Recuperación, puntuación F1 y tiempo computacional.

Contribuciones y Resultados Clave
El artículo proporciona una comparación directa del rendimiento entre CNN y ViT bajo configuraciones consistentes, arrojando los siguientes hallazgos:

1. Rendimiento con datos limitados (UC Merced): En el conjunto de datos UC Merced, que presenta aproximadamente 100 muestras por clase, el modelo AlexNet (CNN) demostró un rendimiento superior en comparación con el ViT. Los resultados sugieren que las CNN son más efectivas cuando las muestras de entrenamiento son limitadas, probablemente debido a sus fuertes sesgos inductivos (localidad e invarianza a la traslación), que facilitan un aprendizaje estable en entornos con escasez de datos.
2. Rendimiento con datos a gran escala (EuroSAT): En el conjunto de datos EuroSAT, que contiene significativamente más muestras por clase (2.000–3.000), el modelo ViT-B/16 logró una precisión de clasificación ligeramente superior a la de AlexNet. Esto indica que los ViT pueden aprovechar mejor los datos abundantes para aprender representaciones contextuales globales y dependencias de largo alcance que las CNN podrían pasar por alto.
3. Eficiencia computacional: El estudio destaca una compensación entre el rendimiento y el consumo de recursos. Entrenar el modelo ViT-B/16 en el conjunto de datos EuroSAT de 10 clases requirió aproximadamente 253 minutos, mientras que AlexNet requirió solo 137 minutos bajo la misma configuración de hardware. Los ViT también mostraron un mayor consumo de memoria y complejidad computacional.

Significado y Afirmaciones
El artículo concluye que ninguna arquitectura es universalmente superior; más bien, la elección óptima depende de las restricciones específicas de la aplicación.

• Las CNN se identifican como la opción robusta para escenarios con datos de entrenamiento limitados o donde la textura local y los patrones espaciales son los principales discriminadores.
• Los Transformadores de Visión se presentan como la opción preferida cuando hay suficientes datos de entrenamiento disponibles y la tarea requiere comprender relaciones espaciales globales complejas, a pesar del mayor costo computacional.

La importancia del estudio radica en proporcionar orientación práctica para investigadores y profesionales en teledetección, ofreciendo conocimientos basados en evidencia para seleccionar modelos apropiados según el tamaño del conjunto de datos y los recursos computacionales disponibles. Los autores no afirman haber resuelto el problema de la generalización en todos los dominios, sino que delimitan las condiciones específicas bajo las cuales cada arquitectura sobresale.