Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

Resumo Técnico: Vision Transformers e Redes Neurais Convolucionais para Classificação de Cenas de Uso do Solo

Declaração do Problema
A Classificação de Cenas de Uso do Solo (LUSC) a partir de imagens de sensoriamento remoto é uma tarefa fundamental para monitoramento ambiental, planejamento urbano e gestão de recursos. Embora as Redes Neurais Convolucionais (CNNs) tenham historicamente dominado esse campo devido à sua capacidade de capturar características espaciais locais e à sua robustez em cenários com dados limitados, elas possuem limitações inerentes na modelagem de dependências espaciais de longo alcance e relações contextuais globais. Por outro lado, os Vision Transformers (ViTs), que aproveitam mecanismos de autoatenção para processar imagens como sequências de patches, oferecem capacidades superiores para capturar contexto global, mas tipicamente demandam conjuntos de dados maiores e recursos computacionais mais intensivos. O artigo aborda a necessidade de uma comparação sistemática e controlada desses dois paradigmas arquitetônicos para determinar suas respectivas forças e adequação para diversas aplicações de sensoriamento remoto.

Metodologia
O estudo emprega um quadro comparativo rigoroso avaliando uma arquitetura CNN representativa (AlexNet) contra uma arquitetura Vision Transformer (ViT-B/16). Para garantir uma avaliação justa, ambos os modelos foram submetidos a condições experimentais idênticas, incluindo:

• Conjuntos de Dados: Dois conjuntos de dados de sensoriamento remoto de referência foram utilizados: o Conjunto de Dados de Uso do Solo UC Merced (2.100 imagens aéreas de alta resolução, 21 classes) e o Conjunto de Dados EuroSAT (27.000 imagens de satélite Sentinel-2, 10 classes). Os experimentos foram conduzidos em subconjuntos contendo 5 e 10 classes para cada conjunto de dados.
• Particionamento de Dados: Para todos os experimentos, os dados foram divididos em 80% para treinamento, 10% para validação e 10% para teste.
• Pré-processamento: As imagens passaram por padronização por canal e aumento estocástico de dados (viragem, rotação, recorte, perturbação de cor) para reduzir o sobreajuste.
• Implementação: Ambos os modelos foram implementados usando MATLAB em um sistema equipado com um processador AMD Ryzen 9 7950X e 128 GB de RAM.
• Estratégia de Treinamento: Ambos os modelos utilizaram perda de entropia cruzada categórica, otimização baseada em gradiente, parada antecipada, decaimento de pesos, dropout e agendamento de taxa de aprendizado.
• Métricas de Avaliação: O desempenho foi avaliado usando Precisão, Precisão, Revocação, Pontuação F1 e tempo computacional.

Principais Contribuições e Resultados
O artigo fornece uma comparação direta de desempenho entre CNNs e ViTs sob configurações consistentes, produzindo as seguintes descobertas:

1. Desempenho com Dados Limitados (UC Merced): No conjunto de dados UC Merced, que apresenta aproximadamente 100 amostras por classe, o modelo AlexNet (CNN) demonstrou desempenho superior em comparação ao ViT. Os resultados sugerem que as CNNs são mais eficazes quando as amostras de treinamento são limitadas, provavelmente devido às suas fortes viéses indutivos (localidade e invariância à tradução), que facilitam a aprendizagem estável em ambientes com escassez de dados.
2. Desempenho com Dados em Grande Escala (EuroSAT): No conjunto de dados EuroSAT, que contém significativamente mais amostras por classe (2.000–3.000), o modelo ViT-B/16 alcançou uma precisão de classificação ligeiramente melhor que a do AlexNet. Isso indica que os ViTs podem aproveitar melhor os dados abundantes para aprender representações contextuais globais e dependências de longo alcance que as CNNs podem perder.
3. Eficiência Computacional: O estudo destaca um compromisso entre desempenho e consumo de recursos. O treinamento do modelo ViT-B/16 no conjunto de dados EuroSAT de 10 classes exigiu aproximadamente 253 minutos, enquanto o AlexNet exigiu apenas 137 minutos sob a mesma configuração de hardware. Os ViTs também exibiram maior consumo de memória e complexidade computacional.

Significado e Alegações
O artigo conclui que nenhuma arquitetura é universalmente superior; em vez disso, a escolha ótima depende das restrições específicas da aplicação.

• CNNs são identificadas como a escolha robusta para cenários com dados de treinamento limitados ou onde textura local e padrões espaciais são os principais discriminadores.
• Vision Transformers são apresentados como a opção preferida quando há dados de treinamento suficientes disponíveis e a tarefa exige a compreensão de relações espaciais globais complexas, apesar do maior custo computacional.

O significado do estudo reside em fornecer orientação prática para pesquisadores e profissionais em sensoriamento remoto, oferecendo insights baseados em evidências para a seleção de modelos apropriados com base no tamanho do conjunto de dados e nos recursos computacionais disponíveis. Os autores não afirmam ter resolvido o problema de generalização em todos os domínios, mas sim delinear as condições específicas sob as quais cada arquitetura se destaca.