Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

Sintesi Tecnica: Vision Transformers e Reti Neurali Convoluzionali per la Classificazione di Scene di Uso del Suolo

Enunciazione del Problema
La Classificazione di Scene di Uso del Suolo (LUSC) da immagini di telerilevamento è un compito fondamentale per il monitoraggio ambientale, la pianificazione urbana e la gestione delle risorse. Sebbene le Reti Neurali Convoluzionali (CNN) abbiano storicamente dominato questo campo grazie alla loro capacità di catturare caratteristiche spaziali locali e alla loro robustezza in scenari con dati limitati, presentano limitazioni intrinseche nella modellazione delle dipendenze spaziali a lungo raggio e delle relazioni contestuali globali. Al contrario, i Vision Transformers (ViT), che sfruttano meccanismi di auto-attenzione per elaborare le immagini come sequenze di patch, offrono capacità superiori nel catturare il contesto globale, ma tipicamente richiedono dataset più ampi e risorse computazionali maggiori. Il lavoro affronta la necessità di un confronto sistematico e controllato tra questi due paradigmi architetturali per determinare i rispettivi punti di forza e l'idoneità per diverse applicazioni di telerilevamento.

Metodologia
Lo studio impiega un rigoroso framework comparativo che valuta un'architettura CNN rappresentativa (AlexNet) contro un'architettura Vision Transformer (ViT-B/16). Per garantire una valutazione equa, entrambi i modelli sono stati sottoposti a condizioni sperimentali identiche, tra cui:

• Dataset: Sono stati utilizzati due dataset di riferimento per il telerilevamento: il UC Merced Land Use Dataset (2.100 immagini aeree ad alta risoluzione, 21 classi) e il EuroSAT Dataset (27.000 immagini satellitari Sentinel-2, 10 classi). Gli esperimenti sono stati condotti su sottoinsiemi contenenti 5 e 10 classi per ciascun dataset.
• Partizionamento dei Dati: Per tutti gli esperimenti, i dati sono stati suddivisi in 80% per l'addestramento, 10% per la validazione e 10% per il test.
• Preprocessing: Le immagini hanno subito una standardizzazione canale per canale e un'augmentazione stocastica (ribaltamento, rotazione, ritaglio, perturbazione del colore) per ridurre l'overfitting.
• Implementazione: Entrambi i modelli sono stati implementati utilizzando MATLAB su un sistema equipaggiato con un processore AMD Ryzen 9 7950X e 128 GB di RAM.
• Strategia di Addestramento: Entrambi i modelli hanno utilizzato la funzione di perdita cross-entropia categorica, ottimizzazione basata sul gradiente, arresto anticipato (early stopping), decadimento dei pesi, dropout e schedulazione del tasso di apprendimento.
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando Accuratezza, Precisione, Recall, F1-score e tempo computazionale.

Contributi Chiave e Risultati
Il lavoro fornisce un confronto diretto delle prestazioni tra CNN e ViT in condizioni coerenti, producendo le seguenti scoperte:

1. Prestazioni su Dati Limitati (UC Merced): Sul dataset UC Merced, che presenta circa 100 campioni per classe, il modello AlexNet (CNN) ha dimostrato prestazioni superiori rispetto al ViT. I risultati suggeriscono che le CNN sono più efficaci quando i campioni di addestramento sono limitati, probabilmente a causa dei loro forti bias induttivi (località e invarianza alla traslazione) che facilitano un apprendimento stabile in ambienti con scarsità di dati.
2. Prestazioni su Dati su Larga Scala (EuroSAT): Sul dataset EuroSAT, che contiene significativamente più campioni per classe (2.000–3.000), il modello ViT-B/16 ha raggiunto una precisione di classificazione leggermente superiore rispetto ad AlexNet. Ciò indica che i ViT possono sfruttare meglio i dati abbondanti per apprendere rappresentazioni contestuali globali e dipendenze a lungo raggio che le CNN potrebbero non cogliere.
3. Efficienza Computazionale: Lo studio evidenzia un compromesso tra prestazioni e consumo di risorse. L'addestramento del modello ViT-B/16 sul dataset EuroSAT a 10 classi ha richiesto circa 253 minuti, mentre AlexNet ha richiesto solo 137 minuti con la stessa configurazione hardware. I ViT hanno inoltre mostrato un consumo di memoria e una complessità computazionale più elevati.

Significato e Affermazioni
Il lavoro conclude che nessuna architettura è universalmente superiore; piuttosto, la scelta ottimale dipende dai vincoli specifici dell'applicazione.

• Le CNN sono identificate come la scelta robusta per scenari con dati di addestramento limitati o dove la texture locale e i pattern spaziali sono i principali discriminatori.
• I Vision Transformers sono presentati come l'opzione preferita quando sono disponibili dati di addestramento sufficienti e il compito richiede la comprensione di complesse relazioni spaziali globali, nonostante il costo computazionale più elevato.

Il significato dello studio risiede nel fornire indicazioni pratiche per ricercatori e professionisti nel campo del telerilevamento, offrendo approfondimenti basati su evidenze per la selezione di modelli appropriati in base alla dimensione del dataset e alle risorse computazionali disponibili. Gli autori non affermano di aver risolto il problema della generalizzazione attraverso tutti i domini, ma delineano piuttosto le condizioni specifiche in cui ciascuna architettura eccelle.