Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

기술 요약: 토지 이용 장면 분류를 위한 비전 트랜스포머와 합성곱 신경망

문제 제기
원격 탐사 영상을 통한 토지 이용 장면 분류 (LUSC) 는 환경 모니터링, 도시 계획, 자원 관리에 있어 근본적인 과제입니다. 합성곱 신경망 (CNN) 은 지역적 공간 특징을 포착하는 능력과 데이터가 제한된 시나리오에서의 강건성으로 인해 역사적으로 이 분야를 주도해 왔으나, 장거리 공간 의존성과 전역적 문맥 관계를 모델링하는 데에는 본질적인 한계가 존재합니다. 반면, 비전 트랜스포머 (ViT) 는 이미지를 패치 시퀀스로 처리하기 위해 자기 주의 (self-attention) 메커니즘을 활용하여 전역적 문맥을 포착하는 데 뛰어난 능력을 보이지만, 일반적으로 더 큰 데이터셋과 더 많은 계산 자원을 요구합니다. 본 논문은 다양한 원격 탐사 응용 분야에 대한 각 아키텍처 패러다임의 강점과 적합성을 결정하기 위해, 이 두 아키텍처에 대한 체계적이고 통제된 비교의 필요성을 다룹니다.

방법론
이 연구는 대표적인 CNN 아키텍처 (AlexNet) 와 비전 트랜스포머 아키텍처 (ViT-B/16) 를 평가하는 엄격한 비교 프레임워크를 사용합니다. 공정한 평가를 위해 두 모델은 다음과 동일한 실험 조건에 노출되었습니다:

• 데이터셋: 두 개의 벤치마크 원격 탐사 데이터셋이 사용되었습니다: UC Merced Land Use Dataset(2,100 개의 고해상도 항공 이미지, 21 개 클래스) 과 EuroSAT Dataset(27,000 개의 Sentinel-2 위성 이미지, 10 개 클래스). 실험은 각 데이터셋의 5 개 및 10 개 클래스를 포함하는 부분집합에서 수행되었습니다.
• 데이터 분할: 모든 실험에서 데이터는 80% 학습, 10% 검증, 10% 테스트로 분할되었습니다.
• 전처리: 과적합을 줄이기 위해 이미지는 채널별 표준화와 확률적 증강 (뒤집기, 회전, 자르기, 색상 교란) 을 거쳤습니다.
• 구현: 두 모델 모두 AMD Ryzen 9 7950X 프로세서와 128GB RAM 이 장착된 시스템에서 MATLAB 을 사용하여 구현되었습니다.
• 학습 전략: 두 모델 모두 범주형 교차 엔트로피 손실, 경사 기반 최적화, 조기 종료, 가중치 감쇠, 드롭아웃, 그리고 학습률 스케줄링을 활용했습니다.
• 평가 지표: 성능은 정확도, 정밀도, 재현율, F1 점수, 그리고 계산 시간을 사용하여 평가되었습니다.

주요 기여 및 결과
본 논문은 일관된 설정 하에서 CNN 과 ViT 간의 직접적인 성능 비교를 제공하며, 다음과 같은 결과를 도출했습니다:

1. 제한된 데이터에서의 성능 (UC Merced): 클래스당 약 100 개의 샘플을 특징으로 하는 UC Merced 데이터셋에서 AlexNet(CNN) 모델은 ViT 보다 우수한 성능을 보였습니다. 이러한 결과는 CNN 이 데이터가 부족한 환경에서 안정적인 학습을 촉진하는 강력한 귀납적 편향 (지역성과 병진 불변성) 을 가지고 있기 때문에, 학습 샘플이 제한될 때 더 효과적임을 시사합니다.
2. 대규모 데이터에서의 성능 (EuroSAT): 클래스당 훨씬 더 많은 샘플 (2,000~3,000 개) 을 포함하는 EuroSAT 데이터셋에서 ViT-B/16 모델은 AlexNet 보다 약간 더 나은 분류 정확도를 달성했습니다. 이는 ViT 가 CNN 이 놓칠 수 있는 전역적 문맥 표현과 장거리 의존성을 학습하기 위해 풍부한 데이터를 더 잘 활용할 수 있음을 나타냅니다.
3. 계산 효율성: 이 연구는 성능과 자원 소비 간의 트레이드오프를 강조합니다. 동일한 하드웨어 구성에서 10 클래스 EuroSAT 데이터셋으로 ViT-B/16 모델을 학습하는 데는 약 253 분이 소요된 반면, AlexNet 은 137 분만 필요했습니다. ViT 는 또한 더 높은 메모리 소비와 계산 복잡성을 보여주었습니다.

의의 및 주장
본 논문은 어떤 아키텍처도 보편적으로 우월하지 않으며, 최적의 선택은 응용 분야의 특정 제약 조건에 달려 있다고 결론지었습니다.

• CNN은 제한된 학습 데이터가 있거나 지역적 질감과 공간적 패턴이 주요 구분 요소인 시나리오에 대한 강건한 선택지로 식별됩니다.
• 비전 트랜스포머는 충분한 학습 데이터가 이용 가능하며 작업이 복잡한 전역적 공간 관계를 이해해야 하더라도 더 높은 계산 비용이 든다는 점을 감안할 때 선호되는 옵션으로 제시됩니다.

이 연구의 의의는 원격 탐사 분야의 연구자 및 실무자에게 실용적인 지침을 제공하며, 데이터셋 크기와 이용 가능한 계산 자원에 기반하여 적절한 모델을 선택하기 위한 증거 기반 통찰력을 제공한다는 점에 있습니다. 저자들은 모든 도메인에서의 일반화 문제를 해결했다고 주장하는 것이 아니라, 각 아키텍처가 우월하게 작동하는 특정 조건을 명확히 구분합니다.