Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

기술 요약: 실시간 재난 탐지를 위한 온디바이스 VLM 기반 엣지 컴퓨팅

문제 정의
자연재해 탐지 시스템은 전통적으로 이미지 분류를 위해 합성곱 신경망(CNN)에 의존해 왔다. CNN은 효과적이긴 하지만, 높은 정확도를 달ink하기 위해 특정 데이터셋에 대한 광범위한 미세 조정(fine-tuning)이 필요하며, 자연어 응답을 생성하거나 탐지 후 다른 센서와 유연하게 통합하는 능력이 부족하다. 반면, 시각-언어 모델(VLM)은 멀티모달 이해 능력과 자연어 생성 능력을 제공하지만, 실시간 온디바이스 엣지 배포를 수행하기에는 계산 부하가 너무 클 것이라는 가정이 지배적이다. 본 연구는 자원 제약이 있는 엣지 하드웨어에서 완전히 작동하면서도, VLM이 재난 탐지를 위해 CNN의 추론 성능을 대등하게 혹은 그 이상으로 구현할 수 있는지 검증함으로써, 네트워크 의존성 없는 제로샷(zero-shot) 탐지 및 자연어 기반의 다운스트림 태스크를 가능케 하는 간극을 다룬다.

연구 방법론
본 연구는 실시간 적용 가능성과 에너지 효율성을 보장하기 위해 온디바이스 엣지 컴퓨팅 환경에서 수행되었다.

• 하드웨어: 모든 추론 실험은 저비용의 확장 가능한 엣지 디바이스를 시뮬레이션하기 위해 라즈베리 파이 5(Raspberry Pi 5)에서 실행되었다.
• 데이터셋: 본 연구는 AIDER(Aerial Image Dataset for Emergency Response Applications)를 활용하였으며, 데이터를 화재, 홍수, 건물 붕괴, 교통사고의 네 가지 재난 관련 클래스로 필터링하였다. "정상 상태(Normal conditions)"는 제외되었다.
• 모델:
  • 베이스라인 (CNNs): 세 가지 아키텍처를 평가하였다: GoogLeNet (Inception v1), ResNet-18, 그리고 MobileNet V2.
  • 실험군 (VLM): 텍스트와 이미지를 처리할 수 있는 멀티모달 모델인 Gemma 3 (4B 파라미터 변체)를 사용하였다.
• 실험 설계:
  • 공정성 제어: 제로샷 VLM과의 공정한 비교를 위해, CNN은 AIDER 데이터셋에 노출되지 않은 상태에서 ImageNet 사전 학습 가중치만을 사용하여 먼저 평가되었다.
  • 미세 조정 비교: CNN의 상한 성능 베이스라인을 설정하기 위해, 이후 AIDER 데이터셋(클래스당 학습 이미지 80장, 검증 이미지 20장)을 사용하여 CNN을 미세 조정하였다.
  • 재현성: 우연한 변동성을 배제하기 위해 다섯 개의 서로 다른 랜덤 시드(42–46)에 걸쳐 실험을 수행하였다.
  • 지표: 성능은 정확도(Accuracy)와 F1 스코어(F1 Score)를 사용하여 측정되었다.

주요 결과

• ImageNet 사전 학습 CNN: 미세 조정 없이 CNN 모델은 정확도가 0.20에서 0.35 사이, F1 스코어가 0.10에서 0.30 사이로 나타나 성능이 저조했다. 이는 표준 ImageNet 가중치가 적응 과정 없이는 특정 재난 분류 작업에 불충분함을 나타낸다.
• 미세 조정된 CNN: AIDER 데이터셋을 통한 미세 조정 후, CNN의 성능은 크게 향상되었다. ResNet-18이 CNN 중 가장 높은 성능(0.8대 후반의 정확도)을 기록했으며, MobileNet V2와 GoogLeNet이 그 뒤를 이었다. 모든 미세 조정된 모델은 0.85–0.90의 정확도 범위에서 안정화되었다.
• 제로샷 VLM (Gemma 3): AIDER 데이터셋에 대한 학습 없이 제로샷 설정으로 작동한 Gemma 3 모델은 모든 시드에 걸쳐 0.92에서 0.94 사이의 안정적인 정확도와 F1 스코어를 달성하였다.
• 비교 성능: VLM은 ImageNet 사전 학습 CNN보다 약 60 퍼센트 포인트(0.92–0.94 vs. 0.20–0.35) 더 높은 성능을 보였다. 결정적으로, VLM의 제로샷 성능은 미세 조정된 CNN과 대등하거나 일부 시드에서는 오히려 약간 더 우수했다. VLM은 데이터 분할에 관계없이 일관된 성능을 보여주었으며, 이는 대규모 사전 학습을 통해 습득한 재난 관련 시각 패턴의 강력한 일반화 능력을 시사한다.

의의 및 주장
본 논문은 VLM이 엣지 디바이스에서의 실시간 재난 탐지를 위한 실행 가능하고 잠재적으로 더 우수한 대안이라고 주장한다. 주요 의의는 다음 세 가지 영역에 있다:

1. 성능 실효성: 본 연구는 4B 파라미터 규모의 VLM이 데이터셋별 미세 조정 없이도 라즈베리 파이 5에서 높은 정확도의 재난 탐지를 달성할 수 있음을 입증하였으며, 이는 VLM이 엣지 태스크에 너무 무겁거나 광범적인 재학습이 필요하다는 통념에 도전한다.
2. 운영 효율성: 전체 시스템을 온디바이스로 운영함으로써, 네트워크 연결이 제한적이거나 불가능한 상황에서도 기능성을 보장하며, 이는 재난 대응에 있어 핵심적인 요소이다.
3. 기능적 확장성: 클래스 레이블만을 출력하는 전통적인 CNN과 달리, VLM 기반 시스템은 자연어 기반의 응답 생성을 가능하게 한다. 이를 통해 다른 센서와의 유연한 통합과 엣지 단에서의 자동화된 언어 기반 다운스트림 액션(예: 음성 또는 텍스트 기반 보고)을 실현할 수 있다.

저자는 라즈베리 파이 5의 메모리 제약으로 인해 더 큰 모델(예: DeepSeek, GPT)을 테스트하지 못한 점을 한계로 인정하며, 데이터 구성에 따라 성능 격차가 달라질 수 있음을 언급하였다. 그러나 본 연구는 구축 시간과 비용이 중요한 즉각적인 배포 상황에서 VLM이 전통적인 CNN 파이프라인보다 매력적인 이점을 제공한다고 결론짓는다.