A Mobile-Centric Comparative Evaluation of Deep Learning Models for Real-Time Flower Recognition

기술 요약: 실시간 꽃 인식을 위한 모바일 중심의 딥러닝 모델 비교 평가

문제 정의
딥러닝이 꽃 인식 정확도를 크게 향고시켰음에도 불구하고, 기존 연구들은 주로 분류 지표에만 집중하여 실시간 모바일 배포를 위한 결합된 요구사항을 간과하는 경 경향이 있었다. 스마트폰은 제한된 연산 능력, 메모리, 저장 공간 및 에너지 자원을 보유하고 있어, 무거운 합성곱 신경망(CNN)을 직접 적용하는 데 어려움이 있다. 또한, 기존 연구들은 서로 다른 아키텍처에 대해 동일한 전이 학습 설정을 적용하거나 정확도만을 기준으로 모델을 선택하는 경우가 많아, 실제 오프라인 모바일 사용에 필요한 추론 속도, 모델 크기, 학습 비용 및 아키텍처 복잡도 사이의 구체적인 트레이드오프(trade-off)를 고려하지 못한다.

방법론
본 연구는 Oxford 102 Flowers 데이터셋(102개 클래스에 걸친 8,185개의 고유 이미지)을 사용하여 네 가지의 서로 다른 꽃 인식 파이프라인을 평가하는 모바일 중심 프레임워크를 제안한다. 본 방법론은 일률적인 전이 학습 전략 대신 데이터셋 특화 및 아키텍처 특화 적응 방식을 채택함으로써 기존 방식과 차별화된다.

1. 데이터셋 및 전처리: 데이터셋은 클래스 분포를 유지하기 위해 층화 추출(stratified sampling)을 사용하여 훈련(60%), 검증(10%), 테스트(1로 30%) 세트로 분할되었다. 이미지는 224×224 픽셀로 크기가 조정되었으며 정규화되었다. 과적합을 방지하기 위해 데이터 증강(회전, 이동, 전단, 확대/축소, 뒤집기, 밝기 조절)은 훈련 세트에만 적용되었다.
2. 모델 파이프라인: 네 가지 후보 파이프라인이 공통된 실험 프로토콜 하에 개발 및 평가되었다:
   • Hybrid MobileNetV2–XGBoost: 동결된 MobileNetV2 백본이 1,280차원의 딥 피처를 추출하며, 이 피처들은 별도로 최적화된 XGBoost 분류기(트리 150개, 깊이 4)로 전달된다.
   • VGG16: 커스텀 분류 헤드(Global Average Pooling, 128 유닛 밀집층, ReLU)와 2단계 학습 전략(초기 헤드 학습 후 전체 백본 미세 조정)을 갖춘 심층 CNN 아키텍처이다.
   • NASNet-Mobile: 신경망 아키텍처 탐색(NAS)에서 유도된 모델로, 정규화된 헤드(Global Average Pooling, 256 유닛 밀집층, 0.5 드롭아웃)를 가진다. 미세 조정이 일관된 개선을 가져오지 못해 포기되었으며, 동결된 백본 구성이 유지되었다.
   • MobileNetV2: 인버티드 잔차 블록(inverted residual blocks)을 사용하는 경량 아키텍처이다. 컴팩트한 헤드(Global Average Pooling, 0.2 드롭아웃)를 사용하며, 초기 헤드 학습과 이후 엔드 투 엔드(end-to-end) 미세 조정을 포함하는 2단계 학습 전략을 활용하였다.
3. 평가 지표: 클래스 불균형 문제를 해결하기 위해 가중 정밀도(weighted precision), 재현율(recall), F1-스코어를 사용하였으며, 계산 지표인 추론 시간, 학습 시간, 모델 크기 및 아키텍처 복잡도(파라미터 수 및 레이어 수)를 함께 평가하였다.
4. 모바일 배포: 가장 성능이 우수한 모델을 TensorFlow Lite(TFLite)로 변환, 최적화하여 오프라인 안드로이드 애플리케이션에 통합하였다. 배포 성능은 물리적 안드로이드 기기(Redmi 10C 및 Redmi Note 13)에서 300회의 반복 측정을 통해 벤치마킹되었다.

주요 기여

• 데이터셋 특화 적응: 본 연구는 서로 다른 아키텍처에 동일한 전이 학습 설정을 적용하는 것이 최적이 아님을 입증한다. 대신, Oxford 102 Flowers 데이터셋에 대한 VGG16, NASNet-Mobile, MobileNetV2의 학습 동작에 맞춤화된 특정 분류 헤드, 정규화 전략 및 미세 조정 스케줄을 개발하였다.
• 하이브리드 파이프라인 개발: 경량 CNN의 딥 비주얼 피처와 비신경망 그래디언트 부스팅 분류기를 결합하는 것의 효용성을 조사하기 위해 MobileNetV2–XGBoost 파이프라인을 구축하였다.
• 포괄적 비교 평가: 단순 정확도를 넘어 예측 성능, 학습/추론 시간, 모델 크기 및 배포 가능성을 포함한 총체적인 지표를 바탕으로 네 가지 파이프라인을 일관되게 비교하였다.
• 엔드 투 엔드 오프라인 배포: 모델 선택부터 TFLite 변환, 안드로이드 통합, 실제 하드웨어에서의 지연 시간 측정에 이르는 완전한 워크플로우를 제공한다.

결과

• 분류 성능: 적응된 MobileNetV2가 가중 F1-스코어 0.96, 정밀도 0.96, 재현율 0.96을 기록하며 가장 높은 성능을 달성하였다. VGG16이 F1-스코어 0.83으로 그 뒤를 이었으며, NASNet-Mobile과 하이브리드 MobileNetV2–XGBoost는 각각 0.80과 0.79의 F1-스코어를 기록하였다.
• 계산 효율성: MobileNetV2는 모델 크기 27.74 MB, 추론 시간 0.00518초를 달성하며 최고의 균형을 보여주었다. VGG16은 가장 많은 자원을 소모하였다(169.40 MB, 추론 시간 0.05570초, 학습 시간 360.70분). 하이브리드 파이프라인의 보고된 분류기 추론 시간은 미미했으나 피처 추출 비용은 제외되었다.
• 모바일 배포: 선정된 MobileNetV2 모델을 TFLite로 변환하여 크기를 27.74 MB에서 2.53 MB로 줄였다. 결과물인 오프라인 안드로이드 애플리케이션은 300회의 기기별 측정 결과, 전처리 및 추론을 포함한 평균 지연 시간이 Redmi Note 13에서 55.57 ms, Redmi 10C에서 68.11 ms로 나타나 응답성이 뛰어난 실시간 성능을 입증하였다.

의의 및 주장
본 논문의 주요 기여는 새로운 백본 아키텍처를 제안하는 것이 아니라, 기존의 사전 학습된 아키텍처를 타겟 데이터셋에 맞게 체계적으로 모델별로 적응시키고 이를 배포 관점에서 비교 평가하는 데 있다는 점을 주장한다. 본 연구는 모델 선택 시 정확도, 추론 속도, 모델 크기 사이의 트레이드오프를 고려한다면 클라우드 기반 처리 없이도 모바일 기기에서 정확하고 빠른 꽃 인식을 달end 수 있음을 결론짓는다. 결과적으로, 데이터셋 특화 적응과 배포 지향적 선택이 효과적인 실시간 모바일 애플리케이션을 구현하는 데 필수적임을 검증하였다.