Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 수중 로봇 (AUR) 은 해저 생산 시스템 모니터링, 수중 쓰레기 수거, 해양 생물 연구 등 다양한 분야에서 활용되고 있습니다. 그러나 수중 환경은 낮은 가시성, 불안정한 환경 조건, 노이즈가 많은 데이터 등의 특성으로 인해 소프트웨어 개발 및 품질 보증에 큰 어려움을 줍니다.
• 기존 기술의 한계: AUR 의 인식 (Perception) 모듈에는 주로 딥러닝이 사용되지만, 이는 레이블이 지정된 데이터에 의존하며, 수중 환경에서 이러한 데이터는 부족하고 노이즈가 많아 모델의 신뢰성을 떨어뜨립니다. 또한, 학습 데이터에 없는 새로운 객체를 인식하는 데 한계가 있습니다.
• 문제 제기: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 맥락적 단서를 추론하여 보이지 않는 객체를 일반화하고 노이즈 조건에서도 강건한 성능을 보일 수 있는 잠재력을 가지고 있습니다. 하지만, 안전이 중요한 해양 산업 (특히 DNV 와 같은 인증 및 위험 관리 기관) 에서 AUR 소프트웨어의 인식 모듈로 VLM 을 적용하기 전, 그 성능과 불확실성 (Uncertainty) 을 체계적으로 평가한 연구는 부족합니다.

2. 연구 방법론 (Methodology)

이 연구는 유럽 프로젝트 'InnoGuard'의 일환으로, 산업 파트너인 DNV 의 요구사항을 반영하여 VLM 기반 인식 모듈의 타당성을 실증적으로 평가했습니다.

• 평가 대상 모델 (VLMs): 2024 년 이후 출시된 4 개의 오픈소스 VLM 을 선정하여 비교 평가했습니다.
  • BLIP (InstructBLIP)
  • DeepSeek (DeepSeek-VL2)
  • LLaVA (LLaVA-1.6)
  • QWen (QWen2.5-VL)
  • 모든 모델은 약 7B(70 억) 파라미터 크기로 균일하게 설정되었으며, 추가 학습 (Fine-tuning) 없이 제로샷 (Zero-shot) 추론 모드로 실행되었습니다.
• 데이터셋: 수중 환경의 다중 레이블 분류를 위해 두 가지 벤치마크 데이터셋을 사용했습니다.
  • TrashCan1.0: 해양 동물, 식물, 인공 물체, 쓰레기 등 다양한 클래스 포함.
  • SeaClear: 심해 및 얕은 수역의 해양 쓰레기 및 인공 물체 데이터 포함.
• 실험 설정:
  • 프롬프트: 모든 모델에 동일한 지시형 프롬프트 ("이 수중 이미지에서 보이는 모든 객체를 동물, 식물, 사물, 쓰레기 4 가지 카테고리로 식별하고 나열하라") 를 적용했습니다.
  • 환경: NVIDIA RTX-5090 GPU 를 사용하여 Python/PyTorch 환경에서 실행.
• 평가 지표:
  • 성능 (Performance): F1-score (Macro, Micro), Jaccard Index.
  • 불확실성 정량화 (Uncertainty Quantification):
    • 신뢰도: Max Softmax Probability (MSP), Probability Confidence Score (PCS).
    • 불확실성: Entropy (ENT), Deep Gini (DG).
    • 보정 (Calibration): Expected Calibration Error (ECE), Maximum Calibration Error (MCE). (예측 신뢰도와 실제 정확도 간의 정합성 평가)

3. 주요 연구 질문 (Research Questions)

1. RQ1 (성능): VLM 들은 수중 이미지 분류에서 얼마나 잘 수행하는가?
2. RQ2 (불확실성): VLM 들은 수중 이미지를 분류할 때 얼마나 불확실한가?
3. RQ3 (관계): 성능과 불확실성 (신뢰도, 보정) 사이에는 어떤 관계가 있는가?

4. 주요 결과 (Key Results)

4.1 성능 (RQ1)

• 전체 성능: BLIP와 DeepSeek이 가장 우수한 성능을 보였으며, BLIP 이 약간 더 우세했습니다.
• 클래스별 성능:
  • 쓰레기 (Trash) 및 사물 (Object): BLIP 과 DeepSeek 이 QWen 과 LLaVA 를 압도적으로 능가했습니다. (BLIP 의 쓰레기 F1 점수: 0.76, 사물 F1 점수: 0.87)
  • 동물 (Animal) 및 식물 (Vegetation): 모든 모델의 성능이 매우 낮았습니다. (BLIP 의 동물 F1: 0.28, 식물 F1: 0.17). 이는 VLM 이 해양 생물 분류에는 아직 적합하지 않음을 시사합니다.

4.2 불확실성 및 보정 (RQ2)

• 신뢰도 (Confidence): LLaVA가 가장 높은 신뢰도 (높은 MSP/PCS) 와 낮은 불확실성을 보였으나, 이는 과신 (Overconfidence) 현상이었습니다.
• 보정 (Calibration): BLIP이 가장 잘 보정된 (Best-calibrated) 모델이었습니다. 즉, BLIP 은 자신의 예측에 대해 지나치게 확신하지 않고, 실제 정확도와 신뢰도가 잘 일치했습니다.
• 결론: 높은 신뢰도 (Confidence) 가 반드시 높은 성능을 의미하지는 않으며, 오히려 LLaVA 와 같이 신뢰도가 높은 모델이 성능이 낮고 보정이 잘 안 되어 있어 산업용으로는 위험할 수 있습니다.

4.3 성능과 불확실성의 관계 (RQ3)

• 핵심 발견: 높은 성능을 보이는 모델 (BLIP, DeepSeek) 은 상대적으로 높은 불확실성 (Entropy) 을 보였지만, 보정 (Calibration) 이 매우 잘 되어 있었습니다.
• 역설적 현상: 성능이 낮지만 과신하는 모델 (LLaVA) 은 보정이 안 되어 있어 실제 위험 상황에서 오작동을 일으킬 가능성이 큽니다.
• 시사점: AUR 소프트웨어에 VLM 을 선택할 때는 단순한 '높은 신뢰도'나 '낮은 불확실성'보다는 '높은 성능'과 '좋은 보정 (Calibration)'을 우선시해야 합니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 실증적 평가 프레임워크 제공: 수중 환경에서 VLM 의 성능, 불확실성, 보정 관계를 체계적으로 평가한 최초의 연구 중 하나로, 산업계 (DNV 등) 가 VLM 도입을 결정할 때 필요한 증거를 제시했습니다.
2. 모델 선정 가이드라인:
   • BLIP이 현재 수중 쓰레기 및 사물 탐지 작업에 가장 적합한 모델로 선정되었습니다.
   • LLaVA는 높은 신뢰도에도 불구하고 보정이 불량하여 산업용 인식 모듈로 단독 사용 시 위험할 수 있음이 입증되었습니다.
3. 산업적 적용 전략 제안:
   • 하이브리드 접근법: VLM 을 주된 인식 시스템이 아닌, 기존 딥러닝 모델이 실패하거나 높은 불확실성을 보일 때 보조적으로 사용하는 전략을 제안했습니다.
   • 디지털 트윈 활용: 수중 로봇의 디지털 트윈 (Digital Twin) 에 대형 VLM 을 탑재하여 실시간으로 객체를 식별하거나, 배포 전 테스트 및 검증에 활용하는 방안을 제시했습니다.
4. 규제 준수 및 안전성: 해양 산업의 엄격한 규제 (IMO 등) 하에서 VLM 기반 시스템의 안전성과 신뢰성을 확보하기 위해 '보정 (Calibration)'과 '불확실성 정량화'가 필수적임을 강조했습니다.

6. 결론 및 한계

• 결론: VLM 은 수중 환경에서 기존 딥러닝의 한계 (학습 데이터 외 객체 인식 불가) 를 극복할 잠재력이 있으나, 현재는 쓰레기 및 인공 물체 탐지에 국한하여 사용해야 합니다. 동물/식물 분류에는 성능이 미치지 못합니다.
• 한계: 현재 평가는 제로샷 (Zero-shot) 환경에서 이루어졌으며, 특정 도메인 (수중) 에 대한 미세 조정 (Fine-tuning) 을 수행하지 않았습니다. 향후 경량화된 VLM 을 AUR 에 직접 탑재하거나, 디지털 트윈을 통한 검증 프로세스를 개발하는 것이 향후 연구 방향입니다.

이 논문은 자율 수중 로봇의 안전하고 신뢰할 수 있는 소프트웨어 개발을 위해, VLM 을 단순히 성능만으로 평가하는 것이 아니라 **불확실성과 보정 (Calibration)**을 종합적으로 고려해야 함을 강력하게 주장합니다.