Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

기술 요약: 지하 인프라 평가를 위한 엣지 최적화 시각-언어 모델

문제 정의
하수도 및 암거 시스템과 같은 지하 인프라의 유지보수는 공공 안전을 위해 매우 중요하지만, 전통적으로 느리고 일관성이 없는 수동 비디오 검토에 의존해 왔습니다. 시각 센서를 장착한 자율 로봇 플랫폼은 딥러닝을 사용하여 구조적 결함을 효율적으로 탐지할 수 있지만, 이러한 자동 탐지를 실행 가능한 인간 가독형 요약으로 변환하는 데에는 여전히 큰 격차가 존재합니다. 기존의 시각-언어 모델(VLM)은 정밀한 인프라 묘사에 필요한 전문적인 도메인 지식이 부족한 경우가 많으며, 자원 제한적인 모바일 로봇에 배포될 때 과도한 계산 및 메모리 제약 문제에 직면합니다. 본 연구의 과제는 정확도나 지연 시간을 저해하지 않으면서, 엣지 장치에서 실시간 결함 탐지를 수행하고 간결하며 도메인 특화된 자연어 요약을 생성하는 엔드 투 엔드 시스템을 개발하는 것입니다.

방법론
저자들은 엣지 배포를 위해 설계된 새로운 2단계 파이프라인을 제안하며, 이는 경량 세그멘테이션 모델과 미세 조정된 시각-언어 모델(VLM)을 통합합니다.

1. 1단계: 시각적 결함 탐지 (RAPID-SCAN)
   첫 번째 단계는 RAPID-SCAN(Resource-Aware Pipeline Inspection and Defect Segmentation using Compact Adaptive Network)을 채택합니다. 이는 적응형 라우팅과 Squeeze-and-Excitation 모듈을 갖춘 동적 특징 피라미드 네트워크(Dynamic Feature Pyramid Network)를 특징으로 하는 경량 시맨틱 세그멘테이션 프레임워크입니다. 이 모델은 RGB 이미지를 처리하여 다양한 결함 카테고리(예: 균열, 뿌리, 구멍)에 대한 픽셀 수준의 세그멘테이션 마스크를 생성합니다. 모델은 효율성을 위해 최적화되었으며, 근접 임계값 내의 중복 탐지를 통합하기 위해 공간 필터링을 활용합니다.

2. 2단계: 시각-언어 요약
   두 번째 단계는 미세 조정된 Microsoft Phi-3.5 VLM을 사용합니다. 이 모델은 1단계에서 생성된 원본 RGB 이미지와 세그멘테이션 마스크로 구성된 멀티모달 입력을 받습니다. 모델은 다음 네 가지 핵심 점검 원칙을 다루는 구조화된 자연어 요약을 생성하도록 프롬프트가 설정됩니다:

• 상태(Condition): 현재의 구조적 상태.
• 위치(Location): 파이프라인 내의 공간적 맥락.
• 심각도(Severity): 긴급성 및 중요도 평가.
• 영향(Implications): 조치가 취해지지 않을 경우의 잠재적 위험.

3. 데이터셋 및 주석(Annotation)
   저자들은 전문가가 검증한 자연어 캡션이 쌍으로 결합된 5,051개의 하수도 및 암거 점검 이미지로 구성된 큐레이션 데이터셋을 도입합니다. 주석 과정은 반자동 방식으로 진행됩니다: 초기 캡션은 VLM에 의해 생성되며, 이후 정밀도, 명확성 및 산업 보고 표준과의 정렬을 보장하기 위해 도메인 지식을 갖춘 전문가에 의해 정제됩니다.

4. 엣지 최적화 및 배포
   모바일 로봇에서의 실시간 성능을 구현하기 위해 시스템은 다음과 같은 몇 가지 최적화 전략을 사용합니다:

• 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning): Phi-3.5 모델은 QLoRA(Quantized Low-Rank Adaptation)를 사용하여 적응됩니다. 이는 기본 가중치를 4비트 NormalFloat4(NF4)로 양자화하면서 FP16에서 LoRA 어댑터를 학습시키는 방식입니다. 이를 통해 학습 가능한 매개변수를 38억 개에서 6,700만 개로 줄입니다.
• 사후 학습 양자화 및 가속화: 파이프라인은 NVIDIA Jetson AGX Orin에서의 하드웨어 특화 가속을 위해 INT8 양자화와 NVIDIA TensorRT를 사용합니다. 여기에는 혼합 정밀도 추론(비전 인코더용 FP16, 언어 레이어용 INT8)과 커널 퓨전이 포함됩니다.
• 로봇 통합: 시스템은 Axis RGB PTZ 카메라, Velodyne VLP-16 LiDAR, IMU를 장착한 Clearpath Jackal UGV에 배포됩니다. 소프트웨어 아키텍처는 ROS 1 Noetic을 기반으로 구축되었으며, 센서 인터페이스, AI 추론, 점검 관리, 그리고 실시간 시각화 및 질의를 위한 인간-기계 인터페이스를 위한 모듈형 노드를 특징으로 합니다.

주요 기여

• 새로운 파이프라인: 실행 가능한 보고를 위해 RAPID-SCAN 세그멘테이션과 도메인 특화 VLM 요약을 결합한 2단계 아키텍처.
• 효율적인 세그멘테이션: RAPID-SCAN은 단 0.64M 개의 매개변수로 경쟁력 있는 성능(0.834 F1-score)을 달야내며, 이는 U-Net과 같은 최신 모델 대비 97%의 감소를 나타냅니다.
• 큐레이션된 데이터셋: VLM 미세 조정 및 평가를 위해 특별히 설계된, 전문가가 검증한 설명을 포함한 하수도 및 암거 이미지 데이터셋.
• 엣지 최적화 전략: 엄격한 엣지 제약 조건(지연 시간 < 5초, 메모리 < 8GB)을 충족하기 위한 QLoRA, 사후 학습 양자화 및 TensorRT 가속 구현.
• 실제 환경 검증: 실험실 및 실제 암거 환경 모두에서 모바일 로봇 플랫폼을 통한 종합적인 평가.

실험 결과

• 세그멘테이션 성능: RAPID-SCAN은 단 0.19 GFLOPS로 0.834의 F1-score와 0.729의 mIoU를 달성하였으며, 계산 효율성 측면에서 더 큰 모델들을 유의미하게 능가하면서도 대등한 정확도를 유지했습니다.
• 요약 품질: 미세 조정된 VLM은 베이스라인 사전 학습 모델보다 우수한 성능을 보였으며, ROUGE-L 점수 0.36(베이스라인 0.26 대비)을 달성했고 BLEU, METEOR, BERTScore에서도 더 높은 점수를 기록했습니다. 정성적 분석 결과, 생성된 요약은 기술 용어 및 구조적 원칙 측면에서 전문가의 그라운드 트루스(Ground Truth)와 밀접하게 일치함을 확인했습니다.
• 계산 효율성: NVIDIA Jetson AGX Orin에서 최적화된 VLM은 모델 크기 2.1 GB(전정밀도 베이스라인 대비 69% 감소)로 요약당 2.3초의 추론 지연 시간을 달성했습니다. 이미지 캡처부터 요약 생성까지의 총 엔드 투 엔드 지연 시간은 평균 3.1초였습니다.
• 현장 배포: 저조도 및 불규칙한 표면이 있는 60피트 암거에서의 현장 시험을 통해 시스템의 견고함을 확인했습니다. 파이프라인은 열 및 전력 제한 범위 내에서 작동하며 결함을 성공적으로 탐지하고 실행 가능한 요약을 실시간으로 생성했습니다.

의의
본 논문은 이 연구가 인프라 유지보수를 위한 자동 결함 탐지와 실행 가능한 통찰 사이의 격차를 메운다고 주장합니다. 로봇이 자연어로 관찰 내용을 전달할 수 있게 함으로써, 이 시스템은 안전이 중요한 작업에 필수적인 효과적인 인간-로봇 협업을 위한 로봇의 직관성을 향상시킵니다. 본 연구는 확장 가능하고 자율적인 점검 솔루션을 지원하기 위해 엣지 장치에 통합된 AI 시스템을 배포하는 것이 가능하다는 것을 입증하며, Embodied AI 및 인간-로봇 상호작용 분야를 발전시킵니다. 저자들은 향후 연구가 더 넓은 결함 분류 체계, 개선된 요약 아키텍처, 그리고 향상된 공간적 맥락을 위한 3D 매핑에 집중할 것이라고 언급했습니다.