Language-in-the-Loop Culvert Inspection on the Erie Canal

1. 문제 정의 (Problem Statement)

• 배경: 미국 에리 운하 (1825 년 건설) 를 포함한 수로 시스템에는 수백 개의 터널 (Culvert) 이 존재하며, 이는 배수 및 구조적 무결성을 위해 정기적인 점검이 필수적입니다.
• 현황 및 한계:
  • 위험성: 터널은 좁고, 환기가 안 되며, 조명 부족과 구조적 불안정성으로 인해 인간 점검원의 접근이 위험합니다.
  • 기술적 난제: 기존 로봇 기반 점검은 조명 불균일, 낮은 질감 (Texture), 좁은 공간 등의 환경적 요인으로 인해 3D 재구성이나 고정된 결함 분류기 (Closed-set detectors) 의 성능이 떨어집니다.
  • 데이터 부족: 결함 데이터가 부족하고, 기존 점검 보고서는 비정형 텍스트 (Free text) 로 작성되어 있어 기존 딥러닝 모델의 미세 조정 (Fine-tuning) 이 어렵습니다.

2. 제안 방법론: VISION (Methodology)

저자들은 VISION(Visual Inspection System with Intelligent Observation and Navigation) 이라는 종단 간 자율 점검 시스템을 제안했습니다. 이 시스템은 웹 규모의 **시각 - 언어 모델 **(VLM)과 **제약된 시점 계획 **(Constrained Viewpoint Planning)을 결합하여 "보다 (See) → 결정하다 (Decide) → 이동하다 (Move) → 재촬영하다 (Re-image)"의 루프를 자율적으로 수행합니다.

핵심 구성 요소 및 프로세스:

1. 시스템 아키텍처:

   • 플랫폼: Boston Dynamics Spot(4 족 보행 로봇) 에 탑재.
   • 센서:
     • **Camera-1 **(ZED 2i) 전방 고정 카메라로 VLM 에게 질의 (Query) 이미지 제공 및 스테레오 깊이 정보 획득.
     • **Camera-2 **(FLIR Blackfly) 팬 - 틸트 짐벌 (Pan-Tilt Gimbal) 에 탑재된 고해상도 카메라로, VLM 이 제안한 관심 영역 (ROI) 을 정밀 촬영.
     • 조명: Co-located LED 및 Flood LED.

2. **작동 흐름 **(Pipeline):

   • **ROI 제안 **(Region-of-Interest Proposal):
     • 로봇이 터널 내 웨이포인트에 도달하면 Camera-1 로 이미지를 촬영합니다.
     • 이 이미지를 GPT-5(OpenAI API) 에게 전송하여 "결함은 무엇인가?"라는 일반적인 프롬프트를 통해 Open-vocabulary ROI(관심 영역) 를 제안받습니다.
     • VLM 은 바운딩 박스, 신뢰도, 그리고 자연어 기반의 근거 (Rationale) 를 출력합니다.
   • **깊이 융합 **(Depth Fusion):
     • VLM 의 2D 바운딩 박스에 스테레오 깊이 정보를 매핑하여 3D 좌표와 거리 정보를 추가합니다.
   • **시점 최적화 **(Viewpoint Optimization):
     • 제안된 ROI 를 고해상도로 촬영하기 위한 최적의 카메라 위치 (로봇의 전진 거리 $x$) 와 짐벌 각도 (팬 $\psi$, 틸트 $\phi$) 를 계산합니다.
     • 2 단계 최적화 전략:
       1. Coarse Grid Search: 제한된 공간 (터널 직선 이동 + 짐벌 각도 제한) 내에서 전역 탐색을 수행하여 초기 해를 찾습니다.
       2. **Gradient-based Refinement **(L-BFGS-B): 초기 해를 기반으로 정밀하게 최적화하여 ROI 가 프레임 중앙에 위치하고, 적절한 크기로 보이며, 정면에서 촬영되도록 조정합니다.
   • 재촬영 및 검증:
     • 계산된 시점으로 로봇이 이동하고 짐벌을 조정하여 고해상도 이미지를 촬영합니다.
     • 촬영된 이미지를 다시 VLM 에게 보내 원래 가설이 확인되었는지 (Confirmed), 부분 확인되었는지, 아니면 기각되었는지 최종 평가를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 종단 간 자율 터널 점검 프레임워크: 인간 개입 없이 로봇이 환경을 탐색하고, VLM 을 통해 결함을 발견하며, 정밀 촬영을 수행하는 완전한 자율 시스템 구현.
2. Zero-shot VLM 활용: 특정 도메인 데이터로 모델을 학습 (Fine-tuning) 시키지 않고, 웹 규모의 VLM 을 제로샷 (Zero-shot) 으로 활용하여 추상적인 점검 작업을 수행하는 방법론 제시.
3. 실제 현장 배포 및 검증: 에리 운하의 실제 터널 (66m 길이, 1.2m 직경) 에서 4 족 보행 로봇을 통해 시스템을 배포하고, 현장 실험을 통해 유효성을 입증.

4. 실험 결과 (Results)

• 실험 환경: 에리 운하 하부의 Culvert 110 (Gasport, NY) 에서 8 회 자율 주행 수행.
• 평가자: 뉴욕 운하 공사 (NYCC) 의 비전문가 (NAE, 8 명) 와 전문가 (SME, 2 명).
• 성능 지표:
  • **RAR **(Reasoning-Agreement Rate, 추론 일치율): 초기 ROI 제안 시 전문가와 일치한 비율은 61.4%, 비전문가는 74.4% 였습니다.
  • **CC **(Coverage Confidence, 커버리지 신뢰도): 전문가들은 시스템이 중요한 결함을 놓치지 않았다고 **93.75%**의 높은 신뢰도를 보였습니다. (비전문가는 60.4%)
  • **DDS **(Defect-Description Score, 결함 설명 점수): 최종 결함 설명의 질은 3 점 만점에 2.4 점으로, 일관된 결함 서술이 가능함을 보였습니다.
• 효율성:
  • 전체 터널 (66m) 점검에 약 90 분 소요 (인간 점검원 기준 약 2 시간 대비 효율성 향상).
  • 각 웨이포인트당 평균 60 초 이내로 VLM 응답 및 계획 완료, 재촬영 이동 시간 포함 약 15 초 소요.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 및 접근성: 위험한 지하 공간으로의 인간 접근을 줄이고, 로봇을 통해 안전한 점검을 가능하게 함.
• 유연성: 고정된 결함 분류기가 아닌 자연어 프롬프트를 통해 다양한 결함 (부식, 균열, 얼음, 이물질 등) 을 유연하게 탐지 가능.
• 전문가 - 로봇 간 간극 해소: VLM 이 생성한 자연어 설명은 도메인 전문가가 아닌 사람들도 결과를 이해하고 1 차 검토 (Step 0) 를 수행할 수 있게 하여, 전문가의 업무 부담을 줄이는 계층적 점검 프로세스를 가능하게 함.
• 한계 및 향후 과제: 현재는 클라우드 VLM API 의존성으로 인해 네트워크 연결이 필요하며, 짐벌의 기계적 한계로 인해 일부 시점 도달이 제한됨. 향후 온보드 (On-board) 소형 VLM 탑재 및 자동 보고서 생성 기능을 개발할 계획.

이 논문은 **언어 기반 루프 **(Language-in-the-Loop)를 통해 복잡한 환경에서의 자율 로봇 점검의 새로운 패러다임을 제시하며, 실제 인프라 유지보수 분야에서 실용적인 가능성을 입증했습니다.