기술 요약: 항공 로봇을 이용한 미세 검사를 위한 모듈형 듀얼 카메라 파이프라인

문제 정의

기존의 항공 검사 시스템은 작은 대상(미세 검사)을 검사하는 임무를 수행할 때 상당한 어려움에 직면해 있습니다. 현재의 접근 방식은 드론이 미세한 세부 사항을 포착하기 위해 대상에 위험할 정도로 가까이 비행하거나 복잡한 비행 경로를 따라가야 하는 경우가 많으며, 이는 충돌 위험과 운영 비용을 증가시킵니다. 또한, 드론 비행은 환경적 교란과 위치 추정 부정확성에 취약합니다. 드론이 좁은 시야각(FOV) 카메라에 의존하여 검사를 수행할 경우, 이러한 부정확성으로 인해 시스템이 대상을 완전히 놓칠 수 있습니다. 게다가 기존의 많은 궤적 계획 방법은 나무, 차량, 사람과 같이 기하학적 구조가 정해져 있지 않은 대상의 경우 활용하기 어려운 대상의 기하학적 형상, 위치 및 방향에 대한 사전 지식에 의존합니다.

방법론

본 논문은 ROS 2를 기반으로 구축되었으며 PX4 비행 스택과 호환되는 범용 오픈 소스 파이프라인인 aerial_micro_inspection을 제시합니다. 이 시스템은 항공 로봇에 장착된 듀얼 카메라 아키텍처를 활용합니다:

1. 광각(Wide-FOV) 스테레오 내비게이션 카메라: 드론 본체에 단단히 고정되어 있으며, 현장에서 대상 표면을 획득하고, 스테레오 비전을 통해 깊이를 추정하며, 표면을 더 작은 검사 영역(구획)으로 분할합니다. 또한 상태 추정 및 내비게이션을 지원합니다.
2. 협각(Narrow-FOV) 짐벌 장착 검사 카메라: 줌 광학 렌즈를 갖추고 있어, 드론이 대상에 즉각적으로 근접하지 않고도 특정 구획의 고해상도 이미지를 캡처합니다.

주요 기술 구성 요소

• 운동학적 모델링 및 캘리브레이션: 시스템은 내비게이션 카메라의 픽셀을 검사 카메라로 매핑하기 위해 운동학적 모델을 사용합니다. ArUco 마커를 사용하는 커스텀 외부 캘리브레이션 도구는 팬-틸트 자유도를 고려하여 단단히 고정된 내비게이션 카메라와 짐벌 베이스 사이의 변환 관계를 결정합니다.
• 표면 분할(Surface Partitioning): 파이프라인은 매개변수 스위핑 전략(Algorithm 1)을 사용하여 분할된 대상 표면을 검사 카메라의 투영된 FOV에 부합하는 구획으로 나눕니다. 이를 통해 사전 기하학적 지식 없이도 체계적인 커버리지가 가능합니다.
• 비전 기반 피드백 루프: 드론의 움직임과 위치 추정 오차를 상쇄하기 위해, 표면 추적 모듈(Median Flow 사용)이 실시간으로 구획의 위치를 지속적으로 업데이트합니다. 이 피드백은 짐벌의 지향 방향을 조정하여, 드론이 표류하더라도 검사 카메라가 의도한 구획과 계속 정렬되도록 보장합니다.
• 모듈형 아키텍처: 파이프라인은 표면 분할 및 미세 대상 탐지(예: YOLO 기반 모델)를 위한 교체 가능한 체크포인트를 갖도록 설계되어 다양한 사용 사례에 적응할 수 있습니다.

주요 기여

저자들은 네 가지 주요 기여를 식별했습니다:

1. 최초의 오픈 소스 모듈형 파이프라인: 저자들이 알고 있는 바로는, 이는 항공 미세 검사에 명시적으로 초점을 맞춘 최초의 ROS 2 기반 파이프라인이며, 다양한 애플리케이션을 위한 모듈형 프레임워크를 제공합니다.
2. 매개변수 스위핑 전략: 검사 대상을 줌 기능에 적합한 구획으로 나누어 체계적인 커버리지를 달 수 있는 방법입니다.
3. 비전 기반 피드백 메커니즘: 위치 추정 오류와 플랫폼의 움직임에도 불구하고 짐벌의 정렬을 유지하는 제어 루프입니다.
4. 외부 캘리브레이션 도구: 단단히 고정된 광각 카메라와 짐벌 장착 검사 카메라 사이의 관계를 캘리브레이션하기 위한 특정 도구입니다.

실험 결과

파이프라인은 시뮬레이션(Gazile와 PX4 SITL) 및 두 가지 주요 사용 사례에 걸친 실제 실험을 통해 평가되었습니다:

1. 나무 검사: 나무 줄기에 있는 참나무 뿔나방 애벌레와 알(1~2mm)을 탐지합니다.
2. 온실 검사: GPS가 제한된 환경에서 흰가루이(whiteflies)를 모니터링하기 위한 끈끈이 트랩을 검사합니다.
3. 시뮬레이션 (차량 검사): 자동차 차체 표면 검사를 포함하는 보조 시뮬레이션 시나리오를 통해 전이 가능성을 입증했습니다.

성능 결과

• 교란에 대한 견고성: 시뮬레이션에서 표면 추적 피드백 루프는 커버리지 견고성을 크게 향상시켰습니다. 개방 루프(open-loop) 실행은 GPS 노이즈(표준 편차 1.0m)와 외부 교란 하에서 커버리지 저하를 겪었으나, 피드백이 적용된 시스템은 빠르게 회복하여 높은 커버리지를 유지했습니다.
• 실제 정확도:
  • 나무 검사: 평균 각도 지향 오차 **2.17°**를 달립, 이는 신뢰할 수 있는 애벌레 탐지에 충분한 수준이었습니다.
  • 온실 검사: 평균 오차 **3.34°**를 달성했습니다. 이는 곤충의 고품질 이미징을 가능하게 했으나, 저자들은 현재의 줌 레벨에서 흰가루이를 다른 곤충과 구별하기에는 불충분하다고 언급했습니다.
• 관찰된 한계점: 저자들은 짐벌의 내부 제로 참조(zero reference)가 전원 사이클 사이에 변할 수 있으며, 이로 인해 줌 레벨이 높아질수록(예: 10배 줌 시 이미지 너비의 최대 35%) 지향 편차가 발생할 수 있음을 지적했습니다.

의의 및 주장

본 논문은 aerial_micro_inspection이 운영 위험과 인력 노출을 줄이는 신뢰할 수 있는 자율 미세 검사의 핵심적인 요구를 해결한다고 주장합니다. 내비게이션과 검사 작업을 분리하고 비전 기반 피드백 루프를 통합함으로써, 시스템은 대상의 기하학적 지식 없이도 더 안전한 거리에서 안정적인 근접 이미징을 달성합니다.

저자들은 짐벌 정렬에 관한 모델 단순화와 극단적인 줌 레벨에서의 높은 정밀도 필요성 등 현재의 한계를 겸허히 인정하며, 이 파이프라인이 일반화 가능한 항공 검사를 위한 기초 단계임을 강조합니다. 이들은 향후 연구가 운동학적 모델의 정교화, 타겟 없는 온라인 캘리브레이션으로의 전환, 그리고 더 큰 구조물을 위한 계층적 뷰포인트 생성을 처리할 수 있는 계획 레이어의 확장에 집중될 것이라고 제안합니다. 코드는 인프라 모니터링 및 산업 품질 관리와 같은 새로운 영역으로의 적응을 용이하게 하기 위해 오픈 소스로 공개되었습니다.