기술 요약: 태양광 발전소 점검을 위한 의미론적 구조 기반의 시각적 위치 추정

1. 문제 정의

태양광(PV) 발전소의 유지보수는 핫스팟 및 회로 이상과 같은 결함을 탐지하기 위해 열화상 카메라를 장착한 무인 항공기(UAV)에 대한 의존도가 높아지고 있다. 그러나 완전 자율 점검은 여전히 도전적인 과제이다. 현재의 시스템은 주로 항법을 위해 글로벌 위성 항법 시스템(GNSS)과 관성 측정 장치(IMU)에 의존하는데, 이는 최적의 거리와 시야각에서 열화상 이미지를 캡처하는 데 필요한 정밀도가 부족하다. 또한, 사전에 정의된 웨이포인트(waypoint)에 기반한 표준 미션 계획은 GNSS 드리프트(drift)와 발전소 모델의 부정확성으로 인해 오류가 발생하기 쉽다. 상세한 결함 검사 데이터를 획득하기 위해서는 UAV가 개별 태양광 모듈에 대해 정밀한 6-DoF(6자유도) 위치를 유지해야 하며, 이는 시각적 피드백 없이는 달성하기 어려운 작업이다.

2. 방법론

본 논문은 태양광 모듈의 탐지를 UAV 항법 루프에 직접 통합하는 새로운 위치 추정 파이프라인을 제안한다. 시스템은 열화상 이미지보다 더 풍부한 특징 공간과 높은 해상도를 가진 RGB 카메라 이미지를 기반으로 작동하며, 저자들은 이 방법이 열 데이터에도 적용될 수 있음을 언급하였다.

2.1. 위치 추정 파이프라인 개요

파이프라인은 세 가지 주요 단계로 구성된다:

1. 모듈 탐지: 개별 태양광 모듈의 시각적 탐지 및 세그멘테이션(segmentation).
2. 데이터 연관(Data Association): 고유 ID를 보존하기 위해 이미지 시퀀스 전반에서 탐지된 객체를 추적하고, 이를 지리 참조된 발전소 모델과 연관시키는 과정. 여기에는 연관 관계를 초기화하기 위한 "시각적 앵커 포인트(visual anchor points)"(벤치 끝단 및 간격) 식별과 전역 일관성을 유지하기 위한 객체 추적이 포함된다.
3. 카메라 포즈 추정: 탐지된 이미지 상의 점들과 알려진 실제 좌표 사이의 연관 관계를 바탕으로 Perspective-n-Point(PnP) 문제를 풀어 카메라의 상대적 위치를 추정한다.

2.2. PV 모듈 세그멘테이션 접근 방식

저자들은 위치 추정 파이프라인 내에서의 효용성을 결정하기 위해 세 가지 서로 다른 세그멘테이션 방법을 평가한다:

• YOLOv8 (인스턴스 세그멘테이션): 회전된 바운딩 박스와 세그멘테이션 마스크를 출력하는 딥러로닝 모델.
• U-Net (완전 합성곱 신경망): 이진 세그멘테이션 마스크를 생성하고, 개별 바운딩 박스를 추출하기 위해 후처리(침식/팽창)를 거치는 딥러닝 모델.
• 엣지 기반 탐지 (전통적 컴퓨터 비전): Canny 엣지 탐지와 허프 변환(Hough transform)을 사용하여 선의 교차점을 식별하고, 모듈 코너를 나타내는 그래프 구조를 형성하는 방법. 이 방식은 히스토그램 유사성을 사용하여 별도의 학습 데이터 없이도 "벤치 간격(bench gaps)"(행 사이의 전이 구간)을 찾아내는 새로운 탐지 메커직을 포함한다.

2.3. 포즈 추정 및 필터링

• PnP 솔버: 시스템은 세계 좌표계(발전소 모델)와 카메라 프레임 사이의 변환을 계산하기 위해 EPnP 알고리즘을 사용한다.
• 칼만 필터(Kalman Filtering): 노이즈와 간헐적인 PnP 오류에 대한 강건성을 확보하기 위해, 단순화된 칼만 필터가 PnP 포즈 추정치, GNSS 데이터(속도용), 그리고 UAV 운동 모델을 통합한다. 이 필터는 재투영 오차($\epsilon_r$)와 거리 편차 임계값을 기준으로 PnP 측정값의 가중치를 동적으로 조절한다.

2.4. 발전소 모델링

시스템은 태양광 모듈의 위치, 방향 및 크기를 포함하는 컴팩트한 지리 참조 모델을 필요로 한다. 저자들은 두 가지 모델 생성 방식을 테스트하였다:

• 고고도(H-Alt) 모델: 공공 항공 이미지와 지형도를 통해 도출된 모델.
• SfM(Structure-from-Motion) 모델: 평가를 위한 고정밀 그라운드 트루스(ground truth) 역할을 하기 위해, OpenSfM을 사용하여 실제 점검 비행 데이터로부터 생성된 모델.

3. 주요 기여

• 직접적인 모듈-대-드론 위치 추정: 개별 태양광 모듈에 대한 UAV 포즈를 추정하는 방법으로, 정밀한 항법 및 최적의 시야각에서의 데이터 획득을 가능하게 한다.
• 비교 세그멘테이션 분석: 통합된 위치 추정 프레임워크 내에서 세 가지 근본적으로 다른 세그멘테이션 방법(두 가지 CNN 기반 및 한 가지 전통적 CV)을 제안하고 평가하였다.
• 시각적 앵커 포인트: 사전 GNSS 정렬 없이도 위치 추정 파이프라인을 초기화하고 탐지 결과와 발전소 모델을 연관시킬 수 있는 시각적으로 인식 가능한 항법 지점(벤치 끝단 및 간격)을 도입하였다.
• 공공 데이터셋 및 모델: 태양광 모듈 세그멘테이션을 위한 맞춤형 주석 데이터셋과 학습된 세그멘테이션 모델을 공개한다.

4. 실험 결과

시스템은 서로 다른 모듈 배치(수직 또는 수평 행)를 가진 두 개의 뚜렷한 PV 발전소(발전소 A와 B)에 대한 수동 점검 비행 데이터로 구성된 커스텀 데이터셋을 통해 평가되었다.

• 탐지 성능:
  • U-Net은 두 발전소 모두에서 가장 높은 강건성과 성공률을 보였으며, 벤치 간격 탐지에서도 우수한 성능을 보였다.
  • YOLO는 발전소 A에서는 잘 작동했으나, 훈련 데이터의 불균형으로 인해 발전소 B(수평 모듈)에서의 일반화 성능이 저하되었다.
  • 엣지 기반 방법은 효과적이었으나, 고정된 파라미터 튜닝으로 인해 발전소 A의 어두운 모듈에서 성능 저하가 발생했다.
• 위치 추정 정확도:
  • SfM 모델(그라운드 트루스)을 사용할 때, 시스템은 세그멘테이션 방법과 데이터셋에 따라 0.65m에서 1.29m 사이의 평균 위치 오차를 달로 달성했다.
  • H-Alt 모델을 사용할 때, 시스템은 모델의 부정확성과 GNSS 드리프트를 성공적으로 보정하며 탐지된 구조물에 대해 안정적인 궤적을 유지했다.
  • 칼만 필터는 가공되지 않은 PnP 추정치에 비해 궤적의 매끄러움과 안정성을 크게 향상시켰다.
• 실시간 처리 능력:
  • 계산 시간은 Intel Core i7-7700 CPU와 Nvidia GeForce 2080Ti GPU에서 측정되었다.
  • 엣지 기반 방법이 가장 빨랐으며(총 58ms, GPU 기준), 그 다음은 U-Net(45ms), YOLO(45ms) 순이었다. 모든 방법은 테스트된 비행 속도에서 요구되는 실시간 처리 빈도(315 fps)를 지원했다.

5. 의의 및 주장

본 논문은 제안된 방법이 웨이포인트 기반 항법에서 객체 지향적 위치 추정으로 전환함으로써 완전 자율 태양광 점검을 향한 중요한 진전임을 주장한다. 태양광 모듈 탐지를 직접 활용함으로써, 시스템은 UAV가 최적의 시야 거리와 각도를 유지할 수 있게 하며, 이는 고품질 열화상 결함 검사에 매우 중요하다.

저자들은 시각적 구조가 올바르게 식별되고 연관되는 한, 제안된 방법이 발전소 모델의 부정확성과 GNSS 오프셋에 대해 강건하다는 점을 강조한다. 또한, 이 방식이 다양한 세그멘테이션 알고리즘을 지원하며 결함 분석을 위한 이미지 패치 추출을 동시에 수행할 수 있어 다재다능하다고 언급한다. 현재 구현은 행(row) 기반 레이아웃에 집중되어 있으나, 저자들은 이 방법론이 옥상 설치물과 같은 다른 구조물로 확장될 수 있다고 제안한다. 결론적으로, 시각적 위치 추정과 결함 검사 파이프라인의 통합은 자율적인 태양광 발전소 유지보수의 효율성과 신뢰성을 높이는 실질적인 경로를 제공한다.