Photovoltaic Panel Failure Detection Using Class-Conditioned Generative Adversarial Networks

기술 요약: 클래스 조건부 생성적 적대 신경망(AC-GAN)을 이용한 태양광 패널 결함 탐지

문제 정의
태양광(PV) 시스템의 자동 검사는 핫스팟, 셀 균열, 바이패스 다이오드 고장과 같은 결함을 탐지하기 위해 적외선(IR) 열화상 촬영에 크게 의존한다. 딥러닝 모델이 이 과정을 자동화하는 데 유망한 성과를 보여왔으나, 실제 데이터셋에 내재된 클래스 불균형 문제로 인해 그 효과가 심각하게 제한된다. 운영 중인 태양광 발전소에서는 대다수의 모듈이 정상 상태인 반면, 치명적인 고장 모드(예: 다이오드 고장, 다중 셀 핫스팟)는 매우 드물게 발생한다. 이러한 소수 클래스 샘플의 부족은 지도 학습 모델이 지배적인 '정상' 클래스에 편향되게 만들어, 결과적으로 중요한 결함에 대한 재현율(Recall)을 저하시킨다. 더욱이, 이렇게 왜곡된 데이터로 훈련된 모델은 확률적 보정(Probabilistic Calibration) 능력이 떨어져, 안전이 중요한 자율 운영 환경에서 위험할 수 있는 과잉 확신적 오분류를 생성하기도 한다. 희귀 결함에 대한 실제 데이터를 더 많이 수집하는 것은 특정 환경 조건이 필요하거나 종종 파괴적인 결함 유도가 수반되어야 하므로 운영 측면에서 복잡하고 비용이 많이 든다.

방법론
이러한 문제를 해결하기 위해, 저자들은 PV 결함의 고충실도 열화상 이미지를 클래스 조건부로 합성하기 위해 설계된 보조 분류기 생성적 적대 신경망(AC-GAN) 프레임워크를 제안한다.

• 아키텍처:
  • 생성기(Generator): 생성기는 잠재 노이즈 벡터($z$)와 이산 클래스 레이블($c$)을 입력받는다. 레이블은 연속적인 표현으로 임베딩되어 노이즈와 결합된다. 네트워크는 배치 정규화, 쌍선형 업샘플링(Bilinear Upsampling), 컨볼루션, LeakyReLU 활성화 함수를 포함하는 두 개의 블록으로 구성된 점진적 업샘플링 구조를 채택한다. 결정적으로, 모듈 전체에 걸친 열적 이상 현상의 장거리 공간 의존성을 포착하기 위해 업샘플링 블록 사이에 셀프 어텐션(Self-attention) 메커니즘이 통합되었다. 최종 출력은 $tanh$활성화 함수를 통해$[-1, 1]$ 범위로 제한되는 단일 채널 그레이스케일 열화상 이미지이다.
  • 판별기(Discriminator): 판별기는 실제 이미지와 가짜 이미지를 구별하는 작업(적대적 작업)과 이미지를 올바른 이상 카테고리로 분류하는 작업(보조 작업)이라는 이중 과업을 수행한다. 판별기는 리프시츠 상수(Lipschitz constant)를 제한하고 훈련 안정성을 보장하기 위해 **스펙트럴 정규화(Spectral Normalization)**를 사용하는 4개의 컨볼루션 블록을 활용한다. 출력은 적대적 헤드(실제/가짜 확률)와 보조 분류 헤드(클래스 확률)로 나뉜다.
• 훈련 전략:
  • 모델은 적대적 손실과 보조 분류 손실을 결합한 복합 손실 함수를 사용하여 훈련된다.
  • 안정성을 확보하기 위해 저자들은 레이블 스무딩(실제 대상 0.9, 가짜 대상 0.1 적용), 실제 이미지에 대한 가우시안 노이즈 주입, 그리고 그래디언트 클리핑을 사용한다.
  • 최적화는 생성기와 판별기에 서로 다른 학습률을 적용한 Adam 옵티마이저를 사용하여 수행된다.
• 다운스트림 평가:
  • AC-GAN으로 생성된 합성 이미지는 훈련 데이터셋의 균형을 맞추는 데 사용된다.
  • MobileNetV3-Large 분류기가 세 단계의 미세 조정(Fine-tuning) 전략(백본 동결, 부분 미세 조정, 전체 미세 조정)을 통해 증강된 데이터에 적응하도록 훈련된다.
  • 성능은 클래스 가중치 손실(Class-weighted loss), 오버샘플링(Oversampling), 그리고 전통적인 기하학적 증강(Geometric Augmentation)을 포함한 베이스라인 모델들과 비교 평가된다. 평가지표로는 Top-1 정확도, 검증 손실, 그리고 **기대 보정 오차(Expected Calibration Error, ECE)**가 사용된다.

주요 기여

1. 결함 조건부 합성: 본 논문은 적외선 PV 이미지를 위한 특화된 AC-GAN을 도입하여, 파괴적인 결함 유도 없이도 희귀 결함 징후를 제어된 방식으로 생성할 수 있게 함으로써 심각한 데이터셋 불균형 문제를 직접적으로 해결한다.
2. 엄격한 비교 평가: 본 연구는 생성적 증강과 전통적인 방식(오버샘플링, 클래스 가중치, 기하학적 증강)을 체계적으로 비교하여, 이들이 분류 성능과 불확실성 추정에 미치는 영향을 정량화한다.
3. 보정(Calibration)에 대한 집중: 본 연구는 합성 데이터가 일부 설정에서 단순 증강보다 Top-1 정확도는 약간 낮을 수 있으나, 확률적 보정 성능은 크게 향상시킨다는 점을 입증한다. 제안된 프레임워크는 1.5%의 ECE를 달로하며, 이는 모델의 신뢰도 점수가 실제 정답 여부와 훨씬 더 밀접하게 일치함을 나타낸다. 이는 안전이 중요한 진단 분야에서 매우 중요한 요소이다.

결과

• 생성 품질: 제안된 AC-GAN은 35.4의 Fréchet Inception Distance(FID)를 달성하였으며, 이는 셀프 어텐션이 없는 버전(FID 52.3)이나 스펙트럴 정규화가 없는 버전(FID 68.7)보다 우수한 성능을 보였다. 이는 생성된 열 징후의 높은 충실도를 의미한다.
• 분류 성능:
  • AC-GAN 기반 접근 방식은 **80.45%**의 분류 정확도와 0.6987의 검증 손실을 달성했다.
  • 이는 클래스 가중치 베이스라인(정확도 67.97%, 손실 2.1747)과 오버샘플링 베이스라인(정확도 70.50%, 손실 1.0260)을 유의미하게 상회하는 결과이다.
  • 전통적인 기하학적 증강은 약간 더 높은 정확도(82.12%)를 기록했으나, 더 높은 검증 손실(0.9064)과 낮은 보정 성능을 보였다.
• 보정 및 신뢰성: AC-GAN 모델은 우수한 불확실성 인지 능력을 입증했다. 신뢰도 도표(Reliability diagrams)는 예측된 확신도와 경험적 정답률 사이의 강력한 일치를 보여주었다. 해당 모델은 **1.5%**의 ECE를 나타냈는데, 이는 증강 기반 모델의 2.56%와 비교되는 수치이다. GAN 기반 모델은 정답일 때는 확신이 높고, 오답일 때는 적절히 확신이 낮은 양상을 보인 반면, 증강 기반 모델은 더 큰 중첩과 과잉 확신을 보였다.

의의 및 주장
저자들은 이 방법론이 자율 태양광 운영 및 유지보수(O&M)의 신뢰성을 높이는 확장 가능한 솔루션을 제공한다고 주장한다. 주요 의의는 원시 정확도(Raw accuracy)와 신뢰성 사이의 트레이드오프에 있다. 본 논문은 자율 항공 검사와 같은 안전 중심 애플리케이션에서는, 정확도가 약간 더 높더라도 보정 능력이 떨어지는 모델보다 확률적 보정(낮은 ECE)이 뛰어난 모델이 근본적으로 더 신뢰할 수 있다고 주장한다. 기능적으로 유익하고 고품질인 합성 샘플을 생성함으로써, AC-GAN 프레임워크는 현장에서 획득한 희귀 결함 데이터가 부족한 상황에서도 진단 모델이 견고하게 유지되도록 보장하며, 이를 통해 미탐지된 치명적 결함 및 과잉 확신에 의한 오분류의 위험을 줄인다. 본 연구는 다양한 카메라 해상도 및 기후 조건에 대한 일반화 가능성에 대한 한계를 인정하며, 계산적 제약으로 인해 확산 모델(Diffusion models)을 탐구하지 못했음을 언급하며 이를 향후 연구 과제로 제시하였다.