Resumen Técnico: Localización Visual mediante Estructuras Semánticas en la Inspección de Plantas Fotovoltaicas Autónomas

1. Planteamiento del Problema

El mantenimiento de las plantas de energía fotovoltaica (PV) depende cada vez más de Vehículos Aéreos No Tripulados (UAV) equipados con cámaras térmicas para detectar defectos como puntos calientes y anomalías en los circuitos. Sin embargo, la inspección totalmente autónoma sigue siendo un desafío. Los sistemas actuales suelen depender de Sistemas de Navegación Global por Satélite (GNSS) y Unidades de Medición Inercial (IMU) para la navegación, los cuales carecen de la precisión necesaria para capturar imágenes térmicas desde distidades y ángulos de visión óptimos. Además, la planificación de misiones estándar basada en puntos de referencia (waypoints) predefinidos es propensa a errores debido al desplazamiento del GNSS y a las imprecisiones en el modelo de la planta de energía. Para adquirir datos de defectoscopia detallados, el UAV debe mantener una posición precisa de 6 grados de libertad (6-DoF) relativa a los módulos fotovoltaicos individuales, una tarea difícil de lograr sin retroalimentación visual.

2. Metodología

El artículo propone un novedoso flujo de trabajo de localización que integra directamente la detección de módulos fotovoltaicos en el bucle de navegación del UAV. El sistema opera sobre imágenes de cámara RGB, elegidas por su espacio de características más rico y mayor resolución en comparación con las imágenes térmicas, aunque los autores señalan que los métodos pueden adaptarse para datos térmicos.

2.1. Descripción General del Flujo de Localización

El flujo de trabajo consta de tres etapas primarias:

1. Detección de Módulos: Detección visual y segmentación de módulos fotovoltaicos individuales.
2. Asociación de Datos: Seguimiento de las detecciones a través de secuencias de imágenes para preservar IDs únicos y asociarlos con un modelo de planta de energía georreferenciado. Esto implica identificar "puntos de anclaje visual" (finales de bancos y huecos) para inicializar la asociación y utilizar el seguimiento de objetos para mantener la consistencia global.
3. Estimación de la Pose de la Cámara: Resolución del problema de Perspective-n-Point (PnP) para estimar la posición relativa de la cámara basándose en la asociación entre los puntos detectados en la imagen y sus coordenadas reales conocidas.

2.2. Enfoques de Segmentación de Módulos PV

Los autores evalúan tres métodos de segmentación distintos para determinar su eficacia dentro del flujo de localización:

• YOLOv8 (Segmentación de Instancias): Un modelo de aprendizaje profundo que genera cajas delimitadoras orientadas y máscaras de segmentación.
• U-Net (Red Neuronal Totalmente Convolucional): Un modelo de aprendizaje profundo que produce máscaras de segmentación binarias, las cuales son procesadas posteriormente (erosión/dilatación) para extraer cajas delimitadoras individuales.
• Detección Basada en Bordes (CV Tradicional): Un método que utiliza la detección de bordes Canny y transformadas de Hough para identificar intersecciones de líneas, formando una estructura de grafo que representa las esquinas de los módulos. Este enfoque incluye un mecanismo de detección novedoso para los "huecos entre bancos" (transiciones entre filas) utilizando similitud de histogramas, el cual no requiere datos de entrenamiento.

2.3. Estimación de Pose y Filtrado

• Solucionador PnP: El sistema utiliza el algoritmo EPnP para calcular la transformación entre el sistema de coordenadas del mundo (modelo de la planta de energía) y el marco de la cámara.
• Filtro de Kalman: Para garantizar la robustez frente al ruido y errores ocasionales de PnP, un filtro de Kalman simplificado integra las estimaciones de pose de PnP, datos de GNSS (para la velocidad) y un modelo de movimiento del UAV. El filtro pondera las mediciones de PnP dinámicamente basándose en el error de reproyección ($\epsilon_r$) y umbrales de desviación de distancia.

2.4. Modelado de la Planta de Energía

El sistema requiere un modelo compacto y georreferenciado que contenga las posiciones, orientaciones y dimensiones de los módulos fotovoltaicos. Los autores probaron dos enfoques de generación de modelos:

• Modelo de Alta Altitud (H-Alt): Derivado de imágenes aéreas públicas y mapas topográficos.
• Modelo de Estructura desde el Movimiento (SfM): Generado a partir de los propios datos de vuelo de inspección utilizando OpenSfM, sirviendo como una verdad de terreno de alta precisión para la evaluación.

3. Contribuciones Clave

• Localización Directa Módulo-Dron: Un método para estimar la pose del UAV relativa a los módulos fotovoltaicos individuales, permitiendo una navegación y adquisición de datos precisas desde ángulos de visión óptimos.
• Análisis Comparativo de Segmentación: La propuesta y evaluación de tres métodos de segmentación fundamentalmente diferentes (dos basados en CNN y uno de CV tradicional) dentro de un marco de localización unificado.
• Puntos de Anclaje Visuales: La introducción de puntos de navegación visualmente reconocibles (finales de bancos y huecos) para inicializar el flujo de localización y asociar las detecciones con el modelo de la planta de energía sin necesidad de alineación previa con el GNSS.
• Conjunto de Datos Público y Modelos: El lanzamiento de un conjunto de datos anotado personalizado para la segmentación de módulos fotovoltaicos y los modelos de segmentación entrenados.

4. Resultados Experimentales

El sistema fue evaluado con un conjunto de datos personalizado que comprende vuelos de inspección manual sobre dos plantas de energía fotovoltaica distintas (Planta de Energía A y B) con variaciones en la disposición de los módulos (filas verticales vs. horizontales).

• Desempeño de la Detección:
  • U-Net demostró la mayor robustez y tasas de éxito en ambas plantas de energía y para la detección de huecos entre bancos.
  • YOLO funcionó bien en la Planta A, pero mostró una reducción en la generalización en la Planta B (módulos horizontales), atribuido a la subrepresentación en los datos de entrenamiento.
  • Los métodos basados en bordes fueron efectivos pero sufrieron caídas de rendimiento en módulos más oscuros en la Planta A debido al ajuste de parámetros fijos.
• Precisión de la Localización:
  • Utilizando el modelo SfM (verdad de terreno), el sistema logró errores de posición medios que oscilaron entre 0.65m y 1.29m, dependiendo del método de segmentación y el conjunto de datos.
  • Utilizando el modelo H-Alt, el sistema compensó con éxito las imprecisiones del modelo y el desplazamiento del GNSS, manteniendo trayectorias estables respecto a las estructuras detectadas.
  • El filtro de Kalman mejoró significamente la suavidad y estabilidad de la trayectoria en comparación con las estimaciones de PnP puras.
• Capacidad en Tiempo Real:
  • Los tiempos de computación se midieron en un CPU Intel Core i7-7700 y una GPU Nvidia GeForce 2080Ti.
  • El método basado en bordes fue el más rápido (Total 58ms en GPU), seguido de U-Net (38ms en GPU) y YOLO (~45ms en GPU). Todos los métodos soportaron frecuencias de procesamiento en tiempo real (3–15 fps) requeridas para las velocidades de vuelo probadas.

5. Significación y Reivindicaciones

El artículo afirma que el método propuesto representa un paso significativo hacia la inspección fotovoltaica totalmente autónoma al pasar de una navegación basada en puntos de ruta (waypoints) a una localización orientada a objetos. Al utilizar directamente las detecciones de los módulos fotovoltaicos, el sistema permite al UAV mantener distancias y ángulos de visión óptimos, lo cual es crítico para una defectoscopia térmica de alta calidad.

Los autores enfatizan que el método es robusto ante imprecisiones en el modelo de la planta de energía y desplazamientos del GNSS, siempre que las estructuras visuales se identifiquen y asocien correctamente. Señalan que el enfoque es versátil, permitiendo diferentes algoritmos de segmentación y la extracción simultánea de parches de imagen para el análisis de defectos. Aunque la implementación actual se centra en disposiciones basadas en filas, los autores sugieren que la metodología podría extenderse a otras estructuras, como instalaciones en tejados. El trabajo concluye que la integración de la localización visual con los flujos de trabajo de defectoscopia ofrece un camino práctico para mejorar la eficiencia y la fiabilidad del mantenimiento de las plantas fotovoltaicas.