💻 informatica

Visual Localization via Semantic Structures in Autonomous Photovoltaic Power Plant Inspection

Dit artikel presenteert een nieuwe visuele lokalisatie-pipeline voor autonome UAV-inspectie van fotovoltaïsche centrales die module-detectie, semantische structuurassociatie met een plantmodel en objecttracking integreert om precieze navigatie en positionering mogelijk te maken.

Oorspronkelijke auteurs: Viktor Kozák, Karel Košnar, Jan Chudoba, Miroslav Kulich, Libor Přeučil

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Viktor Kozák, Karel Košnar, Jan Chudoba, Miroslav Kulich, Libor Přeučil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zonnepark voor als een gigantische, perfect georganiseerde bibliotheek, waar elk boek een zonnepaneel is. De taak van een drone is om door de gangpaden te vliegen, dicht genoeg bij de "rug" van elk boek te komen om deze te kunnen lezen, en te controleren of er een van de boeken beschadigd is (zoals een hot spot of een barst heeft).

Het probleem is dat zonneparken enorm groot zijn, en de "boeken" (panelen) zien er allemaal exact hetzelfde uit. Als je een drone alleen vertelt: "Vlieg naar coördinaten X, Y en Z," kan hij er enkele voet naast zitten. In een bibliotheek is dat niet erg. Maar voor een drone die een foto met een hoge resolutie moet maken om een minuscuul defect te vinden, betekent een afwijking van enkele voet dat de foto wazig is of het boek zelfs helemaal mist.

Dit artikel presenteert een nieuwe manier om de drone te sturen, die fungeert als een superprecieze GPS die de bibliotheekplanken zelf als oriëntatiepunten gebruikt.

Zo werkt het systeem, opgedeeld in eenvoudige stappen:

1. De "Ogen" (De panelen zien)

Eerst moet de drone precies weten waar hij naar kijkt. De onderzoekers hebben het computervisiestelsel van de drone geleerd om individuele zonnepanelen te herkennen. Ze hebben drie verschillende soorten "ogen" geprobeerd om dit te doen:

De "Slimme Leerling" (YOLO): Een deep learning-model dat naar een afbeelding kijkt en vakjes rond elk paneel tekent dat het ziet, een beetje zoals een student die duizenden foto's van zonneparken heeft bestudeerd.
De "Pixel Schilder" (U-Net): Nog een AI-model dat een masker over de panelen schildert, waardoor ze worden gescheiden van de achtergrond.
De "Lijn Tracer" (Edge Detection): Een meer traditionele methode die zoekt naar de rechte lijnen en hoeken van de panelen, en deze met elkaar verbindt als een verbindingsspelletje om te bepalen waar de panelen zich bevinden.

2. De "Kaart" (Het blauwdruk van de bibliotheek)

De drone vliegt niet blind rond; hij heeft een digitale blauwdruk van het zonnepark. Deze blauwdruk weet precies waar elk paneel zou moeten liggen, hoe groot het is en hoe het georiënteerd is. Zie dit als de meestercatalogus van de bibliotheek.

3. De "Matchmaker" (De punten verbinden)

Dit is het magische deel. Terwijl de drone vliegt, ziet zijn "ogen" een rij panelen. Vervolgens vraagt hij aan de "Matchmaker" (de lokalisatie-pipeline): "Ik zie hier een rij panelen. Komt dit overeen met de blauwdruk?"

Het begin vinden: Om te beginnen zoekt de drone naar specifieke "ankerpunten", zoals het begin of het einde van een rij, of een opening tussen secties. Het is alsof je zoekt naar het bordje "Gangpad A" in een bibliotheek om te weten waar je bent.
Volgen: Zodra de drone weet waar hij is, houdt hij de panelen bij terwijl hij vliegt. Als hij een paneel ziet, weet hij precies welk "boek" in de blauwdruk hij aan het bekijken is.

4. Het "Stuurwiel" (Real-time correctie)

In plaats van alleen een vooraf ingesteld pad te volgen, corrigeert de drone constant zijn koers.

Als de standaard GPS van de drone zegt dat hij op punt A is, maar zijn "ogen" zien dat de panelen eigenlijk op punt B liggen, vertrouwt de drone op zijn ogen.
Hij berekent exact hoeveel hij afwijkt en stuurt zichzelf naar de perfecte afstand en hoek om een kristalheldere foto te maken.
Hij gebruikt een wiskundige truc (genoemd PnP) om de puzzel op te lossen: "Ik zie deze specifieke punten op de afbeelding; waar moet mijn camera in de 3D-ruimte zijn om ze precies zo te zien?"

5. Het "Veiligheidsnet" (Kalman Filter)

Soms kan de camera een beetje wazig worden, of reflecteert de zon op een paneel, waardoor de "Matchmaker" in de war raakt. Om te voorkomen dat de drone de weg kwijtraakt, gebruikt het systeem een "Veiligheidsnet" (een Kalman-filter). Dit is als een wijze navigator die zegt: "De camera denkt dat we hier zijn, maar op basis van hoe snel we een seconde geleden bewogen, zijn we waarschijnlijk eigenlijk daar. Laten we het gladstrijken." Dit zorgt ervoor dat de drone op een stabiel pad blijft, zelfs als de camera even in de war raakt.

Wat hebben ze bewezen?

De onderzoekers hebben dit systeem getest op twee echte zonneparken met verschillende lay-outs. Ze ontdekten dat:

De drone autonoom kon vliegen en perfect uitgelijnd bleef met de panelen.
Hij foto's kon maken op de optimale afstand en hoek, wat cruciaal is voor het vinden van defecten.
Het systeem werkte, zelfs als de digitale blauwdruk niet 100% perfect was of als de standaard GPS er iets naast zat. Het visuele systeem corrigeerde deze fouten.
Het systeem snel genoeg was om in real-time te draaien, wat betekent dat de drone niet hoefde te stoppen om na te denken; hij vloog en paste zich gewoon aan.

Kortom, dit artikel beschrijft een drone die niet alleen een lijn volgt, maar de ruimte leest. Hij kijkt naar de zonnepanelen, herkent ze en gebruikt ze als gids om zichzelf naar de perfecte plek voor inspectie te sturen, zodat er geen enkel defect gemist wordt door een wazige foto of een slechte hoek.

Technische Samenvatting: Visuele Lokalisatie via Semantische Structuren bij de Inspectie van Autonome Fotovoltaïsche Zonneparken

1. Probleemstelling

Het onderhoud van fotovoltaïsche (PV) zonneparken leunt steeds vaker op Unmanned Aerial Vehicles (UAV's) uitgerust met thermische camera's om defecten zoals hot spots en circuitanomalieën te detecteren. Volledig autonome inspectie blijft echter een uitdaging. Huidige systemen vertrouwen vaak op Global Navigation Satellite Systems (GNSS) en Inertial Measurement Units (IMU) voor navigatie, die niet de precisie bieden die nodig is om thermische beelden vanuit optimale afstanden en kijkhoeken vast te leggen. Bovendien zijn standaard missieplanningen gebaseerd op vooraf gedefinieerde waypoints gevoelig voor fouten door GNSS-drift en onnauwkeurigheden in het model van het zonnepark. Om gedetailleerde defectoscopiegegevens te verwerven, moet de UAV een nauwkeurige 6-DoF (six degrees of freedom) positie behouden ten opzichte van individuele PV-modules, een taak die zonder visuele feedback moeilijk te realiseren is.

2. Methodologie

Het artikel stelt een nieuwe lokalisatiepijplijn voor die de detectie van PV-modules direct integreert in de navigatielus van de UAV. Het systeem werkt op basis van RGB-camera-images, gekozen vanwege hun rijkere feature space en hogere resolutie vergeleken met thermische beelden, hoewel de auteurs opmerken dat de methoden kunnen worden aangepast voor thermische data.

2.1. Overzicht van de Lokalisatiepijplijn

De pijplijn bestaat uit drie primaire fasen:

Module Detectie: Visuele detectie en segmentatie van individuele PV-modules.
Data Associatie: Het volgen van detecties over beeldsequenties om unieke ID's te behouden en ze te associëren met een georeferentieerd model van het zonnepark. Dit omvat het identificeren van "visuele ankerpunten" (einden van banken en tussenruimtes) om de associatie te initialiseren en het gebruik van object tracking om globale consistentie te handhaven.
Camera Pose Schatting: Het oplossen van het Perspective-n-Point (PnP) probleem om de relatieve positie van de camera te schatten op basis van de associatie tussen gedetecteerde beeldpunten en hun bekende werkelijke coördinaten.

2.2. Benaderingen voor PV-Module Segmentatie

De auteurs evalueren drie verschillende segmentatiemethoden om hun effectiviteit binnen de lokalisatiepijplijn te bepalen:

YOLOv8 (Instance Segmentation): Een deep learning-model dat georiënteerde bounding boxes en segmentatiemaskers produceert.
U-Net (Fully Convolutional Network): Een deep learning-model dat binaire segmentatiemaskers produceert, die via post-processing (erosie/dilatatie) worden gebruikt om individuele bounding boxes te extraheren.
Edge-Based Detection (Traditionele CV): Een methode die Canny edge detection en Hough transforms gebruikt om lijnintersecties te identificeren, wat een graafstructuur vormt die de hoeken van de modules representeert. Deze aanpak bevat een nieuw detectiemechanisme voor "bank gaps" (overgangen tussen rijen) met behulp van histogram-gelijkenis, wat geen trainingsdata vereist.

2.3. Pose Schatting en Filtering

PnP Solver: Het systeem gebruikt het EPnP-algoritme om de transformatie tussen het wereldcoördinatensysteem (model van het zonnepark) en het camerabeeld te berekenen.
Kalman Filtering: Om robuustheid te garanderen tegen ruis en incidentele PnP-fouten, integreert een vereenvoudigd Kalman-filter PnP-pose schattingen, GNSS-data (voor snelheid) en een UAV-bewegingsmodel. De filter weegt de PnP-metingen dynamisch op basis van de reprojectiefout ( $\epsilon_r$ ) en afstandsafwijking drempelwaarden.

2.4. Modellering van het Zonnepark

Het systeem vereist een compact, georeferentieerd model dat de posities, oriëntaties en afmetingen van de PV-modules bevat. De auteurs testten twee benaderingen voor modelgeneratie:

High-Altitude (H-Alt) Model: Afgeleid van publieke luchtfoto's en topografische kaarten.
Structure-from-Motion (SfM) Model: Gegenereerd uit de inspectievluchtgegevens zelf met behulp van OpenSfM, dienend als een hoog-precieze grondwaarheid (ground truth) voor evaluatie.

3. Belangrijkste Bijdragen

Directe Module-naar-Drone Lokalisatie: Een methode voor het schatten van de UAV-pose ten opzichte van individuele PV-modules, wat nauwkeurige navigatie en data-acquisitie vanuit optimale kijkhoeken mogelijk maakt.
Vergelijkende Segmentatieanalyse: De voorstel en evaluatie van drie fundamenteel verschillende segmentatiemethoden (twee CNN-gebaseerd, één traditionele CV) binnen een verenigd lokalisatiekader.
Visuele Ankerpunten: De introductie van visueel herkenbare navigatiepunten (einden van banken en tussenruimtes) om de lokalisatiepijplijn te initialiseren en detecties te associëren met het model van het zonnepark zonder voorafgaande GNSS-uitlijning.
Publieke Dataset en Modellen: De release van een aangepaste geannoteerde dataset voor PV-module segmentatie en de getrainde segmentatiemodellen.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op een aangepaste dataset bestaande uit handmatige inspectievluchten over twee verschillende PV-zonneparken (Zonnepark A en B) met variërende module-lay-outs (verticale versus horizontale rijen).

Detectieprestaties:
- U-Net vertoonde de hoogste robuustheid en succespercentages over beide zonneparken en voor de detectie van bank gaps.
- YOLO presteerde goed op Zonnepark A, maar toonde een verminderde generalisatie op Zonnepark B (horizontale modules), wat wordt toegeschreven aan onderrepresentatie in de trainingsdata.
- Edge-gebaseerde methoden waren effectief, maar leden onder prestatieverlies op donkere modules in Zonnepark A door vaste parameterinstellingen.
Lokalisatienauwkeurigheid:
- Bij gebruik van het SfM-model (ground truth) behaalde het systeem gemiddelde positiefoutwaarden variërend van 0,65 m tot 1,29 m, afhankelijk van de segmentatiemethode en dataset.
- Bij gebruik van het H-Alt-model slaagde het systeem erin om modelonnauwkeurigheden en GNSS-drift te compenseren, waardoor stabiele trajecten ten opzichte van de gedetecteerde structuren werden behouden.
- De Kalman-filter verbeterde de gladheid en stabiliteit van de trajecten aanzienlijk vergeleken met ruwe PnP-schattingen.
Real-time Capaciteit:
- Computatietijden werden gemeten op een Intel Core i7-7700 CPU en Nvidia GeForce 2080Ti GPU.
- De Edge-gebaseerde methode was het snelst (Totaal ~~58 ms op GPU), gevolgd door U-Net (~~38 ms op GPU) en YOLO (~45 ms op GPU). Alle methoden ondersteunden de vereiste real-time verwerkingsfrequenties (3–15 fps) voor de geteste vliegsnelheden.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde methode een belangrijke stap vormt naar volledig autonome PV-inspectie door de verschuiving van waypoint-gebaseerde navigatie naar object-georiënteerde lokalisatie. Door direct gebruik te maken van PV-module detecties, kan de UAV een optimale kijkafstand en -hoek behouden, wat cruciaal is voor hoogwaardige thermische defectoscopie.

De auteurs benadrukken dat de methode robuust is tegen onnauwkeurigheden in het model van het zonnepark en GNSS-offsets, mits de visuele structuren correct worden geïdentificeerd en geassocieerd. Ze merken op dat de aanpak veelzijdig is, verschillende segmentatiealgoritmen ondersteunt en de gelijktijdige extractie van beeldfragmenten voor defectanalyse mogelijk maakt. Hoewel de huidige implementatie zich richt op rijsgewijze lay-outs, suggereren de auteurs dat de methodologie kan worden uitgebreid naar andere structuren, zoals installaties op daken. Het werk concludeert dat de integratie van visuele lokalisatie met defectoscopie-pijlijnen een praktisch pad biedt voor het verbeteren van de efficiëntie en betrouwbaarheid van autonoom onderhoud van PV-installaties.