Leakage-Safe Cross-Domain Partial-Discharge Void Diagnosis: A Benchmark on the PURE Dataset

Hoogspanningskabels zijn de slagaders van de moderne beschaving; ze vervoeren elektriciteit door steden en landschappen. Om ze veilig te laten functioneren, moeten ingenieurs een subtiel waarschuwingssignaal detecteren dat een partiële ontlading wordt genoemd. Dit is geen volledige elektrische kortsluiting die een black-out veroorzaakt, maar een piepklein, gelokaliseerd vonkje dat over een kleine opening in de isolatie springt. In de loop van de tijd vreet dit soort vonken het materiaal weg, wat uiteindelijk leidt tot defecten. Decennialang hebben experts geprobe van computerprogramma's te bouwen die naar deze vonken kunnen luisteren en precies kunnen identificeren wat voor soort defect ze veroorzaken. De hoop was dat een slim algoritme naar de vorm van een elektrische puls kon kijken en het verschil kon zien tussen één luchtbelletje gevangen in het plastic, twee luchtbelletjes naast elkaar, of twee luchtbelletjes boven op elkaar gestapeld. Als een computer dit betrouwbaar zou kunnen doen, zou het kabeldefecten kunnen voorspellen voordat ze daadwerkelijk optreden.

Een nieuwe studie onthult echter een aanzienlijke hindernis in deze zoektocht. Hoewel computermodellen ongelooflijk nauwkeurig kunnen worden wanneer ze worden getest op data van exact dezelfde omstandigheden waarop ze zijn getraind, falen ze vaak volledig wanneer ze worden geconfronteerd met een iets andere realiteit. Onderzoekers van de Anhui University of Science and Technology zetten zich in om dit probleem te testen met behulp van een publieke collectie elektrische metingen. Ze wilden weten of een model dat getraind is om defecten in één type plastic onder één type spanning te herkennen, diezelfde defecten nog steeds zou kunnen herkennen wanneer het plastic veranderde of de spanning veranderde. Hun bevindingen suggereren dat de huidige generatie van deze diagnostische instrumenten veel minder robuust is dan voorheen werd aangenomen, en dat de manier waarop onderzoekers deze in het verleden hebben getest, deze zwakte mogelijk heeft verborgen.

De onderzoekers concentreerden zich op een specifieke dataset met duizenden elektrische pulsen die zijn opgenomen van dunne plastic vellen. In deze vellen waren kunstmatige gaatjes geboord om drie verschillende soorten defecten te simuleren: één gat, twee gaatjes naast elkaar, en twee gaatjes in een lijn. De gegevens werden verzameld onder vier verschillende omstandigheden: twee typen plastic (polyethyleen met lage dichtheid en polypropyleen) en twee typen elektrische druk (wisselstroom en gelijkstroom). In totaal analyseerde de studie 5.800 individuele elektrische pulsen, gegroepeerd in 58 afzonderlijke opnamebestanden. De cruciale stap die het team zette, was om elk volledig opnamebestand als een enkele eenheid te behandelen. In eerdere studies werden individuele pulsen uit hetzelfde bestand vaak gemengd in zowel de trainings- als de testgroepen. Dit is alsof je een leerling een oefentoets geeft en hem vervolgens test op exact dezelfde vragen; dit blaast de score onterecht op. Door alle pulsen van één bestand bij elkaar te houden, zorgden de onderzoekers ervoor dat het model bij de test werkelijk een nieuwe, ongeziene meetsessie tegenkwam, en niet slechts een andere puls uit een sessie die het al had onthouden.

Toen de onderzoekers hun modellen testten met deze strikte, lekveilig methode, waren de resultaten schokkend. Een standaard computermodel dat bijna perfect presteerde wanneer het werd getest op data van dezelfde materiaalsoort en spanningsconditie, zag zijn nauwkeurigheid instorten wanneer de omstandigheden veranderden. Wanneer het model werd gevraagd om defecten in een ander type plastic te identificeren, daalde het vermogen om de defecten correct te classificeren tot een niveau dat nauwelijks beter was dan willekeurig gokken. Op dezelfde manier, toen het type spanning veranderde van wisselstroom naar gelijkstroom, stortte de prestatie van het model in. De meest verontrustende bevinding was dat het model er volledig niet in slaagde om het enkelvoudige gat-defect te herkennen in deze nieuwe omstandigheden; het identificeerde het vaak onjuist als een ander type defect of merkte het zelfs helemaal niet op. Deze mislukking deed zich voor, ongeacht of de onderzoekers eenvoudige statistische tools of complexe, moderne deep-learning netwerken gebruikten. Zelfs toen de onderzoekers probeerden de modellen "domein-invariant" te maken – wat betekent dat ze probeerden de modellen te dwingen de verschillen tussen de plasticsoorten en de spanningcondities te negeren – slaagden de modellen er nog steeds niet in om de defecten in de nieuwe omgevingen te herkennen.

De studie onderzocht ook waarom deze fouten optraden. Ze ontdekten dat het probleem niet was dat de modellen te simpel waren of een tekort aan rekenkracht hadden. In plaats daarvan hadden de modellen geleerd om te vertrouwen op subtiele aanwijzingen die specifiek waren voor de exacte omstandigheden van de trainingsdata, zoals de specifieke manier waarop het plastic op de spanning reageerde of de unieke handtekening van de meetapparatuur. Wanneer die omstandigheden veranderden, verdwenen de aanwijzingen waar de modellen op vertrouwden, waardoor de modellen blind achterbleven. De onderzoekers ontdekten dat de meest kritieke factor voor falen was hoe de verschillende soorten defecten zich ten opzichte van elkaar verschoven in de data. Als het model niet in staat was om de identiteit van het enkelvoudige gat onderscheidend te houden van de anderen wanneer de omgeving veranderde, faalde het hele systeem. Ze testten ook een techniek genaamd data-augmentatie, waarbij de trainingsdata kunstmatig wordt aangepast met kleine wijzigingen zoals ruis of het verschuiven van het signaal in de tijd. Deze techniek hielp het model beter te presteren wanneer het werd getraind op een mix van alle vier de condities en vervolgens werd getest op een nieuwe, maar het hielp niet wanneer het model werd getraind op slechts één conditie en werd getest op een andere.

Misschien wel het meest sombere deel van het onderzoek kwam uit een kleine dataset met werkelijke stroomkabels, in plaats van de dunne plastic vellen die in de hoofdtesten werden gebruikt. De modellen, die getraind waren op de dunne plastic vellen, waren volledig onbekwaam om de defecten in de echte kabels te herkennen. Ze classificeerden elk kabelrecord onjuist en gokten consequent het verkeerde type defect. Dit suggereert dat de modellen een representatie van de defecten hadden geleerd die specifiek was voor de dunne plastic vellen en niet vertaalbaar was naar de complexe geometrie van een echte kabel. De onderzoekers concludeerden dat hoewel deze modellen uitstekend zijn in het beschrijven van wat ze al hebben gezien, ze nog niet klaar zijn om de taak van het diagnosticeren van nieuwe, ongeziene stroomlijnen op zich te nemen.

De studie beweert niet dat kunstmatige intelligentie dit probleem niet kan oplossen, maar stelt dat de weg vooruit een fundamentele verandering vereist in hoe deze instrumenten worden geëvalueerd. De huidige praktijk van het rapporteren van hoge nauwkeurigheidsscores op basis van data die niet echt onafhankelijk is, is misleidend. Om een betrouwbaar diagnostisch instrument te bouwen, moeten ingenieurs hun modellen testen op data die afkomstig is van verschillende materialen, verschillende spanningen en verschillende meetopstellingen, precies zoals een echt systeem dat zou tegenkomen. De onderzoekers stellen een nieuwe teststandaard voor die de trainingsdata scheidt van de testdata op het niveau van het volledige opnamebestand, om ervoor te zorgen dat er geen informatie tussen de twee lekt. Ze benadrukken ook dat prestaties apart moeten worden gerapporteerd voor elk type defect en elke verschuiving, omdat een model goed kan werken voor het ene type defect maar volledig kan falen voor een ander. Totdat deze rigoureuze tests zijn doorstaan, en totdat modellen bewezen zijn te werken over verschillende fysieke condities heen, blijft de belofte van geautomatiseerde kabeldiagnose buiten bereik. Het werk dient als een noodzakelijke reality check, die de wetenschappelijke gemeenschap eraan herinnert dat een hoge nauwkeurigheid in een gecontroleerd laboratorium geen veiligheid in het veld garandeert.