Leakage-Safe Cross-Domain Partial-Discharge Void Diagnosis: A Benchmark on the PURE Dataset

Hochspannungskabel sind die Arterien der modernen Zivilisation und transportieren Elektrizität durch Städte und Landschaften. Um sie sicher am Laufen zu halten, müssen Ingenieure ein subtiles Warnsignal erkennen, das als Teilentladung bezeichnet wird. Dies ist kein vollständiger elektrischer Kurzschluss, der einen Blackout verursacht, sondern ein winziger, lokalisierter Funke, der über eine kleine Lücke innerhalb der Isolierung springt. Im Laufe der Zeit zerfressen diese Funken das Material und führen schließlich zum Ausfall. Seit Jahrzehnten versuchen Experten, Computerprogramme zu entwickeln, die diese Funken „hören“ und genau identifizieren können, welche Art von Defekt sie verursacht. Die Hoffnung war, dass ein intelligenter Algorithmus die Form eines elektrischen Impulses analysieren und unterscheiden könnte, ob es sich um eine einzelne Luftblase handelt, die in dem Kunststoff eingeschlossen ist, zwei nebeneinander liegende Blasen oder zwei übereinander gestapelte Blasen. Wenn ein Computer dies zuverlässig könnte, ließe sich der Ausfall von Kabeln vorhersagen, bevor er eintritt.

Eine neue Studie zeigt jedoch eine erhebliche Hürde bei diesem Vorhaben auf. Während Computermodelle bei Tests mit Daten aus exakt denselben Bedingungen, unter denen sie trainiert wurden, unglaublich präzise sein können, versagen sie oft völlig, wenn sie mit einer leicht veränderten realen Situation konfrontiert werden. Forscher der Anhui University of Science and Technology gingen dieses Problem unter Verwendung einer öffentlichen Sammlung elektrischer Messungen an. Sie wollten wissen, ob ein Modell, das darauf trainiert wurde, Defekte in einer bestimmten Art von Kunststoff unter einer bestimmten Spannung zu erkennen, dieselben Defekte auch dann noch erkennen kann, wenn sich der Kunststoff oder die Spannung ändert. Ihre Ergebnisse legen nahe, dass die aktuelle Generation dieser Diagnosetools weit weniger robust ist als bisher angenommen und dass die Art und Weise, wie Forscher sie in der Vergangenheit getestet haben, diese Schwäche möglicherweise verborgen hat.

Die Forscher konzentrierten sich auf einen spezifischen Datensatz, der Tausende von elektrischen Impulsen enthält, die von dünnen Kunststofffolien aufgezeichnet wurden. In diese Folien waren künstliche Löcher gebohrt worden, um drei verschiedene Arten von Defekten zu simulieren: ein einzelnes Loch, zwei nebeneinander liegende Löcher und zwei in einer Reihe liegende Löcher. Die Daten wurden unter vier verschiedenen Bedingungen erhoben: zwei Arten von Kunststoff (Polyethylen niedriger Dichte und Polypropylen) und zwei Arten von elektrischem Druck (Wechselstrom und Gleichstrom). Insgesamt analysierte die Studie 5.800 einzelne elektrische Impulse, die in 58 separaten Aufzeichnungsdateien gruppiert waren. Der entscheidende Schritt, den das Team unternahm, bestand darin, jede gesamte Aufzeichnungsdatei als eine einzige Einheit zu behandeln. In früheren Studien mischten Forscher oft einzelne Impulse aus derselben Datei sowohl in die Trainings- als auch in die Testgruppen. Das ist so, als würde man einem Schüler eine Übungsprüfung geben und ihn dann genau zu denselben Fragen testen; dies bläht die Punktzahl künstlich auf. Indem die Forscher alle Impulse aus einer Datei zusammenhielten, stellten sie sicher, dass das Modell beim Testen tatsächlich mit einer neuen, ungesehenen Messsitzung konfrontiert wurde und nicht nur mit einem weiteren Impuls aus einer Sitzung, die es bereits auswendig gelernt hatte.

Als die Forscher ihre Modelle unter Verwendung dieser strengen, „leckagesicheren“ Methode testeten, waren die Ergebnisse drastisch. Ein Standard-Computermodell, das bei Tests mit Daten aus derselben Material- und Spannungsbedingung fast perfekt abschnitt, sah sich mit einem Zusammenbruch seiner Genauigkeit konfrontiert, als sich die Bedingungen änderten. Wenn das Modell aufgefordert wurde, Defekte in einem anderen Kunststofftyp zu identifizieren, sank seine Fähigkeit, die Defekte korrekt zu klassifizieren, auf ein Niveau, das kaum besser als Raten war. Ähnlich verhielt es sich, als sich die Spannungsart von Wechselstrom zu Gleichstrom änderte: Die Leistung des Modells brach ein. Der besorgniserregendste Befund war, dass das Modell den Einzel-Loch-Defekt unter diesen neuen Bedingungen überhaupt nicht mehr erkennen konnte und ihn oft als einen anderen Typ von Defekt fehlinterpretierte oder ihn ganz übersah. Dieses Versagen trat unabhängig davon auf, ob die Forscher einfache statistische Werkzeuge oder komplexe, moderne Deep-Learning-Netzwerke verwendeten. Selbst als die Forscher versuchten, die Modelle „domäneninvariant“ zu lehren – das heißt, sie versuchten, die Modelle dazu zu zwingen, die Unterschiede zwischen den Kunststofftypen und Spannungsbedingungen zu ignorieren –, konnten die Modelle in den neuen Umgebungen dennoch keine Defekte erkennen.

Die Studie untersuchte auch, warum diese Fehler auftraten. Sie fanden heraus, dass das Problem nicht darin bestand, dass die Modelle zu einfach waren oder es ihnen an Rechenleistung mangelte. Stattdessen hatten die Modelle gelernt, sich auf subtile Hinweise zu verlassen, die spezifisch für die exakten Bedingungen der Trainingsdaten waren, wie etwa die spezifische Art und Weise, wie der Kunststoff auf die Spannung reagierte, oder die einzigartige Signatur der Aufzeichnungsgeräte. Wenn sich diese Bedingungen änderten, verschwanden die Hinweise, auf die sich die Modelle verlassen hatten, und die Modelle waren blind. Die Forscher entdeckten, dass der kritischste Faktor für das Scheitern die Art und Weise war, wie sich die verschiedenen Defekttypen relativ zueinander in den Daten verschoben. Wenn das Modell nicht in der Lage war, die Identität des Einzel-Loch-Defekts gegenüber den anderen bei einer Änderung der Umgebung aufrechtzuerhalten, versagte das gesamte System. Sie testeten auch eine Technik namens „Data Augmentation“, bei der die Trainingsdaten künstlich durch kleine Änderungen wie Rauschen oder das Verschieben des Signals in der Zeit manipuliert werden. Diese Technik half dem Modell, besser abzuschneiden, wenn es mit einer Mischung aller vier Bedingungen trainiert und dann auf eine neue getestet wurde, half jedoch nicht, wenn das Modell nur mit einer Bedingung trainiert und auf eine andere getestet wurde.

Der vielleicht ernüchterndste Teil der Forschung kam aus einem kleinen Datensatz mit tatsächlichen Stromkabeln anstelle der dünnen Kunststofffolien, die im Haupttest verwendet wurden. Die Modelle, die auf den Kunststofffolien trainiert worden waren, waren völlig unfähig, die Defekte in den echten Kabeln zu erkennen. Sie klassifizierten jeden einzelnen Kabeldatensatz falsch und ratierten konsequent den falschen Defekttyp. Dies deutet darauf hin, dass die Modelle eine Repräsentation der Defekte gelernt hatten, die spezifisch für die dünnen Kunststofffolien war und sich nicht auf die komplexe Geometrie eines echten Kabels übertragen ließ. Die Forscher kamen zu dem Schluss, dass diese Modelle zwar exzellent darin sind, das zu beschreiben, was sie bereits gesehen haben, aber noch nicht bereit sind, der Aufgabe der Diagnose neuer, ungesehener Stromleitungen zu vertrauen.

Die Studie behauptet nicht, dass künstliche Intelligenz dieses Problem nicht lösen kann, argumentiert aber, dass der Weg nach vorne eine grundlegende Änderung in der Bewertung dieser Werkzeuge erfordert. Die derzeitige Praxis, hohe Genauigkeitswerte basierend auf Daten zu melden, die nicht wirklich unabhängig sind, ist irreführend. Um ein zuverlässiges Diagnosetool zu bauen, müssen Ingenieure ihre Modelle an Daten testen, die aus unterschiedlichen Materialien, unterschiedlichen Spannungen und unterschiedlichen Aufzeichnungssystemen stammen, genau wie es ein reales System tun würde. Die Forscher schlagen einen neuen Standard für Tests vor, der die Trainingsdaten auf der Ebene der gesamten Aufzeichnungsdatei von den Testdaten trennt, um sicherzustellen, dass keine Informationen zwischen beiden fließen. Sie betonen auch, dass die Leistung separat für jede Art von Defekt und jede Art von Verschiebung gemeldet werden muss, da ein Modell für eine Art von Defekt gut funktionieren kann, während es bei einer anderen völlig versagt. Bis diese strengen Tests bestanden sind und bis Modelle bewiesen haben, dass sie über verschiedene physikalische Bedingungen hinweg funktionieren, bleibt das Versprechen einer automatisierten Kabeldiagnose außer Reichweite. Die Arbeit dient als notwendiger Realitätscheck, der die wissenschaftliche Gemeinschaft daran erinnert, dass hohe Genauigkeit in einem kontrollierten Labor keine Sicherheit im Einsatz garantiert.