Leakage-Safe Cross-Domain Partial-Discharge Void Diagnosis: A Benchmark on the PURE Dataset

I cavi elettrici ad alta tensione sono le arterie della civiltà moderna, trasportando elettricità attraverso città e paesaggi. Per mantenerli in funzione in modo sicuro, gli ingegneri devono rilevare un sottile segnale di avvertimento chiamato scarica parziale. Questa non è un pieno cortocircuito elettrico che causa un blackout, ma una minuscola scintilla localizzata che salta attraverso una piccola fessura all'interno dell'isolamento. Con il tempo, queste scintille consumano il materiale, portando infine al guasto. Per decenni, gli esperti hanno cercato di costruire programmi informatici in grado di ascoltare queste scintille e identificare esattamente quale tipo di difetto le stia causando. La speranza era che un algoritmo intelligente potesse osservare la forma di un impulso elettrico e distinguere tra una singola bolla d'aria intrappolata nella plastica, due bolle affiancate o due bolle una sopra l'altra. Se un computer fosse riuscito a farlo in modo affidabile, avrebbe potuto prevedere i guasti dei cavi prima che accadessero.

Tuttavia, un nuovo studio rivela un ostacolo significativo in questa ricerca. Mentre i modelli informatici possono diventare incredibilmente accurati quando testati su dati provenienti dalle esatte stesse condizioni su cui sono stati addestrati, spesso falliscono completamente quando si trovano di fronte a una situazione del mondo reale leggermente diversa. I ricercatori dell'Università della Scienza e della Tecnologia di Anhui si sono posti l'obiettivo di testare questo problema utilizzando una collezione pubblica di misurazioni elettriche. Volevano sapere se un modello addestrato a riconoscere i difetti in un certo tipo di plastica sotto un certo tipo di tensione potesse ancora riconoscere quegli stessi difetti quando la plastica cambiava o la tensione cambiava. Le loro scoperte suggeriscono che l'attuale generazione di questi strumenti diagnostici è molto meno robusta di quanto si pensasse in precedenza, e che il modo in cui i ricercatori le hanno testate in passato potrebbe aver nascosto questa debolezza.

I ricercatori si sono concentrati su un dataset specifico contenente migliaia di impulsi elettrici registrati da sottili fogli di plastica. Questi fogli avevano fori artificiali praticati per simulare tre diversi tipi di difetti: un singolo foro, due fori affiancati e due fori in linea. I dati sono stati raccolti in quattro diverse condizioni: due tipi di plastica (polietilene a bassa densità e polipropilene) e due tipi di pressione elettrica (corrente alternata e corrente continua). In totale, lo studio ha analizzato 5.800 impulsi elettrici individuali raggruppati in 58 file di registrazione separate. Il passaggio cruciale compiuto dal team è stato quello di trattare ogni intero file di registrazione come un'unica unità. In studi precedenti, i ricercatori spesso mescolavano i singoli impulsi dello stesso file sia nei gruppi di addestramento che in quelli di test. Questo è come dare a uno studente un test di pratica e poi testarlo sulle stesse identiche domande; ciò gonfia il punteggio. Mantenendo tutti i impulsi di un file insieme, i ricercatori hanno garantito che, quando testavano il modello, questo si trovasse realmente di fronte a una nuova sessione di misurazione mai vista prima, e non solo a un altro impulso da una sessione che aveva già memorizzato.

Quando i ricercatori hanno testato i loro modelli utilizzando questo metodo rigoroso e privo di perdite di dati (leakage-safe), i risultati sono stati netti. Un modello informatico standard, che operava quasi perfettamente quando testato su dati della stessa condizione di materiale e tensione, ha visto la sua accuratezza crollare quando le condizioni cambiavano. Quando al modello veniva chiesto di identificare i difetti in un tipo diverso di plastica, la sua capacità di classificare correttamente i difetti scendeva a un livello appena superiore al caso. Allo stesso modo, quando il tipo di tensione passava da alternata a continua, le prestazioni del modello precipitavano. La scoperta più preoccupante è stata che il modello falliva completamente nel riconoscere il difetto del singolo foro in queste nuove condizioni, spesso identificandolo erroneamente come un altro tipo di difetto o mancandolo del tutto. Questo fallimento avveniva indipendentemente dal fatto che i ricercatori utilizzassero semplici strumenti statistici o complessi network di deep learning moderni. Anche quando i ricercatori hanno cercato di insegnare ai modelli di essere "invarianti rispetto al dominio" — ovvero hanno cercato di forzare i modelli a ignorare le differenze tra i tipi di plastica e le condizioni di tensione — i modelli non riuscivano comunque a imparare a riconoscere i difetti nei nuovi ambienti.

Lo studio ha anche indagato il motivo di tali fallimenti. Hanno scoperto che il problema non era che i modelli fossero troppo semplici o privi di potenza di calcolo. Al contrario, i modelli avevano imparato a fare affidamento su indizi sottili che erano specifici per le esatte condizioni dei dati di addestramento, come il modo specifico in cui la plastica reagiva alla tensione o la firma unica dell'attrezzatura di registrazione. Quando quelle condizioni cambiavano, gli indizi su cui i modelli facevano affidamento svanivano, lasciando i modelli ciechi. I ricercatori hanno scoperto che il fattore più critico per il fallimento era come i diversi tipi di difetti si spostassero l'uno rispetto all'altro nei dati. Se il modello non riusciva a mantenere l'identità del difetto del singolo foro distinta dagli altri quando l'ambiente cambiava, l'intero sistema falliva. Hanno anche testato una tecnica chiamata data augmentation, in cui i dati di addestramento vengono alterati artificialmente con piccoli cambiamenti come il rumore o lo spostamento del segnale nel tempo. Questa tecnica ha aiutato il modello a performare meglio quando veniva addestrato su un mix di tutte e quattro le condizioni e poi testato su una nuova, ma non ha aiutato quando il modello veniva addestrato su una sola condizione e testato su un'altra.

Forse la parte più deprimente della ricerca è arrivata da un piccolo set di dati riguardante cavi elettrici reali, piuttosto che i sottili fogli di plastica usati per i test principali. I modelli, che erano stati addestrati sui fogli di plastica, erano completamente incapaci di riconoscere i difetti nei cavi reali. Classificavano erroneamente ogni singolo record del cavo, indovinando costantemente il tipo sbagliato di difetto. Ciò suggerisce che i modelli avevano appreso una rappresentazione dei difetti specifica per i sottili fogli di plastica e che non si traduceva nella geometria complessa di un vero cavo. I ricercatori hanno concluso che, sebbene questi modelli siano eccellenti nel descrivere ciò che hanno già visto, non sono ancora pronti per essere affidati al compito di diagnosticare nuove linee elettriche mai viste.

Lo studio non afferma che l'intelligenza artificiale non possa risolvere questo problema, ma sostiene che la strada da seguire richiede un cambiamento fondamentale nel modo in cui questi strumenti vengono valutati. L'attuale pratica di riportare punteggi di accuratezza elevati basati su dati che non sono veramente indipendenti è fuorviante. Per costruire uno strumento diagnostico affidabile, gli ingegneri devono testare i loro modelli su dati che provengono da materiali diversi, tensioni diverse e configurazioni di registrazione diverse, proprio come farebbe un sistema nel mondo reale. I ricercatori propongono un nuovo standard di test che separi i dati di addestramento dai dati di test a livello dell'intero file di registrazione, garantendo che non vi sia alcuna fuga di informazioni tra i due. Essi sottolineano inoltre che le prestazioni devono essere riportate separatamente per ogni tipo di difetto e per ogni tipo di variazione, poiché un modello potrebbe funzionare bene per un tipo di difetto ma fallire completamente per un altro. Finché questi test rigorosi non saranno superati, e finché i modelli non saranno dimostrati efficaci attraverso diverse condizioni fisiche, la promessa di una diagnosi automatizzata dei cavi rimarrà fuori portata. Il lavoro funge da necessaria verifica della realtà, ricordando alla comunità scientifica che un'alta accuratezza in un laboratorio controllato non garantisce la sicurezza sul campo.