Leakage-Safe Cross-Domain Partial-Discharge Void Diagnosis: A Benchmark on the PURE Dataset

Cabos de alta tensão são as artérias da civilização moderna, transportando eletricidade através de cidades e paisagens. Para mantê-los funcionando com segurança, os engenheiros devem detectar um sinal de alerta sutil chamado descarga parcial. Esta não é uma falha elétrica total que causa um apagão, mas uma pequena centelha localizada que salta através de uma pequena lacuna dentro do isolamento. Com o tempo, essas centelhas corroem o material, levando eventualmente à falha. Durante décadas, especialistas tentaram construir programas de computador que pudessem ouvir essas centelhas e identificar exatamente que tipo de defeito as está causando. A esperança era que um algoritmo inteligente pudesse observar a forma de um pulso elétrico e distinguir entre uma única bolha de ar presa no plástico, duas bolhas lado a lado ou duas bolhas empilhadas uma sobre a outra. Se um computador pudesse fazer isso de forma confiável, ele poderia prever falhas de cabos antes que elas aconteçam.

No entanto, um novo estudo revela um obstáculo significativo nesta busca. Embora os modelos computacionais possam se tornar incrivelmente precisos quando testados em dados das exatas mesmas condições em que foram treinados, eles frequentemente falham completamente quando confrontados com uma situação ligeiramente diferente do mundo real. Pesquisadores da Universidade de Ciência e Tecnologia de Anhui buscaram testar este problema usando uma coleção pública de medições elétricas. Eles queriam saber se um modelo treinado para reconhecer defeitos em um tipo de plástico sob um tipo de voltagem ainda conseguiria reconhecer esses mesmos defeitos quando o plástico mudasse ou a voltagem mudasse. Suas descobertas sugerem que a geração atual dessas ferramentas de diagnóstico é muito menos robusta do que se pensava anteriormente, e que a maneira como os pesquisadores têm testado elas no passado pode ter escondido essa fraqueza.

Os pesquisadores focaram em um conjunto de dados específico contendo milhares de pulsos elétricos registrados de finas folhas de plástico. Estas folhas tinham buracos artificiais perfurados nelas para simular três tipos diferentes de defeitos: um único buraco, dois buracos lado a lado e dois buracos em linha. Os dados foram coletados sob quatro condições diferentes: dois tipos de plástico (polietileno de baixa densidade e polipropileno) e dois tipos de pressão elétrica (corrente alternada e corrente contínua). No total, o estudo analisou 5.800 pulsos individuais agrupados em 58 arquivos de gravação distintos. O passo crucial que a equipe deu foi tratar cada arquivo de gravação inteiro como uma unidade única. Em estudos anteriores, os pesquisadores frequentemente misturavam pulsos individuais do mesmo arquivo tanto nos grupos de treinamento quanto nos de teste. Isso é como dar a um aluno um teste de prática e depois testá-lo nas mesmas questões; isso infla a pontuação. Ao manter todos os pulsos de um arquivo juntos, os pesquisadores garantiram que, ao testar o modelo, ele estivesse realmente encontrando uma nova sessão de medição não vista, e não apenas outro pulso de uma sessão que ele já havia memorizado.

Quando os pesquisadores testaram seus modelos usando este método rigoroso e livre de vazamentos, os resultados foram drásticos. Um modelo de computador padrão que performou quase perfeitamente ao ser testado em dados do mesmo material e condição de voltagem viu sua precisão colapsar quando as condições mudaram. Quando o modelo foi solicitado a identificar defeitos em um tipo diferente de plástico, sua capacidade de classificar corretamente os defeitos caiu para um nível pouco melhor do que um palpite aleatório. Da mesma forma, quando o tipo de voltagem mudou de alternada para contínua, o desempenho do modelo despencou. A descoberta mais preocupante foi que o modelo falhou completamente em reconhecer o defeito de um único buraco nessas novas condições, frequentemente identificando-o erroneamente como um tipo diferente de defeito ou ignorando-o por completo. Este fracasso ocorreu independentemente de os pesquisadores usarem ferramentas estatísticas simples ou redes complexas de aprendizado profundo moderno. Mesmo quando os pesquisadores tentaram ensinar os modelos a serem "invariantes ao domínio" — ou seja, tentaram forçar os modelos a ignorar as diferenças entre os tipos de plástico e as condições de voltagem — os modelos ainda não conseguiram aprender a reconhecer os defeos nos novos ambientes.

O estudo também investigou por que esses fracassos ocorreram. Eles descobriram que o problema não era que os modelos eram muito simples ou careciam de poder de processamento. Em vez disso, os modelos aprenderam a depender de pistas sutis que eram específicas para as condições exatas dos dados de treinamento, como a maneira específica pela qual o plástico reagia à voltagem ou a assinatura única do equipamento de gravação. Quando essas condições mudavam, as pistas das quais os modelos dependiam desapareciam, e os modelos ficavam cegos. Os pesquisadores descobriram que o fator mais crítico para o fracasso foi como os diferentes tipos de defeitos mudaram em relação uns aos outros nos dados. Se o modelo não conseguisse manter a identidade do defeito de um único buraco distinta dos outros quando o ambiente mudava, todo o sistema falhava. Eles também testaram uma técnica chamada aumento de dados (data augmentation), onde os dados de treinamento são artificialmente ajustados com pequenas mudanças, como ruído ou deslocamento do sinal no tempo. Esta técnica ajudou o modelo a performar melhor quando foi treinado em uma mistura de todas as quatro condições e depois testado em uma nova, mas não ajudou quando o modelo foi treinado em apenas uma condição e testado em outra.

Talvez a parte mais sóbria da pesquisa tenha vido de um pequeno conjunto de dados envolvendo cabos de energia reais, em vez das finas folhas de plástico usadas nos testes principais. Os modelos, que haviam sido treinados nas folhas de plástico, foram completamente incapazes de reconhecer os defeitos nos cabos reais. Eles classificaram incorretamente todos os registros dos cabos, errando consistentemente o tipo de defeito. Isso sugere que os modelos aprenderam uma representação dos defeitos que era específica das finas folhas de plástico e não se traduziu para a geometria complexa de um cabo real. Os pesquisadores concluíram que, embora esses modelos sejam excelentes em descrever o que já viram, eles ainda não estão prontos para serem confiados com a tarefa de diagnosticar novas linhas de energia não vistas.

O estudo não afirma que a inteligência artificial não possa resolver este problema, mas argumenta que o caminho a seguir exige uma mudança fundamental na forma como essas ferramentas são avaliadas. A prática atual de relatar pontuações de precisão elevadas baseadas em dados que não são verdadeiramente independentes é enganosa. Para construir uma ferramenta de diagnóstico confiável, os engenheiros devem testar seus modelos em dados que venham de diferentes materiais, diferentes voltagens e diferentes configurações de gravação, exatamente como um sistema do mundo real encontraria. Os pesquisadores propõem um novo padrão de teste que separa os dados de treinamento dos dados de teste no nível de todo o arquivo de gravação, garantindo que nenhuma informação vaze entre os dois. Eles também enfatizam que o desempenho deve ser relatado separadamente para cada tipo de defeito e para cada tipo de mudança, porque um modelo pode funcionar bem para um tipo de defeito, mas falhar completamente para outro. Até que esses testes rigorosos sejam passados, e até que os modelos sejam comprovados para funcionar através de diferentes condições físicas, a promessa de um diagnóstico automatizado de cabos permanece fora de alcance. O trabalho serve como um choque de realidade necessário, lembrando à comunidade científica que uma alta precisão em um laboratório controlado não garante segurança no campo.