Data Leakage Inflates Generalizability of Power Outage Prediction Models

Quando uma tempestade chega, as luzes se apagam. Para empresas de serviços públicos e socorristas, saber exatamente onde e quando essas luzes falharão é uma questão de segurança pública. Os apagões interrompem o fornecimento de água, redes de comunicação e hospitais, transformando um dia de mau tempo em uma crise que pode durar dias ou até semanas. Para evitar isso, cientistas passaram os últimos quinze anos construindo modelos computacionais projetados para prever esses apagões. Esses modelos atuam como meteorologistas para a rede elétrica, usando dados de vento, chuva, cobertura vegetal e densidade populacional para adivinhar quais bairros perderão energia. A esperança era que esses modelos pudessem aprender com tempestades passadas para se preparar para as futuras, especialmente à medida que as mudanças climáticas tornam os eventos climáticos extremos mais frequentes e severos.

No entanto, um novo estudo sugere que a confiança que temos nessas previsões pode ser equivocada. Pesquisadores da Universidade de Toronto e da Universidade Estadual da Carolina do Norte investigaram se esses modelos podem realmente lidar com o desconhecido. Eles descobriram que muitos dos casos de sucesso impressionantes relatados na literatura científica são provavelmente ilusões criadas por uma falha na forma como os modelos são testados. O problema central é que os testes frequentemente permitem que o modelo "use informações que não deveria ter", fazendo com que as previsões pareçam muito melhores do que realmente são. Quando os pesquisadores forçaram os modelos a enfrentar situações verdadeiramente novas — como uma tempestade em um estado que eles nunca tinham visto antes, ou um tipo de tempestade que nunca haviam encontrado — sua capacidade de prever apagões colapsou, muitas vezes não conseguindo fazer melhor do que um simples palpite.

Os pesquisadores concentraram-se na costa leste dos Estados Unidos, uma região castigada por furacões, tempestades de inverno e tempestades tropicais. Eles reuniram dados sobre interrupções de energia de 2018 a 2023, combinando cada apagão relatado com condições climáticas e características do terreno. Para testar os modelos, tentaram três formas diferentes de dividir os dados em grupos de treinamento e teste. O primeiro método, que é o padrão na maioria dos estudos anteriores, é uma mistura aleatória. Imagine pegar um baralho, misturá-lo bem e distribuir metade para o modelo aprender e a outra metade para testá-lo. Como os padrões climáticos estão conectados através do espaço e do tempo, uma mistura aleatória frequentemente coloca dias muito semelhantes ou condados próximos tanto nos grupos de aprendizado quanto nos de teste. O modelo essencialmente memoriza o bairro em vez de aprender as regras da tempestade.

O segundo e o terceiro métodos foram muito mais rigorosos. No primeiro teste rigoroso, os pesquisadores removeram um estado inteiro dos dados de treinamento e pediram ao modelo para prever os apagões apenas para aquele estado. Isso simula um cenário onde um modelo treinado em uma região é implementado em uma região completamente nova. No segundo teste rigoroso, eles removeram um evento de tempestade inteiro dos dados de treinamento, pedindo ao modelo para prever o impacto de um furacão ou tempestade de inverno específico que ele nunca tinha visto antes. Esses testes mimetizam o mundo real, onde uma empresa de serviços públicos pode enfrentar um novo tipo de desastre em um novo local, sem histórico prévio desse evento específico.

Quando os modelos foram testados usando o método de mistura aleatória, eles tiveram um bom desempenho, explicando cerca de 45 por cento da variação nas porcentagens de interrupção. Esse resultado alinha-se com o que outros estudos têm afirmado. Mas quando os pesquisadores aplicaram os testes mais rigorosos, o desempenho caiu drasticamente. Nos testes estado por estado, os modelos frequentemente não tiveram desempenho melhor do que um "modelo nulo", que é uma linha de base que simplesmente adivinha o número médio de interrupções para aquela área todas as vezes. Para prever o número absoluto de clientes sem energia, os modelos não conseguiram superar esse palpite simples em quase todos os casos. Mesmo para prever a porcentagem de clientes afetados, os modelos tiveram dificuldades significativas, com sua precisão variando drasticamente dependendo do estado ou da tempestade.

O estudo também examinou se o uso de inteligência artificial avançada poderia resolver o problema. Os pesquisadores tentaram alimentar os modelos com "embeddings" de um poderoso modelo de fundação chamado Prithvi WxC. Este modelo é treinado em dados climáticos globais e é projetado para entender padrões complexos na atmosfera. A esperança era que essa abordagem de alta tecnologia ajudasse os modelos a generalizar melhor. Embora o modelo de fundação tenha oferecido uma ligeira melhoria em alguns testes espaciais, ele não resolveu o problema fundamental. Diante de um novo evento de tempestade, o modelo avançado teve um desempenho tão ruim quanto os modelos mais simples e, em alguns casos, teve um desempenho pior. Os pesquisadores descobriram que a alta complexidade dos dados do modelo de fundação na verdade dificultou o aprendizado dos padrões específicos necessários para novos eventos, levando ao overfitting, onde o modelo memorizou os dados de treinamento em vez de compreender a física subjacente.

As descobertas sugerem que a geração atual de modelos de previsão de interrupção de energia, quando treinada com dados publicamente disponíveis, oferece valor limitado para o planejamento de desastres no mundo real. Os modelos não estão falhando porque carecem de algoritmos sofisticados; eles estão falhando porque os dados nos quais são treinados não contêm exemplos diversos o suficiente de eventos extremos para ensiná-los a lidar com o desconhecido. A relação entre uma tempestade e uma interrupção de energia não é uma regra simples que se aplica em todos os lugares. Um furacão que derruba a energia na Flórida se comporta de maneira diferente de uma tempestade de inverno em Nova Jersey, e um modelo treinado em um não pode facilmente prever o outro. O estudo indica que, sem melhor cobertura de dados, métodos de teste mais realistas e uma mudança de foco de tentar extrair melhorias marginais de conjuntos de dados existentes, esses modelos permanecerão pouco confiáveis para a tarefa crítica de proteger comunidades contra a próxima grande tempestade.