An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

No vasto cenário da ciência e engenharia modernas, prever como os sistemas mudam ao longo do tempo é um desafio fundamental. Seja rastreando a órbita de um satélite, modelando a propagação de uma doença ou simulando o fluxo de calor através de um material, os cientistas dependem de um tipo específico de regra matemática conhecida como equação diferencial. Essas equações descrevem como uma quantidade muda em relação a si mesma e ao seu ambiente. Por décadas, resolver essas equações tem sido o domínio dos métodos numéricos clássicos, que decompõem os problemas em etapas minúsculas e manejáveis. Embora confiáveis, essas abordagens tradicionais podem se tornar computacionalmente caras e ter dificuldades com problemas complexos e de alta dimensionalidade. Nos últimos anos, uma nova abordagem surgiu, emprestando conceitos do campo da inteligência artificial. Pesquisadores começaram a usar redes neurais — sistemas computacionais inspirados no céreamente humano — para aprender e aproximar as soluções dessas equações. Esses sistemas, conhecidos como Redes Neurais Informadas pela Física (Physics-Informed Neural Networks), são treinados não apenas em dados, mas nas próprias leis físicas, permitindo que encontrem soluções que respeitem a ciência subjacente.

No entanto, para que essas redes neurais funcionem, elas requerem um mecanismo interno específico para introduzir complexidade e não linearidade, muito parecido com um interruptor que permite que um circuito faça mais do que apenas passar eletricidade diretamente através dele. Esse mecanismo é chamado de função de ativação. Ele determina como a rede processa informações em cada etapa, moldando sua capacidade de aprender e aproximar a resposta correta. Por muito tempo, a escolha de qual função de ativação usar nesses resolvedores científicos foi, de certa forma, um palpite, com pesquisadores frequentemente escolhendo uma baseados no hábito, em vez de evidências. Essa incerteza é importante porque a escolha errada pode levar a previsões imprecisas ou a um sistema que falha em aprender a solução. A questão permanece: qual das muitas opções disponíveis é verdadeiramente a melhor para resolver as complexas equações dependentes do tempo que governam nosso mundo físico?

Um estudo recente propôs-se a responder a essa pergunta com uma abordagem sistemática e rigorosa. Os pesquisadores focaram em uma classe específica de problemas: equações diferenciais ordinárias não autônomas. Em termos simples, estas são equações onde as regras de mudança não são estáticas, mas evoluem ao longo do tempo, frequentemente impulsionadas por fatores externos como o próprio tempo ou condições ambientais em mudança. Para testar suas teorias, a equipe construiu uma arquitetidade de rede neural padrão e a submeteu a uma bateria de dez desafios matemáticos distintos. Esses desafios incluíram equações impulsionadas por crescimento exponencial, curvas polinomiais e ondas trigonométricas, cobrindo um amplo espectro de comportamentos encontrados na natureza. Crucialmente, os pesquisadores mantiveram todas as outras variáveis do experimento idênticas. Eles usaram a mesma estrutura de rede, o mesmo número de ciclos de treinamento e os mesmos pontos de dados para cada teste. A única coisa que mudou foi a função de ativação. Eles testaram nove das funções mais comuns usadas na área, variando desde a conhecida Sigmoide e ReLU até variantes mais modernas como GELU, ELU e SiLU.

Os resultados desta extensa simulação foram claros e decisivos. O estudo descobriu que nenhuma função era perfeita para todos os cenários, mas uma se destacou como a performer mais confiável em todos os aspectos. A função de ativação GELU emergiu como a principal escolha, entregando as soluções mais precisas em sessenta por cento dos experimentos. Ela produziu consistentemente os menores erros quando comparada às respostas exatas conhecidas para essas equações. Logo atrás vieram outras duas funções, ELU e SELU, que também demonstraram fortes capacidades. Em contraste, algumas das escolhas mais antigas e tradicionais, especificamente Sigmoide e Softmax, tiveram um desempenho insatisfatório. Os pesquisadores atribuíram essa falha a um fenômeno conhecido como saturação, onde essas funções tornam-se tão planas em certas regiões que param de aprender efetivamente, fazendo com que a rede estagne. O estudo também observou que, embora funções como a ReLU sejam populares na inteligência artificial geral, elas não eram o melhor ajuste para essas tarefas científicas específicas, provavelmente porque sua natureza angular e aguda cria dificuldades ao calcular as derivadas precisas exigidas pelos resolvedores baseados em física.

Para garantir que esses achados não fossem uma casualidade, os pesquisadores expandiram seus testes para incluir um segundo conjunto de seis equações adicionais. Os resultados mantiveram-se firmes. Neste grupo estendido, a GELU novamente ocupou o primeiro lugar em aproximadamente dois terços dos casos, com a ELU liderando no restante. Nenhuma outra função conseguiu garantir a primeira posição neste grupo de validação. O estudo sugere que o sucesso da GELU e da ELU está enraizado em sua suavidade matemática. Ao contrário de funções com cantos agudos ou patamares planos, essas funções suaves permitem que a rede calcule mudanças e gradientes de forma mais confiável, o que é essencial quando a rede é solicitada a satisfazer as leis rigorosas da física incorporadas nas equações. Essa suavidade ajuda o processo de treinamento a convergir de forma mais estável, levando a resultados finais mais precisos.

As implicações deste trabalho são práticas e imediatas para cientistas e engenheiros que dependem dessas ferramentas computacionais. O estudo fornece uma diretriz clara e baseada em evidências para selecionar a ferramenta certa para o trabalho. Em vez de tratar a escolha da função de ativação como uma configuração aleatória ou universal, os pesquisadores sugerem que a natureza específica do problema deve ditar a escolha. Para problemas gerais dependentes do tempo, a GELU parece ser a opção padrão mais robusta. Para problemas envolvendo interações polinomiais, a ELU oferece uma alternativa forte. Enquanto isso, o estudo explicitamente desaconselha o uso de funções de saturação como a Sigmoide para esses tipos de resolvedores baseados em resíduos, pois elas provavelmente prejudicarão o desempenho. Ao identificar as funções de ativação mais eficazes, esta pesquisa ajuda a refinar as capacidades das redes neurais, pavimentando o caminho para métodos mais eficientes e precisos de resolver as equações diferenciais que descrevem o nosso universo. O trabalho não afirma ter resolvido todos os problemas da área, mas oferece uma base sólida para desenvolvimentos futuros, apontando para uma abordagem mais sistemática e informada na construção da próxima geração de ferramentas de computação científica.