An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

En el vasto panorama de la ciencia y la ingeniería modernas, predecir cómo cambian los sistemas a lo largo del tiempo es un desafío fundamental. Ya sea para rastrear la órbita de un satélite, modelar la propagación de una enfermedad o simular el flujo de calor a través de un material, los científicos dependen de un tipo específico de regla matemática conocida como ecuación diferencial. Estas ecuaciones describen cómo cambia una cantidad en relación con sí misma y su entorno. Durante décadas, resolver estas ecuaciones ha sido el dominio de los métodos numéricos clásicos, que descomponen los problemas en pasos diminutos y manejables. Aunque son fiables, estos enfoques tradicionales pueden volverse computacionalmente costosos y tener dificultades con problemas complejos y de alta dimensionalidad. En años recientes, ha surgido un nuevo enfoque, tomando prestado conceptos del campo de la inteligencia artificial. Los investigadores han comenzado a utilizar redes neuronales —sistemas informáticos inspirados en el cerebro humano— para aprender y aproximar las soluciones a estas ecuaciones. Estos sistemas, conocidos como Redes Neuronales Informadas por la Física, son entrenados no solo con datos, sino con las propias leyes físicas, lo que les permite encontrar soluciones que respetan la ciencia subyacente.

Sin embargo, para que estas redes neuronales funcionen, requieren un mecanismo interno específico para introducir complejidad y no linealidad, de forma muy similar a un interruptor que permite que un circuito haga algo más que simplemente dejar pasar la electricidad directamente. Este mecanismo se llama función de activación. Determina cómo la red procesa la información en cada paso, moldeando su capacidad para aprender y aproximar la respuesta correcta. Durante mucho tiempo, la elección de qué función de activación utilizar en estos resolvedores científicos ha sido algo así como una conjetura, donde los investigadores a menudo elegían una basándose en la costumbre en lugar de en la evidencia. Esta incertidumbre importa porque la elección incorrecta puede conducir a predicciones inexactas o a un sistema que no logra aprender la solución. La pregunta sigue siendo: ¿cuál de las muchas opciones disponibles es realmente la mejor para resolver las complejas ecuaciones dependientes del tiempo que gobiernan nuestro mundo físico?

Un estudio reciente se propuso responder a esta pregunta con un enfoque sistemático y riguroso. Los investigadores se centraron en una clase específica de problemas: ecuaciones diferenciales ordinarias no autónomas. En términos sencillos, estas son ecuaciones donde las reglas de cambio no son estáticas, sino que evolucionan con el tiempo, a menudo impulsadas por factores externos como el propio tiempo o condiciones ambientales cambiantes. Para probar sus teorías, el equipo construyó una arquitectura de red neuronal estándar y la sometió a una batería de diez desafíos matemáticos distintos. Estos desafíos incluían ecuaciones impulsadas por crecimiento exponencial, curvas polinómicas y ondas trigonométricas, cubriendo un amplio espectro de comportamientos encontrados en la naturaleza. Crucialmente, los investigadores mantuvieron todas las demás variables de su experimento idénticas. Utilizaron la misma estructura de red, el mismo número de ciclos de entrenamiento y los mismos puntos de datos para cada prueba. Lo único que cambió fue la función de activación. Probaron nueve de las funciones más comunes utilizadas en el campo, que van desde la conocida Sigmoide y ReLU hasta variantes más modernas como GELU, ELU y SiLU.

Los resultados de esta extensa simulación fueron claros y decisivos. El estudio encontró que ninguna función era perfecta para cada escenario, pero una destacó como el ejecutor más fiable en todos los ámbitos. La función de activación GELU surgió como la opción superior, entregando las soluciones más precisas en el sesenta por ciento de los experimentos. Produjo consistentemente los errores más pequeños en comparación con las respuestas exactas conocidas para estas ecuaciones. Siguiendo de cerca, se encontraban otras dos funciones, ELU y SELU, que también demostraron capacidades sólidas. En contraste, algunas de las opciones más antiguas y tradicionales, específicamente Sigmoide y Softmax, funcionaron deficientemente. Los investigadores atribuyeron este fallo a un fenómeno conocido como saturación, donde estas funciones se vuelven tan planas en ciertas regiones que dejan de aprender eficazmente, provocando que la red se estanque. El estudio también observó que, aunque funciones como ReLU son populares en la inteligencia artificial general, no eran el mejor ajuste para estas tareas científicas específicas, probablemente debido a que su naturaleza aguda y angular crea dificultades al calcular las derivadas precisas requeridas por los resolvedores basados en la física.

Para asegurar que estos hallazgos no fueran una casualidad, los investigadores ampliaron sus pruebas incluyendo un segundo conjunto de seis ecuaciones adicionales. Los resultados se mantuvieron firmes. En este grupo extendido, GELU volvió a ocupar el primer puesto en aproximadamente dos tercios de los casos, con ELU liderando en el resto. Ninguna otra función logró asegurar la primera posición en este grupo de validación. El estudio sugiere que el éxito de GELU y ELU radica en su suavidad matemática. A diferencia de las funciones con esquinas afiladas o mesetas planas, estas funciones suaves permiten que la red calcule cambios y gradientes de manera más fiable, lo cual es esencial cuando se le pide a la red que satisfaga las estrictas leyes de la física integradas en las ecuaciones. Esta suavidad ayuda a que el proceso de entrenamiento converja de manera más estable, conduciendo a resultados finales más precisos.

Las implicaciones de este trabajo son prácticas e inmediatas para los científicos e ingenieros que dependen de estas herramientas computacionales. El estudio proporciona una guía clara y basada en evidencia para seleccionar la herramienta adecuada para el trabajo. En lugar de tratar la elección de la función de activación como un ajuste aleatorio o universal, los investigadores sugieren que la naturaleza específica del problema debe dictar la elección. Para problemas generales dependientes del tiempo, GELU parece ser la opción por defecto más robusta. Para problemas que involucran interacciones polinómicas, ELU ofrece una alternativa sólida. Mientras tanto, el estudio aconseja explícitamente no utilizar funciones que saturan como la Sigmoide para este tipo de resolvedores basados en residuos, ya que es probable que obstaculicen el rendimiento. Al identificar las funciones de activación más efectivas, esta investigación ayuda a refinar las capacidades de las redes neuronales, allanando el camino para métodos más eficientes y precisos para resolver las ecuaciones diferenciales que describen nuestro universo. El trabajo no pretende haber resuelto todos los problemas del campo, pero ofrece una base sólida para desarrollos futuros, apuntando hacia un enfoque más sistemático e informado para construir la próxima generación de herramientas de computación científica.