An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

Dans le vaste paysage de la science et de l'ingénierie modernes, prédire comment les systèmes évoluent au fil du temps est un défi fondamental. Qu'il s'agisse de suivre l'orbite d'un satellite, de modéliser la propagation d'une maladie ou de simuler le flux de chaleur à travers un matériau, les scientifiques s'appuient sur un type spécifique de règle mathématique connue sous le nom d'équation différentielle. Ces équations décrivent comment une quantité change en relation avec elle-même et son environnement. Pendant des décennies, la résolution de ces équations a été le domaine des méthodes numériques classiques, qui décomposent les problèmes en étapes minuscules et gérables. Bien que fiables, ces approches traditionnelles peuvent devenir coûteuses en termes de calcul et peiner face à des problèmes complexes et de haute dimension. Récemment, une nouvelle approche est apparue, empruntant au domaine de l'intelligence artificielle. Des chercheurs ont commencé à utiliser des réseaux de neurones — des systèmes informatiques inspirés par le cerveau humain — pour apprendre et approximer les solutions de ces équations. Ces systèmes, connus sous le nom de Réseaux de Neurones Informés par la Physique (Physics-Informed Neural Networks), sont entraînés non seulement sur des données, mais aussi sur les lois physiques elles-mêmes, ce qui leur permet de trouver des solutions qui respectent la science sous-jacente.

Cependant, pour que ces réseaux de neurones puissent fonctionner, ils nécessitent un mécanisme interne spécifique pour introduire de la complexité et de la non-linéarité, un peu comme un interrupteur qui permettrait à un circuit de faire plus que simplement laisser passer l'électricité de manière directe. Ce mécanisme est appelé fonction d'activation. Elle détermine la façon dont le réseau traite l'information à chaque étape, façonnant sa capacité à apprendre et à approximer la bonne réponse. Pendant longtemps, le choix de la fonction d'activation à utiliser dans ces solveurs scientifiques a été une sorte de supposition, les chercheurs choisissant souvent une fonction par habitude plutôt que par preuve. Cette incertitude est importante car un mauvais choix peut conduire à des prédictions inexactes ou à un système qui échoue totalement à apprendre la solution. La question demeure : laquelle des nombreuses options disponibles est véritablement la meilleure pour résoudre les équations complexes et dépendantes du temps qui régissent notre monde physique ?

Une étude récente s'est donné pour mission de répondre à cette question avec une approche systématique et rigoureuse. Les chercheurs se sont concentrés sur une classe spécifique de problèmes : les équations différentielles ordinaires non autonomes. En termes simples, il s'agit d'équations où les règles de changement ne sont pas statiques mais évoluent au fil du temps, souvent sous l'influence de facteurs externes comme le temps lui-même ou des conditions environnementales changeantes. Pour tester leurs théories, l'équipe a construit une architecture de réseau de neurones standard et l'a soumise à une batterie de dix défis mathématiques distincts. Ces défis comprenaient des équations pilotées par une croissance exponentielle, des courbes polynomiales et des ondes trigonométriques, couvrant un large spectre de comportements présents dans la nature. Crucialement, les chercheurs ont gardé chaque autre variable identique dans leur expérience. Ils ont utilisé la même structure de réseau, le même nombre de cycles d'entraînement et les mêmes points de données pour chaque test. La seule chose qui changeait était la fonction d'activation. Ils ont testé neuf des fonctions les plus courantes utilisées dans le domaine, allant de la célèbre Sigmoïde et ReLU à des variantes plus modernes comme GELU, ELU et SiLU.

Les résultats de cette simulation approfondie ont été clairs et décisifs. L'étude a révélé qu'aucune fonction n'était parfaite pour chaque scénario, mais qu'une seule se distinguait comme la plus performante de manière globale. La fonction d'activation GELU est apparue comme le meilleur choix, délivrant les solutions les plus précises dans soixante pour cent des expériences. Elle a systématiquement produit les erreurs les plus faibles par rapport aux réponses exactes connues pour ces équations. Suivant de près, deux autres fonctions, ELU et SELU, ont également démontré de solides capacités. En revanche, certains des choix plus anciens et plus traditionnels, spécifiquement Sigmoïde et Softmax, ont mal performé. Les chercheurs ont attribué cet échec à un phénomène connu sous le nom de saturation, où ces fonctions deviennent si plates dans certaines régions qu'elles cessent d'apprendre efficacement, provoquant le blocage du réseau. L'étude a également noté que, bien que des fonctions comme ReLU soient populaires dans l'intelligence artificielle générale, elles n'étaient pas le meilleur choix pour ces tâches scientifiques spécifiques, probablement parce que leur nature angulaire et tranchante crée des difficultés lors du calcul des dérivées précises requises par les solveurs basés sur la physique.

Pour s'assurer que ces résultats n'étaient pas un coup de chance, les chercheurs ont étendu leurs tests en incluant un second ensemble de six équations supplémentaires. Les résultats se sont confirmés. Dans ce groupe étendu, GELU a de nouveau pris la tête dans environ les deux tiers des cas, ELU prenant la tête dans le reste. Aucune autre fonction n'a réussi à obtenir la première position dans ce groupe de validation. L'étude suggère que le succès de GELU et ELU est ancré dans leur lissé mathématique. Contrairement aux fonctions présentant des angles vifs ou des plateaux plats, ces fonctions lisses permettent au réseau de calculer les changements et les gradients de manière plus fiable, ce qui est essentiel lorsque le réseau est sollicité pour satisfaire les lois strictes de la physique intégrées dans les équations. Ce lissé aide le processus d'entraînement à converger plus stablement, menant à des résultats finaux plus précis.

Les implications de ce travail sont pratiques et immédiates pour les scientifiques et les ingénieurs qui dépendent de ces outils de calcul. L'étude fournit une directive claire et fondée sur des preuves pour choisir le bon outil pour la tâche. Plutôt que de traiter le choix de la fonction d'activation comme un réglage aléatoire ou universel, les chercheurs suggèrent que la nature spécifique du problème doit dicter le choix. Pour les problèmes généraux dépendants du temps, GELU semble être l'option par défaut la plus robuste. Pour les problèmes impliquant des interactions polynomiales, ELU offre une alternative solide. Parallèlement, l'étude conseille explicitement de ne pas utiliser de fonctions de saturation comme la Sigmoïde pour ces types de solveurs basés sur les résidus, car elles sont susceptibles d'entraver la performance. En identifiant les fonctions d'activation les plus efficaces, cette recherche aide à affiner les capacités des réseaux de neurones, ouvrant la voie à des méthodes plus efficaces et précises pour résoudre les équations différentielles qui décrivent notre univers. Ce travail ne prétend pas avoir résolu tous les problèmes du domaine, mais il offre une base solide pour les développements futurs, pointant vers une approche plus systématique et informée de la construction de la prochaine génération d'outils de calcul scientifique.