Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de comprendre comment fonctionne une machine complexe, comme une voiture de course ou un four à micro-ondes, mais vous n'avez que des photos de son fonctionnement et aucune notice d'utilisation.

Les scientifiques utilisent souvent des "boîtes noires" (des modèles d'intelligence artificielle très puissants) pour prédire comment ces machines réagiront. Le problème ? Ces boîtes noires sont comme des magiciens : elles donnent la bonne réponse, mais personne ne sait comment elles l'ont trouvée. Si vous demandez au magicien "pourquoi ?", il ne peut pas vous expliquer la magie. Dans des domaines critiques comme l'ingénierie ou la médecine, c'est dangereux. On veut savoir pourquoi une prédiction est faite.

C'est là qu'intervient Ex-HiDeNN, une nouvelle méthode présentée dans cet article. Voici comment elle fonctionne, expliquée simplement avec des analogies.

1. Le Problème : Trouver la recette exacte

L'objectif est de trouver une formule mathématique simple (comme une recette de cuisine) qui explique les données, au lieu d'avoir un algorithme obscur.

Le défi : Trouver cette formule est comme chercher une aiguille dans une botte de foin géante. Si vous avez 10 ingrédients, le nombre de combinaisons possibles est astronomique. C'est ce qu'on appelle un problème "NP-difficile".

2. La Solution : Une équipe de deux experts

Ex-HiDeNN fonctionne comme un duo de détectives qui travaillent en deux étapes :

Étape 1 : Le "Super-Traducteur" (C-HiDeNN-TD)

Imaginez que vous avez un texte écrit dans une langue très complexe et confuse. Votre premier expert est un traducteur ultra-rapide capable de réécrire ce texte dans une langue plus simple et structurée, tout en gardant le sens exact.

Ce "traducteur" est un réseau de neurones spécial. Il apprend à dessiner une carte lisse et précise de vos données.
L'astuce géniale : Ce traducteur est capable de dire : "Attends, cette partie de la carte semble dépendre uniquement de la température, et cette autre partie uniquement de la pression. Elles ne se mélangent pas !"
Il calcule un "score de séparabilité". C'est comme un détecteur de liens invisibles.
- Si le score est élevé : Les ingrédients sont indépendants (comme le sel et le poivre). On peut les étudier séparément.
- Si le score est moyen : Ils sont un peu liés (comme la farine et l'eau). On les étudie par petits groupes.
- Si le score est faible : Tout est mélangé (comme une soupe). On doit tout étudier ensemble.

Étape 2 : Le "Chercheur de Recettes" (Symbolic Regression)

Une fois que le traducteur a simplifié la carte, le deuxième expert, un chercheur de formules (appelé PySR), se met au travail.

Au lieu de chercher une formule pour tout le problème géant d'un coup (ce qui prendrait des siècles), il utilise le score du traducteur pour diviser le problème.
Si les ingrédients sont séparés, il cherche une petite formule pour le sel, une autre pour le poivre, et les assemble. C'est beaucoup plus rapide et précis.
Il élimine le "bruit" (les erreurs de mesure dans les données) pour trouver la vraie loi physique cachée.

3. Les Résultats : Des découvertes réelles

Les auteurs ont testé cette méthode sur des problèmes d'ingénierie très réels, et les résultats sont impressionnants :

La fatigue des métaux : Ils ont trouvé une formule simple pour prédire combien de temps un acier fabriqué par impression 3D va durer avant de casser, en fonction de 25 ingrédients différents (température, composition chimique, etc.). C'est comme trouver la recette parfaite pour un gâteau qui ne s'effondre jamais.
La dureté des matériaux : Ils ont découvert une équation pour prédire la dureté d'un matériau juste en regardant ses propriétés atomiques, avec une précision bien supérieure aux méthodes actuelles.
La mécanique des sols : Ils ont redécouvert une loi physique classique (la surface de rupture) qui explique comment le sable ou la terre se déforme sous pression, directement à partir de données brutes.

En résumé

Imaginez que vous vouliez comprendre comment fonctionne un orchestre.

Les méthodes classiques (boîtes noires) vous disent : "La musique est belle".
Les anciennes méthodes de recherche de formules essaient de deviner la partition en écoutant tout l'orchestre d'un coup, ce qui est impossible.
Ex-HiDeNN, lui, écoute d'abord l'orchestre pour dire : "Tiens, les violons jouent indépendamment des cuivres !" Ensuite, il demande à un compositeur de trouver la partition des violons, puis celle des cuivres séparément, et les assemble.

Le résultat ? Une formule mathématique claire, humaine, précise et compréhensible, qui remplace une "boîte noire" mystérieuse. C'est un pas de géant vers une intelligence artificielle que l'on peut vraiment comprendre et faire confiance.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

L'article aborde le défi fondamental de la science des données : trouver un équilibre entre la capacité d'expression (précision et généralisation) et l'interprétabilité des modèles.

Le problème des modèles "boîte noire" : Les architectures neuronales modernes (MLP, CNN, GNN) excellent dans la prédiction mais manquent de transparence, ce qui les rend inadaptées aux applications critiques (aérospatial, aviation, santé) où la vérification rigoureuse et la compréhension des mécanismes physiques sont requises.
Les limites de la régression symbolique : Bien que les modèles symboliques (formules fermées) soient parfaitement interprétables, leur recherche directe dans un espace de fonctions combinatoire est un problème NP-difficile. Ils souffrent souvent d'un manque de cohérence, d'une difficulté à retrouver des expressions simples dans des dimensions élevées et d'un surajustement au bruit.
L'objectif : Développer une méthode capable de découvrir automatiquement des expressions analytiques fermées (formules mathématiques explicites) à partir de données complexes, limitées et potentiellement bruyantes, tout en garantissant une haute précision et une grande efficacité computationnelle.

2. Méthodologie : Ex-HiDeNN

La proposition centrale est Ex-HiDeNN (Explainable Hierarchical Deep Learning Neural Networks), un cadre hybride à deux étapes qui combine la puissance d'interpolation d'un réseau de neurones structuré avec la capacité de découverte de la régression symbolique.

A. Étape 1 : Surrogat Interpolant et Séparabilité (C-HiDeNN-TD)

La première étape consiste à entraîner un réseau de neurones hiérarchique appelé C-HiDeNN-TD (Convolutional HiDeNN-Tensor Decomposition).

Architecture : Ce réseau utilise la décomposition tensorielle pour apprendre une représentation unidimensionnelle pour chaque caractéristique d'entrée. Ces représentations sont combinées via un produit extérieur pour former des "modes".
Différentiabilité : Le modèle produit un surrogat continûment différentiable, permettant le calcul précis de dérivées (notamment la matrice Hessienne) via la différenciation automatique.
Mesure de séparabilité ( $S^\otimes$ ) : Une innovation clé est l'utilisation de la matrice Hessienne du logarithme de la fonction apprise pour calculer un score de séparabilité multiplicative. Ce score quantifie à quel point la fonction cible peut être décomposée en produits de fonctions univariées.
- $S^\otimes \approx 1$ : Séparabilité forte (produit de fonctions).
- $S^\otimes \approx 0$ : Couplage fort (interactions complexes).

B. Étape 2 : Régression Symbolique Adaptative (PySR)

En fonction du score de séparabilité calculé, Ex-HiDeNN adapte sa stratégie d'échantillonnage et de régression symbolique (utilisant le moteur PySR) :

Séparabilité élevée ( $S^\otimes \ge 0.95$ ) : Échantillonnage par dimension. La régression symbolique est appliquée indépendamment sur chaque variable, puis les résultats sont multipliés. Cela réduit l'espace de recherche exponentiel à un espace linéaire.
Séparabilité modérée ( $0.6 \le S^\otimes < 0.95$ ) : Échantillonnage par mode. La méthode construit une somme de produits (décomposition tensorielle), capturant les interactions tout en exploitant la structure sous-jacente.
Séparabilité faible ( $S^\otimes < 0.6$ ) : Échantillonnage global. La régression symbolique est appliquée sur l'ensemble multidimensionnel, mais bénéficie d'une stratégie d'échantillonnage intelligente (LHS + perturbation locale) guidée par le surrogat lissé.

3. Contributions Clés

Score de séparabilité basé sur le Hessien : Introduction d'une métrique $S^\otimes$ calculée via la différenciation automatique d'un surrogat C-HiDeNN-TD pour guider dynamiquement la stratégie de découverte.
Cadre hybride à deux étapes : Une architecture novatrice qui marie un surrogat structuré et différentiable avec la régression symbolique pour extraire des expressions fermées, atténuant ainsi l'explosion combinatoire de l'espace de recherche.
Validation exhaustive : Démonstration de la méthode sur des benchmarks synthétiques, des systèmes dynamiques (Lorenz) et des problèmes d'ingénierie réels, prouvant une précision supérieure et une meilleure robustesse au bruit par rapport aux méthodes de référence (GAN, PySR seul, KAN).
Découverte de modèles physiques : Application réussie à la découverte de lois constitutives et de relations matériaux sans connaissance préalable des équations sous-jacentes.

4. Résultats Expérimentaux

Les performances d'Ex-HiDeNN ont été validées sur plusieurs fronts :

Benchmarks Synthétiques : Sur une suite de 8 fonctions de référence (Vladislavleva et al.), Ex-HiDeNN a retrouvé les formes fonctionnelles exactes pour la plupart des cas (V1-V5, V8), surpassant les réseaux KAN et la régression symbolique pure en termes d'erreur quadratique moyenne (RMSE) et de temps de calcul.
Robustesse au Bruit : Sur des données corrompues par du bruit gaussien, Ex-HiDeNN a montré une amélioration de 2 à 10 fois du RMSE par rapport à PySR seul, grâce à la capacité de lissage du surrogat C-HiDeNN-TD.
Découverte de Systèmes Dynamiques : La méthode a réussi à retrouver les équations exactes du système chaotique de Lorenz à partir de données temporelles, avec une précision de deux chiffres significatifs sur les coefficients.
Applications en Ingénierie :
1. Fatigue des alliages imprimés en 3D : Découverte d'une équation fermée pour la durée de vie en fatigue à partir de 25 paramètres d'entrée (données très clairsemées). L'expression obtenue a un $R^2$ de 0.9767 sur les données de test et respecte les principes métallurgiques (effets additifs et multiplicatifs des éléments d'alliage).
2. Dureté Vickers : Prédiction de la dureté à partir de propriétés micro-structurales. Ex-HiDeNN a atteint un $R^2$ de 0.9999 et une réduction du RMSE de 25 fois par rapport à la méthode SISSO (State-of-the-Art).
3. Surface de plasticité Matsuoka-Nakai : Découverte d'une loi constitutive pour les matériaux granulaires sensibles à la pression. L'expression découverte respecte la dépendance à l'angle de Lode et les conditions d'invariants classiques, avec une erreur relative de 2.3 %.

5. Signification et Conclusion

L'article présente Ex-HiDeNN comme une avancée majeure vers une IA interprétable et fiable pour la science et l'ingénierie.

Avantage principal : Il comble le fossé entre la flexibilité des réseaux de neurones profonds et la transparence des modèles physiques analytiques.
Impact : La capacité à générer des formules fermées, parcimonieuses et physiquement cohérentes permet une intégration directe dans les pipelines de simulation, d'optimisation et de contrôle, tout en facilitant la validation par les experts humains.
Limites et Perspectives : La méthode dépend de la qualité du surrogat initial. Les travaux futurs visent à intégrer des architectures de surrogat plus avancées (comme KHRONOS) et à développer des moteurs de régression symbolique basés sur le gradient pour exploiter pleinement la différentiabilité du surrogat.

En résumé, Ex-HiDeNN offre une voie prometteuse pour transformer des données complexes en connaissances physiques explicites, rendant l'apprentissage automatique plus transparent et applicable aux systèmes critiques.