Résumé Technique : Identification de Relations Explicites Parsimonieuses et Par Morceaux Polynomiales dans les Séries Temporelles Industrielles

1. Énoncé du Problème

L'article aborde le défi de l'identification de relations non linéaires à partir de données de séries temporelles industrielles, spécifiquement pour des applications telles que les jumeaux numériques, la conception de commandes et la détection d'anomalies. Bien que les Réseaux de Neurones Profonds (DNN) soient largement utilisés en raison de leurs propriétés d'approximation universelle, les auteurs soutiennent qu'ils sont souvent inadaptés aux contextes industriels en raison de trois contraintes spécifiques :

1. Données d'entraînement incomplètes : Les équipements industriels fonctionnent dans des contextes divers non entièrement représentés dans les ensembles d'entraînement, ce qui entraîne des risques élevés de surapprentissage, en particulier dans les DNN à fort nombre de paramètres.
2. Explicabilité obligatoire : Les opérateurs industriels exigent des modèles conformes aux lois physiques et permettant une analyse des causes racines des anomalies. Les DNN, avec leur nature de « boîte noire » et leurs centaines de milliers de paramètres, ne fournissent pas cela sans une analyse post-hoc fastidieuse.
3. Parsimonie inhérente : Les systèmes industriels sont régis par des lois physiques structurellement parcimonieuses. Les modèles qui n'imposent pas cette parcimonie sont sujets à une mauvaise généralisation sur des contextes non vus.

Le vide technique spécifique abordé est la transition des modèles implicites par morceaux polynomiaux (qui fournissent des résidus serrés pour la détection d'anomalies mais ne produisent pas de fonction de prédiction explicite $\hat{y} = f(x)$) vers des représentations explicites parsimonieuses par morceaux polynomiales. Des modèles explicites sont requis pour des tâches telles que la conception de capteurs virtuels ou la commande en avance de phase.

2. Méthodologie

2.1. Fondement : Représentation Implicite Par Morceaux

L'approche s'appuie sur un algorithme précédemment proposé [3] qui identifie un ensemble de $n_m$ polynômes multivariés parcimonieux $\{P_\kappa\}_{\kappa=1}^{n_m}$. Ces polynômes définissent une relation implicite où le résidu est minimisé comme suit :
$$e(x, y) := \min_{\kappa=1}^{n_m} |y - P_\kappa(x)|$$
Dans cette forme implicite, pour tout vecteur de caractéristiques $x$ donné, l'étiquette $y$ est proche de l'un des polynômes de l'ensemble, mais l'indice du polynôme spécifique n'est pas explicitement mappé comme une fonction de $x$ d'une manière permettant une prédiction directe sans résoudre à nouveau la minimisation.

2.2. Heuristique Proposée : Construction Explicite Par Morceaux

Pour dériver un prédicteur explicite $\hat{y}$, l'article propose une stratégie d'agrégation « basée sur le voteur ». L'idée centrale est de construire un ensemble de cartes explicites par morceaux qui partitionnent l'espace des caractéristiques et assignent le polynôme le plus approprié de l'ensemble implicite à chaque région.

Étape 1 : Partitionnement des Triplets
Un triplet de partitionnement $\xi = (\pi, n_d, x_c)$ est défini, composé de :

• Un polynôme $\pi: \mathbb{R}^n \to \mathbb{R}$.
• Un entier $n_d \ge 2$ (nombre de sous-régions).
• Un centre $x_c \in \mathbb{R}^n$.
  Ce triplet partitionne l'espace des caractéristiques en $n_d$ régions basées sur les quantiles de $\pi(x - x_c)$.

Étape 2 : Construction d'un Voteur Unique
Pour un triplet $\xi$ donné, l'algorithme assigne le « meilleur » polynôme $P_{\kappa}$ à chaque région $R^{(i)}_\xi$ en minimisant l'Erreur Absolue Moyenne (MAE) au sein de cette région. Cela crée un prédicteur explicite unique (voteur) :
$$P_\xi(x) := P_{\kappa_\xi(\sigma_\xi(x))}(x)$$
où $\sigma_\xi(x)$ mappe $x$ vers son indice de région.

Étape 3 : Agrégation via Sélection Itérative de Voteurs
Puisqu'une partition aléatoire unique peut être sous-optimale, l'algorithme génère un ensemble de $n_V$ voteurs de manière itérative :

1. Initialisation avec un triplet aléatoire $\xi^{(1)}$ (centre à 0, polynôme aléatoire).
2. Calcul de l'erreur de prédiction $\epsilon^{(j)}$ de l'ensemble actuel (moyenne de $j$ voteurs).
3. Génération d'un nouveau triplet candidat $\xi^{(j+1)}$ par :
   • Sélection d'un nouveau centre $x_c$ aléatoirement parmi les 5 % supérieurs des échantillons ayant les résidus actuels les plus élevés.
   • Génération d'un polynôme aléatoire $\pi$ avec un degré fixe et un nombre fixe de monômes actifs.
4. Critère d'Acceptation : Le nouveau voteur est ajouté à l'ensemble uniquement si l'erreur du nouvel ensemble satisfait une condition de contraction : $\epsilon^{(j+1)} \le \gamma_c \times \epsilon^{(j)}$, où $\gamma_c \in (0, 1)$.
5. Le processus s'arrête lorsque le nombre maximum de tentatives est atteint.

La prédiction explicite finale est la moyenne de tous les voteurs acceptés :
$$\hat{y} := \frac{1}{n_V} \sum_{\ell=1}^{n_V} P_{\xi^{(\ell)}}(x)$$

3. Contributions Clés

1. Dérivation Heuristique : L'article présente une heuristique novatrice pour convertir les résidus de polynômes parcimonieux implicites en prédicteurs explicites par morceaux polynomiaux en utilisant un triplet de partitionnement et un mécanisme d'agrégation de voteurs.
2. Preuve de Concept (Robot 6 Axes) : La méthode est validée sur un manipulateur Staubli TX2-90 à 6 axes. L'algorithme a identifié avec succès des modèles explicites pour les six couples articulaires, démontrant une évolutivité vers des espaces de caractéristiques de haute dimension ($n=18$).
3. Étude de Généralisation (Robot 4 Axes) : Une expérience dédiée sur un robot à 4 axes (Staubli TS0-80) a testé la généralisation à des « contextes non vus » (trajectoires avec des excursions significativement plus grandes que les données d'entraînement). Cela a mis en évidence la robustesse de l'approche parcimonieuse par rapport aux DNN.
4. Analyse Comparative : L'étude fournit une comparaison rigoureuse par rapport aux architectures DNN de l'état de l'art (MLP, CNN, Transformer) concernant la précision de prédiction, les écarts de généralisation, la complexité computationnelle et le temps d'entraînement.

4. Résultats Expérimentaux

4.1. Cas d'Usage 1 : Robot 6 Axes (Évolutivité et Performance)

• Précision : Sur l'ensemble de données de test, les modèles polynomiaux explicites par morceaux (xpwpol) proposés ont atteint des résidus normalisés (nMAE/nMSE) comparables aux DNN pour les trois premiers axes. Pour les axes 4 à 6, les résidus étaient légèrement plus élevés mais restaient du même ordre de grandeur.
• Généralisation : Les modèles xpwpol ont présenté des écarts de généralisation remarquablement faibles ($\alpha_c \approx 0,00 - 0,11$), indiquant un surapprentissage minimal. En revanche, les DNN ont montré des écarts significatifs (jusqu'à $\alpha_c \approx 2,31$), avec des résidus d'entraînement beaucoup plus faibles que les résidus de test, confirmant le surapprentissage.
• Complexité : Les modèles xpwpol ont utilisé un maximum d'environ 700 coefficients actifs (monômes). Les DNN nécessitaient entre 14 000 et environ 800 000 paramètres entraînables.
• Temps de Calcul : L'ajustement du modèle pour xpwpol a pris quelques secondes (par exemple, de 35 s à 173 s) sur un CPU standard. L'entraînement des DNN a nécessité des heures (2 h+) même avec une accélération GPU.

4.2. Cas d'Usage 2 : Robot 4 Axes (Généralisation à des Contextes Non Vus)

• Configuration : L'entraînement a été effectué sur des trajectoires à « faible excursion », tandis que les tests ont été réalisés sur des trajectoires à « grande excursion » (un changement de distribution significatif).
• Résultats :
  • DNN : Le modèle Transformer n'a pas réussi à généraliser, montrant une augmentation massive des erreurs sur l'ensemble de test à grande excursion (par exemple, le nMAE passant de 0,08 à 1,38 pour l'axe 1).
  • xpwpol : Les modèles parcimonieux ont maintenu des performances robustes sur les trois premiers axes, avec des valeurs de nMAE restant faibles (par exemple, de 0,10 à 0,37) malgré le changement de contexte.
  • Exception : Pour l'axe 4, tant le DNN que le modèle xpwpol ont eu des difficultés, suggérant que les dynamiques physiques spécifiques de cet axe n'ont pas été bien capturées par les données disponibles ou la structure du modèle.
• Observation : Les modèles xpwpol n'ont requis qu'un seul triplet de partitionnement ($n_V=1$) dans ce scénario, utilisant des polynômes du premier ordre, et ont néanmoins surpassé les DNN en termes de généralisation.

5. Importance et Revendications

L'article affirme que le cadre proposé offre une alternative viable aux DNN pour la modélisation de séries temporelles industrielles, en particulier lorsque :

• Les données sont rares ou incomplètes : La nature parcimonieuse des modèles réduit le risque de surapprentissage à des contextes d'entraînement spécifiques.
• L'explicabilité est critique : La structure explicite par morceaux permet aux opérateurs de retracer les prédictions vers des sous-ensembles spécifiques de capteurs et de relations physiques, facilitant l'analyse des causes racines.
• Les ressources computationnelles sont limitées : La méthode permet un ajustement en quelques secondes sur du matériel standard, contrairement aux heures requises pour les DNN.
• La généralisation est primordiale : Le théorème « No Free Lunch » (pas de repas gratuit) est reconnu ; la méthode proposée ne surpasse pas universellement les DNN sur toutes les métriques (par exemple, la précision brute sur certains axes était légèrement inférieure), mais elle les surpasse significativement en termes de généralisation à des contextes non vus et d'interprétabilité du modèle.

Les auteurs concluent que, bien qu'aucune solution unique ne soit parfaite pour tous les cas d'usage, l'approche explicite parcimonieuse proposée est une option robuste, efficace et explicable qui mérite d'être adoptée dans des contextes industriels où la fiabilité et la compréhension du modèle sont aussi importantes que la puissance prédictive brute.