Résumé Technique : GenAutoML

Problématique

La conception d'architectures neuronales pour la prévision de séries temporelles multivariées et la détection d'anomalies dans des environnements industriels (ex: surveillance du réseau électrique, IoT) est entravée par deux défis majeurs : le Problème de la Stationnarité et les limites des systèmes actuels d'Apprentissage Automatique Automatisé (AutoML).

1. Le Paradoxe de la Stationnarité : Les jeux de données réels (tels que les benchmarks ETTh1, ETTm1 et Weather) présentent des caractéristiques non stationnaires et des interdépendances temporelles complexes. Les modèles de deep learning traditionnels (LSTMs, Transformers) peinent souvent face à ces distributions, tandis que la conception manuelle d'architectures repose sur des biais inductifs statiques qui peuvent s'avérer inadéquats.
2. Limites de l'AutoML/NAS existant : Les cadres de recherche d'architecture neuronale (NAS) actuels reposent sur des espaces de recherche prédéfinis et statiques. Ils manquent de « Créativité Sémantique », ce qui signifie qu'ils ne peuvent pas inventer de nouveaux composants structurels (ex: couches de mélange temporel personnalisées) au-delà des schémas d'interconnexion fixes. De plus, le fossé entre la « conception et le déploiement » est significatif ; l'intégration d'un nouveau modèle nécessite souvent un redémarrage complet du système.
3. Contraintes de l'IA en périphérie (Edge AI) : Bien que les modèles de fondation pour séries temporelles (TSFMs) comme Chronos offrent une grande précision, leurs comptes de paramètres massifs (100M+) et leur latence d'inférence élevée les rendent inadaptés aux déploiements d'IA en périphérie contraints en ressources et en temps réel.

Méthodologie : Cadre GenAutoML

GenAutoML est un cadre agentique qui déplace le paradigme de la « recherche de modèle » vers l'« Ingénierie Neurale Agentique ». Il utilise des modèles de langage de grande taille (LLMs) comme des « Architectes Neuraux » autonomes capables de traduire des exigences en langage naturel en code PyTorch exécutable. Le cadre fonctionne via une architecture en boucle fermée comprenant quatre composantes clés :

1. Synthèse Neurale Agentique (L'Interface Sémantique)

Le moteur central utilise un LLM (spécifiquement Llama 3-70B) pour interpréter les contraintes en langage naturel et générer des définitions de modules neuronaux.

• Contrat Géométrique Structurel : L'agent est contraint de générer des modules qui acceptent un tenseur d'entrée 3D ($B \times L \times D$) et retournent un tenseur de prédiction ($B \times H \times D$), garantissant la compatibilité avec les pipelines en aval.
• Registre Dynamique : Le code généré est écrit directement dans un registre dynamique, permettant au système d'« inventer » des structures complexes (ex: blocs Inception multi-échelles) basées sur des descriptions utilisateur.

2. Boucle de Réflexion en Bac à Sable (Sandbox)

Pour atténuer les hallucinations de code et les erreurs de dimensionnement communes à la génération LLM en zero-shot :

• L'architecture générée est isolée dans un bac à sable d'exécution sécurisé.
• L'agent instancie le modèle et effectue un passage avant (forward pass) simulé en utilisant des tenseurs fictifs (dummy tensors).
• Si la forme de sortie ne correspond pas à l'horizon attendu ou si des erreurs surviennent (ex: logs de traceback), le système renvoie ces erreurs au LLM sous forme de prompt supplémentaire.
• Cette boucle de rétroaction multi-tours permet à l'agent de déboguer de manière itérative les redimensionnements de tenseurs et les permutations de canaux jusqu'à ce qu'un modèle structurellement sain soit produit.

3. Intégration Architecturale Juste-à-Temps (JIT)

GenAutoML emploie un pipeline d'Orchestration basée sur la Réflexion pour intégrer de nouveaux modèles dans un environnement d'optimisation actif sans redémarrage du système :

• Échange à chaud (Hot-Swapping) : En utilisant importlib.reload de Python, le système met à jour le cache des modules en temps réel.
• Invocation Sensible à la Signature : Le système utilise l'introspection au runtime (inspect.signature) pour faire correspondre les tenseurs d'exécution aux arguments du module généré.
• Projection Agnostique à la Forme : Si le LLM génère un modèle avec des nombres de canaux cachés arbitraires, une couche de projection ($\hat{Y} = W_{proj} \cdot M_{gen}(\hat{X}) + b_{proj}$) fait mathématiquement le pont entre les caractéristiques latentes et les dimensions cibles requises, évitant ainsi les échecs catastrophiques.

4. Durcissement Statistique via la Dyn-RevIN

Pour répondre à la non-stationnarité et à l'explosion du gradient dans les données industrielles volatiles :

• Le cadre enveloppe la logique générée par le LLM dans une couche de Normalisation d'Instance Réversible Dynamique (Dyn-RevIN).
• Cette couche découple la logique architecturale non vérifiée des contraintes de stationnarité statistique. Elle normalise les données d'entrée vers une distribution stationnaire avant que le modèle ne les traite, et dénormalise la sortie vers le domaine du signal original.
• Cela agit comme un « garde-fou », garantissant la convergence même si l'architecture générée est mal calibrée.

Contributions Clés

1. Synthèse Neurale Agentique avec Réflexion en Bac à Sable : Une nouvelle interface traduisant des besoins sémantiques en code PyTorch exécutable, validée par une boucle de débogage autonome qui garantit la validité mathématique avant le déploiement.
2. Injection Architecturale au Runtime : Un pipeline permettant l'échange à chaud ("Hot-Swaps") de modules neuronaux générés dans des boucles d'optimisation actives basées sur Optuna, éliminant le besoin de redémarrer le système et permettant une validation en temps réel.
3. Durcissement Mathématique (Dyn-RevIN) : L'intégration d'un cadre de normalisation d'instance réversible dynamique qui impose la stationnarité sur le manifold entrée-sortie, stabilisant l'entraînement pour les signaux non stationnaires.
4. Pipeline Conversationnel de Bout en Bout : Un flux de travail permettant aux utilisateurs de télécharger des jeux de données, d'effectuer l'analyse exploratoire des données via un agent Pandas DataFrame, et de demander des conceptions d'architectures personnalisées, le tout validé dans un bac à sable fédéré.

Résultats Expérimentaux

Le cadre a été évalué sur trois benchmarks multivariés : ETTh1, ETTm1 et Weather.

• Performance de Prévision : Les modèles synthétisés par l'agent (ex: ResNet, Inception) ont obtenu des performances compétitives face aux Transformers de pointe (SOTA) comme TimesNet et CrossFormer. Sur le jeu de données ETTm1, un ResNet synthétisé (MAE = 0,532) s'est rapproché des modèles linéaires de premier plan.
• Détection d'Anomalies : Les modèles synthétisés ont démontré une sensibilité supérieure. Le ResNetBlock conçu par l'agent a atteint un écart de discrimination (MSE Anomale / MSE Propre) d'environ 265x sur ETTh1, surpassant nettement TimesNet (33x) et DLinear (8x).
• Latence d'Inférence et Efficacité :
  • Bien que les modèles de fondation massifs (ex: Chronos-T5-Mini) atteignent une grande précision, ils souffrent d'une latence élevée (~988 ms/échantillon).
  • Le WaveInterferenceNet généré par l'agent a atteint une latence d'inférence de <0,01 ms par échantillon, représentant une accélération d'environ 100 000x par rapport aux modèles de fondation.
  • Le coût de recherche a été minimal : WaveInterferenceNet n'a nécessité qu'environ 2 minutes de réglage GPU (5 essais Optuna) comparé aux temps nettement plus longs pour les bases traditionnelles.
• Stabilité et Reproductibilité :
  • Convergence à Variance Nulle : Contrairement aux bases standards (ex: DLinear) qui montraient une sensibilité extrême aux graines aléatoires (fluctuation de la MAE $\sigma = 0,760$), le WaveInterferenceNet synthétisé par l'agent a maintenu une variance nulle ($\sigma = 0,000$) lors d'essais indépendants lorsque le déterminisme de la graine était imposé.
  • Études d'Ablation : L'étude a confirmé que la Dyn-RevIN est critique pour les jeux de données volatils (améliorant la MAE d'environ 94% sur ETTh1) mais peut parfois masquer des signaux périodiques dans des jeux de données stables (Weather), validant la nécessité d'une recherche automatisée pilotée par l'agent pour déterminer les configurations optimales.

Signification et Revendications

L'article positionne GenAutoML non pas simplement comme un outil visant à maximiser la précision brute, mais comme un cadre pour la synthèse déterministe déployable en périphérie (edge).

• Changement de Paradigme : Il déplace le domaine de la « recherche de modèles massifs » vers l'« Ingénierie Neurale Agentique », privilégiant des architectures ultra-légères (moins de 1M de paramètres) qui échangent de faibles fractions de précision contre des latences d'inférence de l'ordre de la microseconde et des caractéristiques de déploiement hautement stables.
• Adaptabilité aux Systèmes Critiques : En privilégiant une convergence déterministe à variance nulle plutôt que la précision brute, le cadre produit des architectures uniques, adaptées aux déploiements d'IA en périphérie contraints en ressources et critiques pour la sécurité (ex: capteurs industriels embarqués).
• Créativité Sémantique : Le cadre démontre la capacité de synthétiser des topologies véritablement nouvelles (ex: WaveInterferenceNet utilisant des projections trigonométriques) basées sur des directives abstraites en langage naturel, allant au-delà de la répétition de motifs standards tels que les ResNets ou les LSTMs.

Les auteurs concluent que, bien que le cadre dépende des temps de réponse de l'API LLM (une limitation actuelle), il comble avec succès le fossé entre le potentiel créatif de l'IA générative et les exigences rigoureuses de stabilité de l'analyse de séries temporelles industrielles.