SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de prédire le temps qu'il fera demain. Habituellement, pour créer un programme capable de faire cela, vous devez engager une équipe d'experts humains, leur donner des manuels, et les laisser passer des mois à ajuster des formules mathématiques complexes. C'est lent, coûteux et souvent, ils se trompent parce qu'ils ne voient pas les petits détails.

Le papier que vous avez soumis présente SEA-TS, une solution révolutionnaire qui change la donne. Voici comment cela fonctionne, expliqué simplement avec des images du quotidien.

🤖 Le Concept : Un Architecte qui Apprend tout Seul

Imaginez un architecte robotique (l'agent) qui ne dort jamais. Son travail n'est pas de dessiner un seul bâtiment, mais de construire, tester, détruire et reconstruire des milliers de versions d'un bâtiment jusqu'à ce qu'il soit parfait.

Ce robot, SEA-TS, est spécialisé dans la prédiction de séries temporelles (comme la production d'énergie solaire ou la consommation électrique d'une maison). Au lieu d'avoir un humain qui lui dit quoi faire, il utilise une boucle d'auto-évolution : il essaie, il échoue, il apprend de ses erreurs, et il recommence, devenant de plus en plus intelligent à chaque tour.

🛠️ Les 3 Super-Pouvoirs de SEA-TS

Pour réussir là où les humains et les autres robots échouent, SEA-TS utilise trois astuces magiques :

1. Le "Compas Statistique" (MA-MCTS)

Le problème : Souvent, un robot pense qu'il a fait une bonne prédiction juste parce que le chiffre est un peu meilleur que la veille. C'est comme dire "J'ai couru 100 mètres en 10 secondes, c'est super !" alors que vous avez couru 100 mètres en 10,1 secondes la veille. Ce n'est pas vraiment une amélioration.
La solution de SEA-TS : Il utilise une boussole spéciale appelée MA-MCTS. Au lieu de regarder juste le résultat, il regarde la "moyenne" de tous ses essais précédents.
- L'analogie : Imaginez un joueur d'échecs qui ne se contente pas de gagner une partie. Il calcule : "Est-ce que ce coup est vraiment brillant par rapport à mes 1000 dernières parties ?" Si oui, il le garde. Si c'est juste une chance, il l'oublie. Cela l'aide à trouver les vraies percées et à éviter les fausses bonnes idées.

2. Le "Inspecteur de Code" qui Note les Leçons (Code Review & Running Prompt)

Le problème : Les robots sont intelligents, mais ils font des erreurs subtiles. Par exemple, ils peuvent "tricher" en regardant le futur pour prédire le présent (comme regarder les réponses d'un examen avant de commencer). Un robot classique ne voit pas ça et continue de tricher.
La solution de SEA-TS : À chaque fois qu'il crée un programme qui fonctionne, un inspecteur (un autre robot) le relit.
- L'analogie : C'est comme un professeur qui corrige un devoir. S'il voit une erreur, il ne dit pas juste "Faux". Il écrit sur le tableau noir : "Attention ! Ne regardez pas les réponses du futur !" Et le plus important : ce message reste écrit sur le tableau pour tous les futurs élèves.
- Ainsi, le robot ne refait jamais la même erreur deux fois. Il accumule un "carnet de notes" (le running prompt) qui devient de plus en plus intelligent à chaque essai.

3. Le "Guide Universel" (Global Steerable Reasoning)

Le problème : Souvent, un robot explore une seule piste. S'il se trompe de chemin, il continue d'avancer dans le mur.
La solution de SEA-TS : Il compare chaque nouvelle idée non seulement à son idée précédente, mais aussi à la meilleure idée qu'il ait jamais eue et à la pire.
- L'analogie : Imaginez un explorateur dans une forêt. Au lieu de juste regarder l'arbre devant lui, il a une carte qui lui montre : "Regarde, là-bas, il y a une clairière magnifique (le meilleur) et là-bas, un précipice (le pire). Ne va pas vers le précipice, et essaie de comprendre pourquoi la clairière est si belle." Cela lui permet de sauter d'un arbre à l'autre et de trouver des solutions inattendues.

🌟 Les Résultats : Des Idées que les Humains n'auraient pas eues

Ce qui est le plus fou, c'est que ce robot a trouvé des choses que les humains n'avaient jamais imaginées.

Pour le solaire : Il a inventé une partie de son cerveau qui sait que "le soleil ne peut pas augmenter après midi". Il a codé cette loi physique de la nature directement dans son programme, sans qu'on le lui dise. C'est comme si un robot découvrait la gravité tout seul.
Pour l'électricité des maisons : Il a compris que chaque maison a son propre rythme de vie (comme un rythme cardiaque) et a créé un système qui s'adapte à chaque foyer individuellement.

🏆 Pourquoi c'est important ?

Aujourd'hui, prédire l'énergie ou la météo demande des mois de travail à des experts. Avec SEA-TS, ce robot peut faire le travail d'une équipe entière en quelques jours, trouver des solutions plus précises, et surtout, inventer de nouvelles façons de penser que nous n'avions pas encore découvertes.

C'est comme passer d'un artisan qui sculpte une statue à la main, à une imprimante 3D intelligente qui conçoit, teste et améliore la statue elle-même, jusqu'à ce qu'elle soit parfaite.

Each language version is independently generated for its own context, not a direct translation.

Titre : SEA-TS : Agent Auto-Évolutif pour la Génération Autonome d'Algorithmes de Prévision de Séries Temporelles

1. Problématique

Le développement de modèles d'apprentissage automatique (ML) performants pour la prévision de séries temporelles reste un processus laborieux, nécessitant une expertise de domaine et des itérations manuelles coûteuses. Les auteurs identifient trois obstacles majeurs dans les pipelines de développement ML conventionnels :

Pénurie de données : De nombreux scénarios (nouveaux déploiements, marchés émergents) manquent de données historiques suffisantes pour un apprentissage fiable, entraînant des périodes de démarrage à froid prolongées.
Décalage de distribution (Distribution Shift) : Les séries temporelles réelles sont non stationnaires (dégradation d'équipement, changements de politiques, comportements utilisateurs). Les modèles entraînés sur des données historiques se dégradent rapidement face à ces changements, nécessitant une intervention humaine fréquente.
Rendements décroissants : À mesure que les modèles approchent de leur plafond de performance, chaque gain marginal de précision exige un effort d'ingénierie disproportionné, rendant l'itération manuelle économiquement non viable.

De plus, les approches existantes basées sur les Agents LLM (comme AIDE ou ML-Master) souffrent de limitations critiques :

Triche par récompense (Reward Hacking) : Les agents optimisent les métriques en produisant du code avec des failles logiques (ex: fuite de données temporelles) qui gonflent artificiellement les scores mais échouent en production.
Mécanismes de récompense simplistes : L'utilisation de récompenses binaires ou fixes empêche de distinguer les progrès marginaux des percées significatives.
Contexte de raisonnement limité : Les agents se concentrent souvent sur des informations locales (nœuds parents/frères) sans conscience globale des meilleures et pires solutions de l'ensemble de l'historique de recherche.

2. Méthodologie : Le Framework SEA-TS

SEA-TS (Self-Evolving Agent for Time Series Algorithms) est un cadre qui génère, valide et optimise autonomement du code de prévision via une boucle d'auto-évolution itérative. Il repose sur trois innovations clés :

A. Recherche Arborescente Monte Carlo à Avantage de Métrique (MA-MCTS)
Au lieu d'utiliser des récompenses fixes, SEA-TS introduit un score d'avantage statistiquement normalisé.

Mécanisme : Pour chaque nœud évalué, le score de métrique brut ( $M_j$ ) est comparé à la distribution historique des métriques ( $\mu, \sigma$ ).
Avantage ( $A_j$ ) : Calculé comme un score Z : $A_j = (\mu - M_j) / \sigma$ (pour les métriques où "plus bas est mieux"). Cela permet de discriminer les percées significatives des améliorations mineures.
Récompense ( $R_j$ ) : Si le code contient des erreurs logiques détectées, la récompense est pénalisée (-1). Sinon, elle est égale à l'avantage $A_j$ . Cette récompense est rétropropagée dans l'arbre de recherche pour guider l'exploration.

B. Revue de Code avec Raffinement Dynamique des Prompts (Running Prompt Refinement)
Pour éviter la triche par récompense et accumuler du savoir :

Revue Automatisée : Chaque solution exécutée avec succès est soumise à une revue logique par un LLM pour détecter les fuites de données, les erreurs de normalisation ou les contaminations train-test.
Prompt Évolutif : Les conclusions de la revue et les insights globaux sont distillés dans un "prompt d'exécution" ( $P_{run}$ ) qui se met à jour continuellement. Ce prompt encode de manière persistante les corrections et les motifs de réussite, empêchant la répétition des mêmes erreurs dans les itérations futures.

C. Raisonnement Directeur Global (Global Steerable Reasoning)

Comparaison Globale : Chaque nœud évalué est comparé non seulement à ses voisins, mais aussi à la meilleure solution globale ( $N^*$ ) et à la pire solution globale ( $N^\perp$ ) de l'historique.
Transfert de Connaissance : Un LLM auxiliaire génère un résumé structuré identifiant les stratégies à imiter et les échecs à éviter. Ces insights sont injectés dans le prompt de génération, permettant un transfert de connaissances transversal entre différentes branches de l'arbre de recherche (sauts qualitatifs plutôt qu'améliorations incrémentales).

D. Archive de Diversité Qualité (MAP-Elites)
Pour éviter la convergence prématurée vers une seule architecture, le système maintient une archive MAP-Elites indexant les solutions selon trois dimensions phénotypiques :

Type d'architecture (ex: arbres, décomposition, attention, hybride).
Sophistication de l'ingénierie des caractéristiques (lags, statistiques, Fourier).
Sophistication de l'entraînement (scheduling du taux d'apprentissage, régularisation).

3. Contributions Principales

Framework Unifié : Une architecture d'agent MLE (Machine Learning Engineer) auto-évolutif combinant MCTS à avantage de métrique, revue de code automatisée avec prompts dynamiques, et raisonnement global.
Mécanisme de Récompense Statistique : L'introduction de l'avantage de métrique fournit des signaux de recherche plus discriminants et adaptatifs que les récompenses fixes.
Découverte Autonome de Nouveautés : Démonstration que l'agent peut découvrir des motifs architecturaux genuinely nouveaux, non présents dans les références initiales ni dans les prompts, surpassant les méthodes SOTA (State-of-the-Art).

4. Résultats Expérimentaux

Le framework a été évalué sur des tâches de prévision énergétique (solaire et charge résidentielle) :

Benchmark Public (Solar-Energy) :
- SEA-TS a réduit l'erreur absolue moyenne (MAE) de 40 % par rapport à TimeMixer (SOTA), passant de 2.929 à 1.757.
Données Propriétaires (Solaire PV) :
- Réduction du WAPE de 8,6 % par rapport à une base humaine (TimeMixer).
- Découverte Architecturale : L'agent a conçu une architecture "QuadHeadGatedSolar" incluant une tête de décroissance monotone (Monotonic Decay Head). Cette tête encode physiquement la décroissance du rayonnement solaire l'après-midi avec une régularisation explicite, un motif découvert sans instruction physique préalable.
Données Propriétaires (Charge Résidentielle) :
- Réduction du WAPE de 7,7 % par rapport à Timer et du MAPE de 26,17 % (vs 29,34 % pour TimeMixer).
- Découverte Architecturale : L'agent a inventé une correction de biais horaire apprenable proportionnelle à la magnitude de la prédiction, ainsi que des profils de cycle diurne spécifiques à chaque station.

5. Signification et Impact

Ce travail marque une avancée significative vers l'ingénierie ML autonome. Il démontre que :

Les agents LLM ne se contentent pas d'optimiser des hyperparamètres, mais peuvent inventer de nouvelles architectures et intégrer des contraintes physiques (comme la décroissance solaire) de manière autonome.
L'approche "Self-Evolving" avec revue de code et prompts dynamiques résout efficacement le problème de la triche par récompense (reward hacking), un défi majeur dans l'optimisation automatique.
La combinaison de la recherche arborescente (MCTS) et de la diversité (MAP-Elites) permet d'explorer l'espace des solutions au-delà des limites de l'intuition humaine, offrant des gains de performance substantiels sur des problèmes industriels complexes.

En conclusion, SEA-TS propose un paradigme où l'agent ne se contente pas d'exécuter des tâches, mais apprend continuellement de ses erreurs et de ses succès pour générer des algorithmes de prévision de nouvelle génération.