Résumé Technique : Une Communauté Scientifique d'IA Agentique pour la Découverte Automatisée d'Opérateurs Neuraux

Énoncé du Problème

L'apprentissage d'opérateurs vise à construire des substituts (surrogates) rapides pour les solveurs d'équations aux dérivées partielles (EDP). Cependant, les familles d'opérateurs neuraux existantes (par exemple, les opérateurs de Fourier, les DeepONets, les opérateurs de ondelettes) encodent des biais inductifs fixes adaptés à des régimes spécifiques. De plus, la sélection des hyperparamètres d'architecture (profondeur, largeur, composition des blocs) pour de nouvelles EDP reste un processus manuel. La question centrale abordée est de savoir si une simulation agentique et automatisée d'une communauté de recherche peut découvrir l'architecture d'opérateur neural optimale pour un problème donné sans connaissance préalable humaine ou intervention.

Méthodologie

Le Cadre de la Communauté Scientifique d'IA

Les auteurs proposent une communauté décentralisée de $N=16$ laboratoires virtuels qui explorent l'espace de recherche d'architecture sur $T=20$ itérations. Le système fonctionne sous une « économie d'influence basée sur les citations » :

1. Dynamique d'Essaim : Les laboratoires bien cités (ceux ayant une fitness élevée) gagnent de l'influence et une priorité de reproduction, tandis que les laboratoires non cités sont remplacés. Cela imite les communautés de recherche du monde réel où les directions de recherche fructueuses attirent des adeptes.
2. Structure du Laboratoire Virtuel : Chaque laboratoire contient trois agents distincts :
   • Planificateur LLM : Propose le prochain génome d'architecture basé sur son historique, le meilleur résultat global et un résumé des laboratoires pairs.
   • Travailleur Numérique : Un agent non-LLM, basé sur le gradient, qui compile l'architecture proposée, l'entraîne à une « fidélité de criblage » (données/époques réduits pour la vitesse) et mesure l'erreur $L_2$ relative.
   • Réviseur LLM : Participe à une revue par les pairs inter-laboratoires, exprimant des votes de type « soft » basés sur la performance des candidats et la nouveauté architecturale.
3. Espace de Recherche (Génome) : Les architectures sont définies comme des séquences de blocs ($L \in [2, 8]$) tirés d'un vocabulaire : $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$. Le génome inclut également des hyperparamètres comme la largeur cachée, les modes spectraux et les taux d'apprentissage.
4. Fonction de Fitness : Un score composite $F_i$ combine la précision ($A_i$), la robustesse au bruit ($G_i$), l'efficacité des paramètres ($E_i$) et la nouveauté architecturale ($\nu_i$). La précision est fortement pondérée ($w_a=0.70$), mais la nouveauté et l'efficacité empêchent l'effondrement vers des solutions triviales.

Étude d'Ablation du LLM

Pour isoler la contribution de l'agentivité du LLM, les auteurs ont mené une étude d'ablation contrôlée. Dans la condition « basée sur des règles », le planificateur et le réviseur LLM sont remplacés par des algorithmes déterministes :

• Planificateur basé sur des règles : Utilise des mises à jour standard d'optimisation par essaim de particules (exploration/exploitation).
• Réviseur basé sur des règles : Utilise un vote proportionnel à la précision.
  Les deux conditions partagent des tailles d'essaim, des nombres d'itérations, des budgets d'entraînement et des graines aléatoires identiques.

Audit des Agents

Pour s'assurer que le système ne se dégrade pas silencieusement vers des replis basés sur des règles (un risque connu dans les systèmes agentiques), chaque appel LLM (prompt, réponse, statut de parsing) a été consigné et audité. Le système utilise un modèle local gemma3:12b via Ollama pour garantir la reproductibilité sans API payantes.

Résultats Clés

1. Découverte d'Hybrides Multi-Familles

La communauté pilotée par LLM a systématiquement découvert des architectures hybrides multi-familles.

• Taux d'hybridation : Dans 99,8 % des décisions de planification, le LLM a choisi de « HYBRIDISER » (greffer des blocs de différentes familles) plutôt que de purement explorer ou exploiter une seule famille.
• Adéquation au Régime : Les architectures découvertes se sont adaptées à la physique du problème. Pour les problèmes favorables au spectre (Advection, Burgers, Navier-Stokes), les blocs de Fourier ont dominé les piles. Pour la régression par morceaux et l'écoulement de Darcy, les blocs de type Wavelet ou DeepONet étaient prédominants.
• Performance :
  • Navier-Stokes (2D) : L'hybride découvert a atteint une erreur $L_2$ relative de $0.0005 \pm 0.0000$, égalant l'état de l'art FNO ($0.0002$) mais avec moins de paramètres (1,1M contre 1,2M pour FNO).
  • Écoulement de Darcy (2D) : L'hybride a atteint une erreur de $0.0631 \pm 0.0083$, statistiquement équivalente à DeepONet ($0.0649$) et nettement supérieure à FNO ($0.3070$).

2. Le Théorème du "No-Free-Lunch" pour les Opérateurs Neuraux

Les résultats confirment qu'aucun architecture d'opérateur unique ne domine tous les problèmes.

• L'hybride Navier-Stokes a mal performé sur l'écoulement de Darcy (erreur $\approx 0,71$), et l'hybride de Darcy a mal performé sur Navier-Stokes.
• Cela valide l'hypothèse que différents régimes d'EDP nécessitent des biais inductifs distincts.

3. Le Rôle de l'Agentivité du LLM (Résultats de l'Ablation)

Bien que la précision des communautés LLM et basées sur des règles soit statistiquement indiscernable sur la fidélité de criblage, les résultats architecturaux diffèrent considérablement :

• Communauté LLM : A maintenu la diversité, produisant systématiquement des hybrides multi-familles économes en paramètres.
• Communauté basée sur des règles : A eu tendance à s'« effondrer » vers des piles canoniques à une seule famille (ex: Fourier pur pour Navier-Stokes, Wavelet pur pour Darcy).
• Efficacité : Sur Navier-Stokes, les hybrides LLM ont atteint une précision comparable aux piles de Fourier purs de la communauté basée sur des règles, mais avec 2,5× moins de paramètres (2,2M contre 5,6M).
• Conclusion : L'agentivité du LLM est nécessaire pour préserver la diversité architecturale et découvrir des solutions hybrides efficaces, tandis que les agents basés sur des règles convergent prématurément vers des familles standards.

4. Coût Computationnel

L'approche pilotée par LLM entraîne un surcoût d'environ 2 à 4× en temps de calcul par rapport à la coordination basée sur des règles (ex: ~271 minutes contre ~103 minutes pour Navier-Stokes). Ce coût est attribué aux appels de planification et de révision du LLM (deux appels par laboratoire par itération). Cependant, l'utilisation de la « fidélité de criblage » (entraînement en secondes plutôt qu'en heures) rend l'approche par essaim réalisable sur un seul GPU.

Signification et Revendications

Le papier revendique trois contributions principales :

1. Un Nouveau Cadre : Une communauté scientifique d'IA agentique qui automatise avec succès la découverte d'opérateurs neuraux via un essaim de laboratoires virtuels avec planificateurs et réviseurs LLM.
2. Preuve de la Nécessité du LLM : Une étude d'ablation démontrant que l'agentivité du LLM est critique pour maintenir la diversité architecturale et découvrir des modèles hybrides efficaces, évitant l'effondrement vers des solutions à une seule famille observé dans les systèmes basés sur des règles.
3. Validation Empirique du "No-Free-Lunch" : Une simulation à grande échelle confirmant qu'aucun opérateur neural universel n'existe ; la « meilleure » architecture dépend du problème, et les communautés automatisées peuvent découvrir ces hybrides spécifiques au problème.

Les auteurs déclarent explicitement que le système ne prétend pas surpasser les bases conçues par l'homme en termes de précision brute (car les bases par règles et LLM étaient comparables en criblage), mais plutôt en découverte architecturale et en efficacité des paramètres. Le travail souligne que le LLM agit comme une politique de prise de décision, et non comme un outil d'exécution autonome. Tout le code, les configurations et l'intégralité des transcriptions LLM (9 623 appels) sont publiés pour la reproductibilité.