Oncomorphic neural agent populations for resource-limited sequential learning

Résumé Technique : Populations d'Agents Neuraux Oncomorphiques pour l'Apprentissage Séquentiel à Ressources Limitées

Énoncé du Problème
Les systèmes d'intelligence artificielle distribués opèrent souvent sous des contraintes d'exposition séquentielle aux tâches, de ressources computationnelles inégales et de coordination décentralisée. Les approches traditionnelles d'apprentissage continu, telles que la régularisation des paramètres ou les stratégies de rejeu (replay), supposent généralement un budget de calcul géré de manière centrale et évaluent les modèles candidats en dehors d'une écologie spatialement distribuée. Cependant, les dispositifs de bord (edge devices), les réseaux de capteurs et les collectifs robotiques réels sont confrontés à des flux de données qui arrivent localement, à des tâches qui changent au fil du temps et à des budgets de calcul qui varient selon la localisation. Le présent article traite du défi consistant à déterminer quelles architectures de réseaux de neurones survivent à une exposition répétée à des tâches hétérogènes dans un cadre décentralisé où la variation, la sélection, la mobilité et le support local fini interagissent sans contrôle centralisé.

Méthodologie
Les auteurs proposent un cadre oncomorphique, un modèle computationnel inspiré de l'écologie cancéreuse, pour simuler une population d'agents neuraux décentralisés. Le système opère sur deux échelles couplées :

1. Apprentissage Intra-Agent : Chaque agent porte un réseau de neurones à propagation avant (feed-forward) dense unique et s'entraîne localement sur la tâche de classification non linéaire spécifique de son environnement actuel via la descente de gradient. La durée d'entraînement est finie et proportionnelle à la capacité de charge locale ($K_e$) de l'environnement, garantissant que les agents opèrent sous des budgets d'apprentissage limités plutôt que vers une convergence asymptotique.
2. Renouvellement Écologique Inter-Agents : La population évolue via quatre mécanismes :
   • Réplication : Les agents se répliquent à des taux dépendant de la performance locale et de l'occupation de l'environnement (croissance logistique).
   • Mutation : Les agents peuvent muter leur architecture (profondeur, largeur, fonction d'activation, optimiseur) pour générer de nouveaux designs.
   • Migration : Les agents se déplacent entre les environnements, ce qui peut déclencher le recrutement de la capacité de charge à partir d'une réserve partagée finie ($K_{res}$).
   • Sélection : Les agents les moins performants sont éliminés selon une fonction de probabilité dépendante de la performance.

L'étude utilise des environnements de classification non linéaire synthétiques contrôlés (incluant des tâches argmax, Gaussian-blob et orthant). Deux conditions initiales ont été testées : initRand (une population diversifiée d'architectures aléatoires) et initMax (une population homogène d'architectures maximales). Les auteurs ont effectué des balayages de paramètres sur la force de sélection ($\alpha$) et le taux de mutation ($\mu$), ainsi que sur la probabilité de recrutement et les taux de réplication de base, en utilisant une chaîne de Markov à temps continu (algorithme de Gillespie) pour la simulation.

Contributions Clés

• Cadre Oncomorphique : Introduit un nouveau système multi-agents où l'adaptation émerge du renouvellement écologique (migration, mutation, sélection) plutôt que d'une optimisation centralisée, modélisant explicitement l'interaction entre l'apprentissage local et les capacités de charge écologiques finies.
• Rôle de la Mutation Dépendant de l'État : Démontre que l'utilité de la mutation architecturale est contingente sur la diversité initiale de la population.
• Compétence Multi-Tâches Décentralisée : Montre qu'une population entraînée uniquement sur des tâches locales séquentielles peut, par la sélection écologique, s'enrichir d'architectures présentant une compétence plus élevée sur l'ensemble du jeu de tâches sans entraînement conjoint supplémentaire.
• Redistribution des Ressources vs Performance : Clarifie que si le recrutement et la réplication remodèlent le support démographique, ils agissent comme des mécanismes de redistribution de ressources finies plutôt que comme des moteurs d'amélioration de la qualité de la prédiction.

Résultats

• Sélection et Précision Locale : Une sélection plus forte dépendante de la performance a systématiquement augmenté la précision locale terminale des agents survivants. Dans la condition initRand (départ diversifié), une sélection élevée avec une faible mutation a produit les meilleurs résultats (~0,878 de précision), car la sélection a consolidé les architectures performantes existantes. Dans la condition initMax (départ clonal), la mutation était essentielle ; sans elle, la sélection ne pouvait pas agir sur la variation. Une sélection élevée combinée à une mutation non nulle a amélioré la précision de ~0,48 à ~0,834.
• Compétence Multi-Tâches : La sélection sur la performance locale est corrélée à une amélioration de la précision multi-tâches en fin d'exécution (évaluation des agents sur tous les environnements sans réentraînement). Dans initRand, la précision multi-tâches a culminé près de 0,65 avec une sélection élevée et une faible mutation. Dans initMax, la mutation était à nouveau requise pour générer des alternatives que la sélection pourrait filtrer, atteignant ~0,57.
• Dynamiques de Recrutement : La variation de la probabilité de recrutement et des taux de réplication de base a entraîné une précision locale restant dans une bande étroite (0,785–0,853). Cela indique qu'une activité démographique intensifiée redistribue les ressources d'apprentissage finies mais n'améliore pas systématiquement la qualité de la prédiction.
• Dynamiques Temporelles :
  • Concentration : La sélection dépendante de la performance a poussé la population vers un ensemble restreint d'architectures (la fraction de l'architecture dominante est passée à 0,23), tandis que la dérive neutre n'a produit qu'une concentration modeste (0,08).
  • Diversité : Dans les départs clonaux, la mutation a augmenté l'entropie de Shannon (diversification), que la sélection a ensuite filtrée. Dans les départs diversifiés, la mutation a légèrement réduit l'entropie en perturbant les designs favorables.
  • Apprentissage à Cycle Fini : Les agents ont continué à s'améliorer tout au long des épisodes d'apprentissage local et ont été évalués avant la convergence complète, suggérant que la "formabilité" (trainability) sous des fenêtres courtes est un facteur critique de survie.
• Caractéristiques des Architectures : Les architectures survivantes étaient souvent relativement compactes (ex: 2 couches cachées, 140 nœuds) plutôt que maximales en profondeur/largeur initialement présentes, indiquant que l'efficacité sous des budgets contraints est privilégiée par rapport à la capacité brute.

Signification et Revendications
L'article présente une preuve de concept mécaniste montrant que les dynamiques de population oncomorphiques offrent une voie viable pour l'adaptation décentralisée dans des applications d'ingénierie aux ressources locales limitées. Les auteurs affirment que :

1. Une compétence utile dans les systèmes distribués peut émerger de l'enrichissement de la population d'architectures qui performent bien sous une exposition locale séquentielle, plutôt que de la simple préservation des connaissances dans un apprenant persistant unique.
2. L'efficacité de la pression exploratoire (mutation) est dépendante de l'état : elle est cruciale lorsque la diversité est faible (départs clonaux) mais potentiellement disruptive lorsqu'une large distribution favorable de designs existe déjà.
3. Il existe une distinction critique entre adaptation (la sélection et la mutation déterminant quelles architectures persistent) et allocation (le recrutement et la réplication remodelant le substrat démographique).
4. Sous des budgets d'entraînement finis, les architectures qui sont "formables" et efficaces peuvent surpasser celles possédant une capacité théorique maximale.

Les auteurs notent explicitement les limites, notamment l'utilisation de familles de tâches synthétiques et l'héritage au niveau de l'architecture (sans héritage des poids), présentant les résultats comme une preuve mécaniste plutôt que comme une solution complète pour l'apprentissage continu réel. Ils suggèrent que des travaux futurs pourraient étendre le cadre à d'autres types d'agents (CNN, Transformers) et incorporer des modèles de coût explicites pour l'énergie et la latence.