Oncomorphic neural agent populations for resource-limited sequential learning

Technische Samenvatting: Oncomorfische Neurale Agentenpopulaties voor Resource-Beperkt Sequentieel Leren

Probleemstelling
Gedistribueerde kunstmatige intelligentiesystemen opereren vaak onder beperkingen van sequentiële taakblootstelling, ongelijke computationele middelen en gedecentraliseerde coördinatie. Traditionele benaderingen voor continu leren, zoals parametrische regularisatie of replay-strategieën, gaan doorgaans uit van een centraal beheerd computationeel budget en evalueren kandidaat-modellen buiten een ruimtelijk gedistribueerde ecologie. Echter, real-world edge-devices, sensornetwerken en robotcollectieven worden geconfronteerd met datastromen die lokaal arriveren, taken die in de loop van de tijd veranderen, en compute-budgetten die per locatie variëren. Het artikel adresseert de uitdaging om te bepalen welke neurale netwerkarchitecturen overleven bij herhaalde blootstelling aan heterogene taken in een gedecentraliseerde setting waar variatie, selectie, mobiliteit en eindige lokale ondersteuning interageren zonder centrale controle.

Methodologie
De auteurs stellen een oncomorfisch framework voor, een computationeel model geïnspireerd door de kanker-ecologie, om een gedecentraliseerde populatie van neurale agenten te simuleren. Het systeem opereert op twee gekoppelde schalen:

1. Binnen-Agent Leren: Elke agent draagt een enkele dichte feed-forward neuraal netwerk en traint lokaal op de specifieke nietlineaire classificatietaak van zijn huidige omgeving met behulp van gradiëntafdaling. De trainingsduur is eindig en evenredig aan de lokale draagkracht ($K_e$) van de omgeving, wat ervoor zorgt dat agenten opereren onder begrensde leerbudgetten in plaats van asymptotische convergentie.
2. Tussen-Agent Ecologische Omzetting: De populatie evolueert via vier mechanismen:
   • Replicatie: Agenten repliceren met snelheden die afhankelijk zijn van lokale prestaties en omgevingsbezetting (logistieke groei).
   • Mutatie: Agenten kunnen hun architectuur muteren (diepte, breedte, activatiefunctie, optimizer) om nieuwe ontwerpen te genereren.
   • Migratie: Agenten bewegen tussen omgevingen, wat potentieel kan leiden tot de rekrutering van draagkracht uit een eindelijke gedeelde reserve ($K_{res}$).
   • Selectie: Slecht presterende agenten worden verwijderd op basis van een prestatiegerichte waarschijnlijkheidsfunctie.

De studie maakt gebruik van gecontroleerde synthetische nietlineaire classificatieomgevingen (inclusief argmax, Gaussian-blob en orthant-taken). Er werden twee initiële condities getest: initRand (een diverse populatie van willekeurige architecturen) en initMax (een homogene populatie van maximale architecturen). De auteurs voerden parameter sweeps uit over selectiestrengte ($\alpha$) en mutatiesnelheid ($\mu$), evenals rekruteringskans en basis-replicatiesnelheden, met behulp van een continuous-time Markov chain (Gillespie-algoritme) voor simulatie.

Belangrijkste Bijdragen

• Oncomorfisch Framework: Introduceert een nieuw multi-agent systeem waarbij adaptatie emergeert uit ecologische omzetting (migratie, mutatie, selectie) in plaats van centrale optimalisatie, waarbij de interactie tussen lokaal leren en eindige lokale ecologische draagkrachten expliciet wordt gemodelleerd.
• Toestandsafhankelijke Rol van Mutatie: Demonstreert dat het nut van architecturale mutatie afhankelijk is van de initiële diversiteit van de populatie.
• Gedecentraliseerde Multi-Taak Competentie: Toont aan dat een populatie die alleen getraind is op lokale, sequentiële taken, door middel van ecologische selectie rijker kan worden aan architecturen die een hogere competentie vertonen over de gehele taakset zonder aanvullende gezamenlijke training.
• Resourceherverdeling versus Prestatie: Verheldert dat hoewel rekrutering en replicatie de demografische ondersteuning hervormen, ze fungeren als herverdelingsmechanismen voor eindige middelen in plaats van drijvers voor verbeterde predictiekwaliteit.

Resultaten

• Selectie en Lokale Nauwkeurigheid: Sterkere prestatiegerichte selectie verhoogde consequent de terminale lokale nauwkeurigheid van de overlevende agenten. In de initRand-conditie (diverse start), leverde hoge selectie met lage mutatie de beste resultaten op (~0.878 nauwkeurigheid), omdat selectie bestaande hoogpresterende architecturen consolideerde. In de initMax-conditie (klonale start) was mutatie essentieel; zonder mutatie kon selectie niet handelen op variatie. Hoge selectie gecombineerd met een niet-nul mutatie verbeterde de nauwkeurigheid van ~0.48 naar ~0.834.
• Multi-Taak Competentie: Selectie op lokale prestaties correleerde met verbeterde end-of-run multi-taak nauwkeurigheid (evaluatie van agenten op alle omgevingen zonder hertraining). In initRand piekte de multi-taak nauwkeurigheid nabij 0.65 met hoge selectie en lage mutatie. In initMax was mutatie opnieuw vereist om alternatieven te genereren die selectie kon filteren, wat leidde tot ~0.57.
• Rekruteringsdynamiek: Variërende rekruteringswaarschijnlijkheid en basis-replicatiesnelheden resulteerden in een lokale nauwkeurigheid die binnen een smalle band bleef (0.785–0.853). Dit geeft aan dat geïntensiveerde demografische activiteit eindige leerbronnen herverdeelt maar de predictiekwaliteit niet systematisch verbetert.
• Tijd-opgeloste Dynamica:
  • Concentratie: Prestatiegerichte selectie dreef een significante concentratie van de populatie naar een beperkt aantal architecturen (dominante-architectuur fractie steeg naar 0.23), terwijl neutrale drift slechts een bescheiden concentratie produceerde (0.08).
  • Diversiteit: In klonale starts verhoogde mutatie de Shannon-entropie (diversificatie), die selectie vervolgens filterde. In diverse starts verminderde mutatie de entropie licht door gunstige ontwerpen te verstoren.
  • Eindige-Cyclus Leren: Agenten bleven verbeteren tijdens lokale trainingsepisoden en werden geëvalueerd vóór volledige convergentie, wat suggereert dat trainbaarheid onder korte vensters een kritische factor voor overleving is.
• Architectuurkenmerken: De overlevende architecturen waren vaak relatief compact (bijv. 2 verborgen lagen, 140 knopen) in plaats van de maximale diepte/breedte die aanvankelijk aanwezig was, wat aangeeft dat efficiëntie onder begrensde budgetten de voorkeur krijgt boven ruwe capaciteit.

Betekenis en Claims
Het artikel presenteert bewijs van conceptuele mechanistische aard dat oncomorfische populatiedynamica een levensvatbare route bieden voor gedecentraliseerde adaptatie in engineering-toepassingen met begrensde lokale middelen. De auteurs claimen dat:

1. Nuttige competentie in gedistribueerde systemen kan voortkomen uit populatiebrede verrijking van architecturen die goed presteren onder sequentiële lokale blootstelling, in plaats van enkel het behouden van kennis in een enkele persistente leerder.
2. De effectiviteit van exploratieve druk (mutatie) toestandsafhankelijk is: het is cruciaal wanneer de diversiteit laag is (klonale starts), maar potentieel disruptief wanneer er al een brede, gunstige distributie van ontwerpen bestaat.
3. Er is een cruciaal onderscheid tussen adaptatie (selectie en mutatie bepalen welke architecturen voortbestaan) en allocatie (rekrutering en replicatie die het demografische substraat hervormen).
4. Onder eindige trainingsbudgetten kunnen architecturen die "trainbaar" en efficiënt zijn, beter presteren dan die met maximale theoretische capaciteit.

De auteurs merken expliciet de beperkingen op, inclus\u00ad bij de het gebruik van synthetische taakfamilies en architecturale overerving (zonder gewichtsovererving), en kaderen de resultaten als mechanistisch bewijs in plaats van een volledige oplossing voor real-world continu leren. Ze suggereren dat toekomstig werk dit framework kan uitbreiden naar andere typen agenten (CNN's, transformers) en expliciete kostenmodellen voor energie en latentie kan bevatten.