🧬 biology

Growing a Neural Network in Breadth, Depth, and Time

Dit artikel introduceert een differentieerbaar kader voor het trainen van recurrente convolutionele neurale netwerken dat gezamenlijke kosten voor breedte, diepte en tijd optimaliseert, waardoor wordt onthuld hoe hulpbronnenbeperkingen diverse computationele architecturen vormen en correleren met menselijke reactietijden.

Oorspronkelijke auteurs: Eivinas Butkus, Kedar Garzón Gupta, Nikolaus Kriegeskorte

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eivinas Butkus, Kedar Garzón Gupta, Nikolaus Kriegeskorte

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een team van werknemers probeert samen te stellen om een puzzel op te lossen. Meestal bepaal je precies hoeveel werknemers je hebt, hoeveel van hen experts zijn, en hoe lang ze mogen werken voordat je hun antwoorden controleert. Je zou kunnen zeggen: "We hebben 100 werknemers, 10 managementniveaus en 5 minuten om het af te ronden."

Dit artikel stelt een andere aanpak voor. In plaats van dat jij de regels bepaalt, geef je het team een budget en een doel, en laat je hen hun eigen structuur uitwerken.

Hier is de eenvoudige uitleg van wat de onderzoekers deden:

De Drie Hulpmiddelen: Breedte, Diepte en Tijd

De onderzoekers behandelden drie dingen als "kosten" die de AI moet betalen:

Breedte (Width): Denk hierbij aan het aantal werknemers in het team. Meer werknemers betekent meer mensen die tegelijk naar het probleem kijken.
Diepte: Denk hierbij aan het aantal vergaderingen of lagen management. Een "diep" team heeft veel stappen waar informatie omhoog en omlaag wordt doorgegeven. Een "ondiep" team heeft minder stappen.
Tijd: Denk hierbij aan hoe lang het team over een specifiek probleem nadenkt voordat het een antwoord geeft.

Het Idee van het "Oneindige Rooster"

Stel je een gigantisch, oneindig rooster voor van potentiële werknemers, vergaderingen en denk-tijd.

Normaal gesproken kiezen we een klein, vast vakje uit dit rooster en zeggen we: "Dit is onze AI."
In dit artikel begonnen de onderzoekers met een groot vakje (een groot netwerk) en plakten ze een "prijskaartje" op elke extra werknemer, elke extra vergadering en elke extra seconde denk-tijd.

Ze vertelden de AI: "Je moet het juiste antwoord krijgen, maar elke keer dat je een werknemer, een vergadering of een seconde tijd gebruikt, verlies je punten. Probeer de beste score te halen terwijl je het minste aantal punten uitgeeft."

Wat gebeurde er?

Omdat de AI probeerde punten te besparen, begon het zichzelf te "snoeien". Het ontsloeg de werknemers die het niet nodig had, slaagde de vergaderingen over die niet hielpen, en stopte vroegtijdig met denken als het antwoord voor de hand lag.

Hier zijn de verrassende dingen die ze ontdekten:

1. Je kunt hulpmiddelen als valuta uitwisselen
De AI ontdekte dat het niet uitmaakte hoe het het probleem oploste, zolang het maar het juiste antwoord kreeg.

Als je het dwong om minder werknemers te hebben (minder breedte), zou het vanzelf meer vergaderingen toevoegen (meer diepte) om dit te compenseren.
Als je het dwong om minder vergaderingen te hebben, zou het meer werknemers aannemen (meer breedte).
Het kon ook tijd inwisselen voor ruimte. Als het niet veel werknemers kon gebruiken, zou het gewoon langer nadenken.
De Analogie: Het is alsof je een maaltijd kookt. Als je een kleine keuken hebt (minder ruimte), kun je langer doen over het koken (meer tijd). Als je een enorme keuken hebt, kun je sneller koken. De AI leerde automatisch zijn "keukengrootte" en "kooktijd" in evenwicht te brengen.

2. De AI leerde "harder te denken" wanneer dingen verwarrend waren
De onderzoekers testten de AI met afbeeldingen die deels bedekt waren (occluded).

Wanneer de afbeelding duidelijk was, loste de AI het snel op.
Wanneer de afbeelding rommelig of bedekt was, besliste de AI spontaan om langer na te denken. Het hoefde niet te worden verteld dit te doen; de druk van de "kostprijs van tijd" liet het beseffen dat het waard was om extra tijd te besteden om het juiste antwoord te krijgen op een moeilijke afbeelding.

3. De denk-tijd van de AI kwam overeen met menselijke reactietijden
Dit was het meest verrassende deel. De onderzoekers vergeleken de "denk-tijd" van de AI met hoe lang het mensen kost om objecten in dezelfde afbeeldingen te herkennen.

Hoewel de AI nooit menselijke data had gezien of was verteld hoe snel mensen denken, kostte het hem langer om de moeilijke afbeeldingen op te lossen die ook mensen moeilijk vonden.
De Analogie: Het is alsof twee verschillende mensen een toets maken. Hoewel ze op verschillende manieren hebben gestudeerd, beiden toch lang pauzeren bij dezelfde moeilijke vraag en de makkelijke vragen snel beantwoorden. Het "brein" van de AI evolueerde op natuurlijke wijze om de menselijke snelheid na te bootsen.

4. Moeilijkere taken laten de AI groeien
Toen ze de AI een makkelijker taak gaven (zoals het herkennen van eenvoudige cijfers), bleef het klein en simpel. Toen ze het een moeilijker taak gaven (zoals het herkennen van complexe dieren), groeide het vanzelf groter, met meer werknemers en meer vergaderingen, zelfs al bleef de "prijs" voor die hulpmiddelen hetzelfde.

Het Grote Plaatje

De belangrijkste les is dat beperkingen intelligentie vormgeven. Door limieten te stellen aan ruimte (breedte/diepte) en tijd, werd de AI niet alleen slechter; het vond unieke, efficiënte manieren om problemen op te lossen die er heel verschillend uitzagen, maar even goed waren.

De onderzoekers suggereren dat dit helpt verklaren waarom hersenen in de natuur zo verschillend van elkaar lijken. Net als hun AI, hebben verschillende dieren misschien verschillende hersenstructuren geëvolueerd (sommige breed, sommige diep, sommige snel) omdat ze te maken kregen met verschillende "budgetten" aan ruimte en tijd in hun omgeving.

Technische Samenvatting: Het Kweken van een Neuraal Netwerk in Breedte, Diepte en Tijd

Probleemstelling

Intelligente systemen, zowel biologisch als kunstmatig, opereren onder kritieke ruimtelijke en temporele hulpbronnenbeperkingen. In biologische hersenen brengen extra neuronen metabole, onderhouds- en bedradingskosten met zich mee, terwijl snelheid essentieel is voor overleving. In kunstmatige intelligentie staan ingenieurs voor analoge drukkrachten, wat onderzoek stimuleert naar modelcompressie, architectuurzoektochten en adaptieve berekening.

Traditioneel worden de drie primaire hulpbronnen—breedte (aantal kanalen/eenheden), diepte (aantal lagen) en tijd (aantal verwerkingsstappen)—behandeld als vaste hyperparameters die worden bepaald via roosterzoektochten of handmatige afstelling. Hoewel eerdere werken deze afzonderlijk hebben aangepakt (bijvoorbeeld pruning voor breedte/diepte of adaptieve berekeningstijd), heeft geen enkel kader tot nu toe alle drie gezamenlijk geoptimaliseerd binnen één differentieerbaar systeem. Dit artikel vult deze leemte door een normatieve account te definiëren van hoe hulpbronnenbeperkingen neurale architecturen vormen, met als doel de trade-offs en organische groei van computationele grafieken onder wisselende drukkrachten te begrijpen.

Methodologie

Multi-Resource Cost (MRC) Kader

De auteurs stellen een kader voor waarin een neuraal netwerk wordt opgevat als een eindige deelverzameling van een oneindig rooster dat zich uitstrekt in breedte, diepte en tijd. Het netwerk wordt getraind om een samengestelde verliesfunctie te minimaliseren die gezamenlijk taakprestatie en hulpbronnengebruik optimaliseert:

$L = \lambda_{errors}L_{errors} + \lambda_{breadth}L_{breadth} + \lambda_{depth}L_{depth} + \lambda_{time}L_{time}$

$L_{errors}$ : Cross-entropy verlies, genormaliseerd door $\log K$ (aantal klassen) om vergelijkbaarheid over datasets te waarborgen.
$L_{breadth}$ : Een differentieerbare kostenfunctie die gewichtsdecay toepast, geschaald naar kanaalrang. Kanalen worden gesorteerd op gemiddelde gewichtsgrootte; lager gerangschikte kanalen worden zwaarder bestraft, wat het netwerk aanzet om nuttige kenmerken te consolideren in minder kanalen.
$L_{depth}$ : Een differentieerbare kostenfunctie die gewichtsdecay toepast, geschaald naar laagindex. Diepere lagen worden zwaarder bestraft, wat het netwerk aanzet om taken met minder lagen op te lossen waar mogelijk.
$L_{time}$ : De verwachte genormaliseerde tijdstap onder de tijdsselectiegewichten. Dit stelt het netwerk in staat om verwerkingstijd dynamisch toe te wijzen.

De coëfficiënten $\lambda$ fungeren als "prijzen" voor hulpbronnen. Door deze prijzen te variëren, verkennen de auteurs de trade-ruimte.

Modelarchitectuur

De implementatie maakt gebruik van een recurrent convolutional neural network (RCNN) met $L=6$ lagen en $T=5$ tijdstappen.

Verbindingen: Op elk tijdstap ontvangt elke laag drie invoeren: bottom-up (feedforward van laag $i-1$ ), lateraal (recurrent binnen laag $i$ ) en top-down (feedback van laag $i+1$ ).
Side Readout: Een lineaire readout wordt toegepast op elk tijdstap en elke laag, waardoor het model toegang heeft tot informatie van elke diepte.
Tijdsselectie: Het model leert de bijdrage van elke tijdstap aan de uiteindelijke voorspelling te wegen. Twee varianten worden getest:
- Vast: Een enkele set gewichten die wordt gedeeld over alle invoeren.
- Adaptief: Gewichten berekend via een klein MLP op basis van de invoerafbeelding, waardoor het model meer tijd kan besteden aan moeilijke invoeren.
Pruning: Om effectief hulpbronnengebruik te kwantificeren, identificeert een post-hoc pruning-procedure het kleinste sub-netwerk dat 98% van de boven-toevallige nauwkeurigheid behoudt, waarmee "gebruikte kanalen", "gebruikte lagen" en "gebruikte tijd" worden gedefinieerd.

Experimentele Opstelling

Experimenten werden voornamelijk uitgevoerd op CIFAR-10, met vergelijkingen over MNIST en Tiny ImageNet om taakcomplexiteit te testen. De auteurs varieerden $\lambda$ -waarden over zes ordes van grootte om een rooster van hulpbronnenbeperkingen te genereren.

Belangrijkste Resultaten

1. Vervangbaarheid van Hulpbronnen

De studie toont aan dat breedte, diepte en tijd vervangbaar zijn.

Breedte versus Diepte: Ondiepe-brede netwerken kunnen nauwkeurigheid bereiken die vergelijkbaar is met smalle-diepe netwerken. De trade-off is niet lineair; verschillende combinaties van hulpbronnen leveren vergelijkbare prestatieniveaus op.
Gezamenlijke Optimalisatie: Bij het gelijktijdig optimaliseren van alle drie de hulpbronnen omvat de Pareto-optimale set modellen alle drie de dimensies. Een model kan een tekort aan één hulpbron compenseren door meer van een andere hulpbron te gebruiken.

2. Emergentie van Adaptieve Tijdsallocatie

Onder tijdsdruk presteert het adaptieve tijdsselectie mechanisme aanzienlijk beter dan vaste allocatie.

Invoer-Afhankelijke Verwerking: Het model wijst spontaan meer tijdstappen toe aan invoeren die verduisterd of dubbelzinnig zijn, ondanks dat het nooit is getraind op verduisterde data.
Correlatie met Menselijk Gedrag: De tijd die het model besteedt aan specifieke afbeeldingen correleert significant met menselijke reactietijden ( $\rho = 0.299$ ) en menselijke oordeelsonzekerheid (entropie) op de CIFAR-10H dataset. Deze correlatie ontstaat zonder training op menselijke data, wat suggereert dat hulpbronnenoptimalisatie op zichzelf mensachtige verwerkingsdynamieken kan voortbrengen.

3. Taakcomplexiteit en Organische Groei

Wanneer hulpbronnenbeperkingen constant worden gehouden maar de taakcomplexiteit toeneemt (MNIST $\to$ CIFAR-10 $\to$ Tiny ImageNet), groeien netwerken organisch in breedte en diepte.

Complexere taken resulteren in dichtere netwerken met meer actieve kanalen en lagen.
Efficiëntie: Hulpbronnen-efficiëntie (genormaliseerde prestatie per eenheid hulpbron) is het hoogst voor MNIST en het laagst voor Tiny ImageNet, wat aangeeft dat moeilijkere taken afnemende meeropbrengsten opleveren op hulpbronneninvestering.

4. Kwalitatieve Verschillen in Oplossingen

Hoewel hulpbronnen qua nauwkeurigheid vervangbaar zijn, zijn ze niet identiek in hoe ze problemen oplossen.

Foutconsistentie: Ondiepe modellen maken kwalitatief andere fouten dan diepe modellen, wat suggereert dat diepte de oplossingsstrategie verandert en niet alleen de capaciteit.
Kenmerkgebruik: Sterk beperkte modellen (lage breedte/diepte) vertrouwen op laag-niveau, ruimtelijk verspreide kenmerken (hoge attributiemap-entropie), terwijl minder beperkte modellen zich richten op hoog-niveau semantische kenmerken.

Betekenis en Claims

Het artikel claimt de eerste gezamenlijke verkenning te bieden van trade-offs tussen breedte, diepte en tijd binnen één enkel differentieerbaar kader. De primaire bijdragen zijn:

Een Normatieve Account van Architectuur: Het kader biedt een manier om te begrijpen hoe hulpbronnenbeperkingen neurale architecturen vormen, en verbindt engineering-optimalisatie met vragen over hersenontwerp in de neurowetenschap.
Organische Adaptatie: Het toont aan dat adaptieve tijdsallocatie en hulpbronnen-trade-offs spontaan kunnen ontstaan via backpropagation wanneer kosten-termen zijn gedefinieerd, in plaats van dat expliciete architectuurzoektochten of post-hoc pruning vereist zijn.
Biologische Plausibiliteit: De bevinding dat hulpbronnen-beperkte modellen spontaan menselijke reactietijden en onzekerheid nabootsen, suggereert dat de diversiteit aan neurale oplossingen die in de natuur worden gevonden, kan worden verklaard door wisselende ecologische drukkrachten op ruimtelijke en temporele hulpbronnen.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de netwerken klein tot middelgroot zijn van schaal en dat de lineaire combinatie van kosten complexe biologische interacties (bijvoorbeeld multiplicatieve beperkingen tussen snelheid en nauwkeurigheid) mogelijk niet volledig vastlegt. Zij stellen toekomstig werk voor om het kader uit te breiden om de "ecologische niches" van neurale architecturen in de natuur te bestuderen.