🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

Dit artikel demonstreert dat deep reinforcement learning-agenten die getraind zijn met bevroren, willekeurig geïnitialiseerde CNN-featureextractoren spontaan extreem ijle volledig verbonden representaties ontwikkelen die schalen met de taakcomplexiteit en effectief de haalbare prestaties begrenzen, wat de intrinsieke dimensionaliteit van het onderliggende probleem onthult zonder expliciete spaarzaamheid-inducerende doelstellingen.

Oorspronkelijke auteurs: Scott M. Norton

Gepubliceerd 2026-07-30

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Scott M. Norton

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers leren spelletjes spelen niet door een handleiding te lezen, maar door naar een scherm te staren en te raden wat de volgende stap is. Dit is het domein van Deep Reinforcement Learning (DRL). Denk eraan als het trainen van een hond: je vertelt de hond niet hoe hij een frisbee moet vangen; je geeft hem alleen een snoepje als het lukt, en een "nee" als dat niet lukt. Na verloop van tijd begrijpt de hond de truc. In de computerwereld is de "hond" een neuraal netwerk—een gigantisch web van wiskundige verbindingen dat een brein nabootst. Meestal, om deze computers slim te maken, laten we ze elke individuele verbinding in het web aanpassen, in de hoop dat ze de beste manier ontdekken om de wereld te zien. Maar hier zit de crux: deze computerbreinen zijn vaak extreem overdadig. Ze hebben miljoenen verbindingen, zoals een bos met te veel bomen, waardoor het moeilijk is te zien welke ervan echt het werk doen en welke alleen maar in de weg zitten. Wetenschappers vragen zich al lang af: moeten deze gigantische breinen wel zo groot zijn, of is er een simpelere, efficiëntere manier om deze problemen op te lossen?

Dit is waar een nieuwsgierige onderzoeker genaamd Scott M. Norton instapte met een zeer vreemd experiment. In plaats van de "ogen" van de computer (het deel dat naar het scherm kijkt) te laten leren en veranderen, bevroor hij ze. Hij nam een willekeurige, ongetrainde cameralens en vergrendelde deze op zijn plaats, waarbij hij weigerde deze iets nieuws te laten leren. Vervolgens vroeg hij de computer om Atari-spellen te spelen met behulp van alleen deze bevroren, willekeurige lens. De verwachting was dat de computer hopeloos zou falen, of in ieder geval zou worstelen met de wazige, willekeurige beelden. Maar er gebeurde iets magisch en onverwachts. De computer leerde niet alleen; hij leerde ongelooflijk efficiënt te zijn. Zonder dat iemand hem vertelde om simpel te zijn, besloot de computer spontaan 95% van zijn eigen hersenkracht te negeren. Hij zette bijna al zijn neuronen uit en loste het spel op met slechts een handvol daarvan. Het was alsof een student, die een tekstboek kreeg met willekeurige pagina's aan elkaar geplakt, erin slaagde het examen met uitmuntende cijfers te halen door slechts drie zinnen uit het hoofd te leren.

Het Experiment met de Bevroren Lens

In deze studie zette de onderzoeker een klassiek videogamescenario op met het spel Pong (het digitale tennisspel waarbij je een bal heen en weer slaat). Hij bouwde een standaard AI-agent, maar met een twist: het deel van de AI dat de videobeelden verwerkt (het Convolutional Neural Network, of CNN) werd geïnitialiseerd met willekeurige getallen en daarna bevroren. Het mocht nooit meer veranderen. Het enige deel van de AI dat kon leren, was de uiteindelijke besluitvormingslaag, het "fully connected" deel dat de beeldgegevens neemt en beslist of de paddle omhoog, omlaag beweegt of stil blijft staan.

Normaal gesproken, wanneer we deze AI-agenten trainen, laten we het hele systeem samen leren. De "ogen" leren de bal te spotten, en het "brein" leert de paddle te bewegen. Maar in dit experiment waren de "ogen" vastgelopen met een willekeurig, ongetraind beeld van de wereld. De onderzoekers verwachtten dat de AI onhandig zou zijn. In plaats daarvan ontdekten ze dat het brein van de AI spontaan een sparse representatie ontwikkelde.

"Sparsity" (ijjlheid) is een chic woord voor "zeer weinig gebruiken". Stel je voor dat je een kamer hebt met 64 lichtschakelaars. In een normale, volledig getrainde AI zouden bijna alle 64 schakelaars aan- en uitgaan terwijl het spel speelt, wat een complex, ruisachtig patroon creëert. Maar in dit bevroren experiment zette de AI slechts 1 tot 3 schakelaars aan van de beschikbare 64. Hij negeerde de andere 61 schakelaars volledig. Hij had ze niet nodig. De AI begreep dat de willekeurige, bevroren lens toevallig precies de juiste paar "kanalen" aan informatie had om het spel op te lossen, dus zette hij de rest uit om energie te besparen en zich te concentreren.

De "Net Genoeg" Regel

Het meest fascinerende deel van de ontdekking is dat het aantal schakelaars dat de AI gebruikte niet willekeurig was; het kwam overeen met de moeilijkheidsgraad van het spel.

Pong: Dit is een eenvoudig spel met alleen een bal en twee paddles. De AI had slechts 1 tot 3 neuronen (de kleine verwerkingseenheden in het brein) nodig om het te beheersen.
Breakout: Dit spel bevat een bal, een paddle en een muur van bakstenen. Het is complexer. De AI had 19 tot 26 neuronen nodig.
Space Invaders: Dit is een chaotisch spel met aliens, kogels en schilden. De AI had ongeveer 42 neuronen nodig.

De onderzoekers testten dit door het brein van de AI breder te maken (meer schakelaars aan te bieden om uit te kiezen). Zelfs toen ze de AI 128 schakelaars gaven in plaats van 64, gebruikte het nog steeds ongeveer hetzelfde kleine aantal (3 tot 14) om het spel op te lossen. Het gebruikte niet meer, alleen omdat ze beschikbaar waren. Het lijkt erop dat de AI de "werkelijke complexiteit" van het spel aanvoelde en alleen zoveel hersenkracht gebruikte als strikt noodzakelijk was.

Waarom dit Belangrijk is (En wat het Niet is)

Je vraagt je misschien af: "Heeft de AI gewoon geluk gehad?" De onderzoekers hebben dit grondig gecontroleerd. Ze ontdekten dat als ze de specifieke paar neuronen die de AI gebruikte uitschakelden (een proces genaamd ablatie), de AI onmiddellijk vergat hoe hij moest spelen en volledig willekeurig begon te handelen. Dit bewees dat die paar neuronen al het zware werk deden. De rest van het brein was echt nutteloos voor die specifieke taak.

Echter, het artikel is voorzichtig om niet te beweren dat dit een wondermiddel is voor elke situatie. De onderzoekers ontdekten dat deze "bevroren lens"-truc het beste werkt wanneer een spel een duidelijke, reactieve structuur heeft (zoals Pong of Breakout). In sommige gevallen, zoals bij het spel Freeway, kon de AI een "cheat" vinden door simpelweg elke keer omhoog te bewegen, wat geen echte leerprestatie vereiste. In die gevallen was de "sparsity" geen teken van intelligentie, maar een teken van een kortere weg. Maar voor de spellen waar echte vaardigheid nodig was, dwong de bevroren willekeurige lens de AI om de meest efficiënte route te vinden.

Het Grotere Plaatje: Het Signaal in de Ruis Vinden

Het verhaal hier gaat over efficiëntie. We denken vaak dat je een enorme, complexe machine nodig hebt om een moeilijk probleem op te lossen. Maar dit paper suggereert dat als je een machine een vaste, willekeurige set hulpmiddelen geeft, de machine vanzelf de simpelste manier zal vinden om ze te gebruiken. Het is alsof je iemand een enorme gereedschapskist geeft met een miljoen willekeurige gereedschappen. In plaats van te proberen ze allemaal te gebruiken, zal een slim persoon snel beseffen: "Oh, ik heb alleen deze ene schroevendraaier en deze ene hamer nodig om deze stoel te repareren."

De onderzoekers merkten ook iets op over wanneer dit gebeurt. De AI besliste welke neuronen hij zou gebruiken heel vroeg in de training—soms al binnen de eerste 15 miljoen stappen. Hij legde die keuzes vast lang voordat hij daadwerkelijk goed werd in het spel. Het was alsof de AI zijn teamleden al op dag één koos, en de volgende 100 miljoen stappen alleen maar oefende met dat specifieke team.

Een Speelse Analogie: De Radio-ontvanger

Stel je de bevroren CNN voor als een radio die vastzit op een specifieke, willekeurige frequentie. Het signaal dat binnenkomt is een mix van statische ruis en muziek. De meeste mensen zouden denken: "Deze radio is kapot; ik moet de antenne repareren." Maar deze AI is anders. Hij probeert de antenne niet te repareren. In plaats daarvan luistert hij naar de ruis en realiseert hij zich: "Hé, als ik me alleen op dit ene kleine fragment van de ruis concentreer, kan ik de muziek perfect horen." Hij negeert de rest van de ruis.

In de wereld van AI proberen we meestal betere antennes te bouwen (het hele netwerk te trainen). Dit paper laat zien dat als je een AI simpelweg naar een willekeurige antenne laat luisteren, hij vanzelf die ene kleine slice van het signaal vindt die ertoe doet en de rest negeert. Het is een herinnering dat soms minder meer is, en dat de natuur (of in dit geval een bevroren willekeurig netwerk) een manier heeft om de simpelste oplossing te vinden als we er niet in de weg zitten.

De onderzoekers suggereren dat dit fenomeen ons kan helpen begrijpen hoe we in de toekomst slimmere, kleinere AI-systemen kunnen bouwen. In plaats van gigantische, verspillende netwerken te bouren, kunnen we misschien bevroren, willekeurige kenmerken gebruiken om AI te helpen de "intrinsieke dimensie" van een probleem te vinden—het werkelijke, kleine aantal variabelen die er echt toe doen. Het is een stap naar AI die niet alleen krachtig is, maar ook elegant en efficiënt.

Technische Samenvatting: Emergente Sparsiteit in Bevroren Willekeurige CNN Feature Extractors voor Deep Reinforcement Learning

Probleemstelling

Deep Reinforcement Learning (DRL) agenten maken doorgaans gebruik van overgeparameteriseerde neurale netwerken om omgevingen op te lossen die worden beheerst door een klein aantal intrinsieke staatsvariabelen (bijv. Pong wordt gedefinieerd door ongeveer vijf continue variabelen). Deze overparameterisatie creëert een spanning tussen capaciteit en structuur, wat vaak leidt tot pathologieën zoals representatieve rang-instorting (representation rank collapse), dode neuronen en verlies van plasticiteit. Hoewel sparsiteit (ijlheid) vaak wordt beschouwd als een gewenste eigenschap die moet worden geconstrueerd via pruning of regularisatie, suggereert bestaande literatuur dat sparsiteit niet natuurlijk emergeert in standaard end-to-end training; in plaats daarvan verdelen dichte netwerken informatie uniform over de beschikbare capaciteit, waardoor de onderliggende eenvoud van de taak wordt verborgen.

Dit werk onderzoekt een complementaire vraag: Hoe weinig kiest gradiëntafdaling te gebruiken wanneer de feature extractor vaststaat? Specifiek onderzoeken de auteurs of sparsiteit spontaan emergeert wanneer een agent een beleid (policy) moet leren met behulp van een bevroren, willekeurig geïnitialiseerde Convolutional Neural Network (CNN) als feature extractor, zonder expliciete own doelstellingen voor sparsiteit.

Methodologie

Architectuur en Trainingsprotocol

De studie maakt gebruik van de standaard Nature-DQN CNN-architectuur (drie convolutionele lagen die 3.136-dimensionale features produceren) gevolgd door twee volledig verbonden (FC) lagen (FC1: 3.136 $\to$ 64; FC2: 64 $\to$ 64) en policy/value heads.

Frozen-CNN Conditie: De CNN-gewichten worden willekeurig geïnitialiseerd (Kaiming normal) en onmiddellijk bevroren. Alleen de FC-lagen en de policy/value heads zijn trainbaar. De CNN fungeert als een vaste willekeurige projectie van de pixelruimte naar een 3.136-dimensionale featureruimte.
Trainable-CNN Conditie (Controle): Alle lagen worden end-to-end getraind met identieke hyperparameters.
Algoritmen: Experimenten gebruiken Proximal Policy Optimization (PPO) over twee onafhankelijke implementaties: Stable-Baselines3 (SB3, synchroon) en Sample Factory (SF, asynchroon).
Omgevingen: Vier Atari 2600-spellen die een bereik aan intrinsieke complexiteit beslaan: Pong ( $\sim$ 5 staatsvariabelen), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25) en Space Invaders ( $\sim$ 40+).
Stochastiek: "Sticky actions" (het herhalen van de vorige actie met een waarschijnlijkheid $p_{sticky}=0.25$ ) worden waar nodig toegepast om memorisatie van vaste actiesequenties te voorkomen en reactieve controle te waarborgen.

Analyse-metrieken

Actief Neuronenaantal: Een neuron wordt geclassificeerd als "actief" als de gemiddelde post-ReLU activatie groter is dan 0,01.
Participation Ratio (PR): Een maat voor effectieve dimensionaliteit gedefinieerd als $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ , waarbij $\lambda_i$ de eigenwaarden van de activatie-covariantie zijn. Dit onderscheidt een set actieve neuronen die onafhankelijk zijn van een set die sterk gecorreleerd is.
Ablatie Verificatie: De cruciale empirische test omvat het maskeren van actieve neuronen (FC1-Remove) of inactieve neuronen (FC1-Keep). Een crash naar willekeurig spel bij het verwijderen van actieve neuronen bevestigt een echte informatiebottleneck.

Belangrijkste Bijdragen en Resultaten

1. Emergente Sparsiteit Schaalt met Taakcomplexiteit

De belangrijkste bevinding is dat bevroren willekeurige CNN's spontaan extreem sparse representaties ontwikkelen in de eerste volledig verbonden laag (FC1), en het aantal actieve neuronen correleert met de taakcomplexiteit:

Pong (Deterministisch): 1–3 actieve neuronen uit 64 (1,6–4,7% benutting).
Breakout: 19–26 actieve neuronen.
Space Invaders: $\sim$ 42 actieve neuronen.
Trainable Controls: In contrast hiermee gebruiken trainbare CNN's 55–64 neuronen (91–100% benutting), ongeacht de taakcomplexiteit.
Breedte Schaling: Experimenten waarbij de FC1-breedte varieerde (32, 64, 128) bevestigen dat het absolute actieve aantal stabiel is en de taakstructuur reflecteert, in plaats van een vast fractie van de netwerkcapaciteit.

2. Capaciteitsbeperkte Schaling Binnen Games

Binnen hetzelfde spel (Pong) en bij gematchte hyperparameters, produceerden drie onafhankelijke willekeurige projecties (seeds) verschillende actieve neuronenaantallen (5, 7 en 11) en bijbehorende prestatieplafonds:

De 5-neuron seed plateauerde op +14,1 reward.
De 7- en 11-neuron seeds bereikten expertprestaties (+18,4 en +18,7).
Dit suggereert dat de "bruikbare dimensionaliteit" van de specifieke willekeurige projectie een plafond stelt aan de haalbare prestaties voor een vaste taak en capaciteit.

3. Noodzakelijkheid en Voldoendeheid van de Actieve Set

Ablatiestudies bevestigen dat de sparse actieve set alle taakrelevante informatie draagt:

FC1-Remove: Het verwijderen van de actieve neuronen in bevroren agenten zorgt voor een crash naar willekeurig spel (reward $\approx$ -21,0) over alle seeds en frameworks heen.
FC1-Keep: Het behouden van alleen de actieve neuronen (de rest op nul zetten) behoudt de volledige competentie van de agent.
Dit geldt zelfs wanneer de policy out-of-distribution wordt geëvalueerd (bijv. deterministisch getrainde agenten geëvalueerd met sticky actions), waarbij de policy mogelijk faalt maar de representatie noodzakelijk blijft.

4. Vroege Commitment van de Bottleneck

Een longitudinale sweep over 47 checkpoints (5M tot $\sim$ 1,6B stappen) onthult de temporele dynamiek van bottleneckvorming:

Vroege Lock: De actieve set wordt vastgelegd (locked) tussen 15–30M stappen. De noodzaak van deze neuronen (FC1-Remove $\to$ willekeurig spel) is detecteerbaar vanaf 5M stappen, nog voordat er enige verbetering in reward optreedt.
Lag: De reward wordt positief 35–105M stappen nadat de actieve set is vastgelegd. De lag wordt groter naarmate de bottleneck-capaciteit nauwer wordt (bijv. de 5-neuron seed heeft $\sim$ 105M stappen nodig om te leren de gecomprimeerde representatie te gebruiken, terwijl de 11-neuron seed slechts $\sim$ 35M stappen nodig heeft).
Trainable Agents: Trainbare agenten vertonen ook vroege commitment tot een actieve set, maar de inhoud is kwalitatief anders: zij committeren zich aan een brede set neuronen (43–64 van 64) in plaats van aan een smalle, sparse selectie.

5. Structurele Verschillen in Bottleneck Signaturen (Breakout)

In Breakout bereiken zowel bevroren als trainbare agenten competitieve rewards via structureel verschillende bottlenecks:

Bevroren Agenten: Gebruiken 17–25 actieve neuronen met een hoge participation ratio ( $\sim$ 10–14), wat wijst op een smalle set van matig diverse, onafhankelijke features.
Trainbare Agenten: Gebruiken 51 actieve neuronen met een lage participation ratio ( $\sim$ 3,6), wat wijst op een brede set van sterk gecorreleerde, redundante features.
Dit benadrukt dat het actieve aantal en de participation ratio complementaire indicatoren zijn van representatieve compressie.

Betekenis en Claims

Het paper claimt aan te tonen dat sparsiteit niet louter een geconstrueerde eigenschap is, maar spontaan kan emergeren vanuit standaard gradiëntafdaling wanneer de feature extractor vaststaat. De bevroren willekeurige CNN fungeert als een "compressieve meetapparaat" dat de intrinsieke dimensionaliteit van het onderliggende probleem onthult zonder expliciete sparsiteit-machinerie.

De belangrijkste implicaties die door de auteurs worden getrokken zijn:

Taakcomplexiteit Probing: Een training met een bevroren CNN kan, zonder expliciete zoektocht, het geschatte aantal onafhankelijke staatsvariabelen onthullen die een agent's policy gebruikt, wat kan informeren over curriculum design en pruning targets.
Efficiëntie: Bevroren CNN's maken extreme-efficiëntie deployment mogelijk waarbij alleen de getrainde readout (bijv. $\sim$ 9.400 parameters voor Pong) opgeslagen hoeft te worden; de willekeurige seed is voldoende om de projectie te regenereren.
Theoretische Connectie: Het werk verbindt lottery ticket sparsity, reservoir computing en compressed sensing. Het suggereert dat gradiëntafdaling op een bevroren willekeurige projectie een sparse readout uitvoert die vergelijkbaar is met hoe compressed sensing signalen herstelt, maar dan gedreven door RL-dynamiek in plaats van expliciete $\ell_1$ regularisatie.
Brede Toepasbaarheid: De auteurs vermoeden (zonder bewijs) dat dit mechanisme kan dienen als een minimal-feature-set discovery tool in domeinen waar de input-dimensionaliteit de intrinsieke taak-dimensionaliteit verre overstijgt (bijv. biologische metingen) en als een lichtgewicht diagnostisch instrument voor adaptation-rank selectie bij fine-tuning (analoog aan LoRA).

De auteurs blijven bescheiden over de algemeenheid van deze bevindingen en merken op dat de resultaten momenteel beperkt zijn tot discrete-action Atari-games en de Nature-DQN architectuur, en dat een formeel wiskundig bewijs waarom bevroren willekeurige projecties sparse oplossingen garanderen een openstaande vraag blijft.