🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

Diese Arbeit zeigt, dass Deep-Reinforcement-Learning-Agenten, die mit eingefrorenen, zufällig initialisierten CNN-Merkmalsextraktoren trainiert wurden, spontan extrem dünnbesetzte (sparse) vollvernetzte Repräsentationen entwickeln, die mit der Komplexität der Aufgabe skalieren und die erreichbare Leistung effektiv begrenzen, wodurch die intrinsische Dimensionalität des zugrunde liegenden Problems ohne explizite sparsamkeitsinduzierende Zielvorgaben offenbart wird.

Ursprüngliche Autoren: Scott M. Norton

Veröffentlicht 2026-07-30

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Scott M. Norton

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer lernen, Spiele zu spielen, indem sie nicht ein Handbuch lesen, sondern auf einen Bildschirm starren und raten, was als Nächstes zu tun ist. Dies ist das Reich des Deep Reinforcement Learning (DRL). Denken Sie daran wie beim Training eines Hundes: Man sagt dem Hund nicht, wie er einen Frisbee fangen soll; man gibt ihm einfach ein Leckerli, wenn er es tut, und ein „Nö“, wenn er es nicht tut. Mit der Zeit begreift der Hund den Trick. In der Computerwelt ist der „Hund“ ein neuronales Netz – ein riesiges Geflecht mathematischer Verbindungen, das ein Gehirn nachahmt. Normalerweise lassen wir diese Computer, um sie intelligent zu machen, jede einzelne Verbindung im Netz anpassen, in der Hoffnung, dass sie den besten Weg finden, die Welt zu sehen. Aber hier liegt der Haken: Diese Computergehirne sind oft massiv überdimensioniert. Sie haben Millionen von Verbindungen, wie ein Wald mit zu vielen Bäumen, was es schwierig macht, zu erkennen, welche davon tatsächlich die Arbeit leisten und welche nur im Weg stehen. Wissenschaftler fragen sich schon lange: Müssen diese riesigen Gehirne wirklich so groß sein, oder gibt es einen einfacheren, effizienteren Weg, diese Probleme zu lösen?

Hier kam ein neugieriger Forscher namens Scott M. Norton mit einem sehr seltsamen Experiment ins Spiel. Anstatt die „Augen“ des Computers (den Teil, der auf den Bildschirm schaut) lernen und sich verändern zu lassen, fror er sie ein. Er nahm eine zufällige, untrainierte Kameralinse, sperrte sie fest und verweigerte ihr, etwas Neues zu lernen. Dann bat er den Computer, Atari-Spiele unter Verwendung dieser eingefrorenen, zufälligen Linse zu spielen. Die Erwartung war, dass der Computer kläglich scheitern würde oder zumindest Schwierigkeiten hätte, aus den verschwommenen, zufälligen Bildern Sinn zu ergeben. Doch etwas Magisches und Unerwartetes geschah. Der Computer lernte nicht nur; er lernte, unglaublich effizient zu sein. Ohne dass ihm jemand gesagt hätte, dass er einfach sein sollte, entschied er spontan, 95 % seiner eigenen Gehirnleistung abzuschalten. Er schaltete fast alle seine Neuronen aus und löste das Spiel mit nur einer winzigen Handvoll von ihnen. Es war, als hätte ein Schüler, dem ein Lehrbuch mit zufällig zusammengeklebten Seiten übergeben wurde, die Prüfung gemeistert, indem er nur drei Sätze auswendig lernte.

Das Experiment mit der eingefrorenen Linse

In dieser Studie stellte der Forscher ein klassisches Videospiel-Szenario mit dem Spiel Pong auf (dem digitalen Tennisspiel, bei dem man einen Ball hin und her schlägt). Er baute einen Standard-KI-Agenten, aber mit einer Wendung: Der Teil der KI, der die Videobilder verarbeitet (das Convolutional Neural Network, oder CNN), wurde mit Zufallszahlen initialisiert und dann eingefroren. Er durfte niemals etwas Neues lernen. Der einzige Teil der KI, der lernen konnte, war die finale Entscheidungsebene, der „vollvernetzte“ Teil, der die Bilddaten nimmt und entscheidet, ob er den Schläger hoch, runter oder gar nicht bewegt.

Normalerweise, wenn wir diese KI-Agenten trainieren, lassen wir das gesamte System gemeinsam lernen. Die „Augen“ lernen, den Ball zu erkennen, und das „Gehirn“ lernt, den Schläger zu bewegen. Aber in diesem Experiment war das „Auge“ mit einer zufälligen, untrainierten Sicht auf die Welt gefangen. Die Forscher erwarteten, dass die KI tollpatschig sein würde. Stattdessen stellten sie fest, dass das Gehirn der KI spontan eine dünnbesetzte Repräsentation (sparse representation) entwickelte.

„Sparsity“ (Dünnbesetztheit) ist ein schickes Wort für „sehr wenig benutzen“. Stellen Sie sich vor, Sie haben ein Zimmer mit 64 Lichtschaltern. In einer normalen, voll trainierten KI würden fast alle 64 Schalter an- und ausschalten, während sie das Spiel spielt, und ein komplexes, verrauschtes Muster erzeugen. Aber in diesem eingefrorenen Experiment schaltete die KI nur 1 bis 3 Schalter von den verfügbaren 64 ein. Sie ignorierte die anderen 61 Schalter komplett. Sie brauchte sie nicht. Die KI fand heraus, dass die zufällige, eingefrorene Linse zufällig genau die richtigen wenigen „Kanäle“ an Informationen besaß, um das Spiel zu lösen, also schaltete sie alles andere ab, um Energie zu sparen und sich zu konzentrieren.

Die „Genug reicht“-Regel

Der faszinierendste Teil der Entdeckung ist, dass die Anzahl der Schalter, die die KI benutzte, nicht zufällig war; sie entsprach der Schwierigkeit des Spiels.

Pong: Dies ist ein einfaches Spiel mit nur einem Ball und zwei Schlägern. Die KI benötigte nur 1 bis 3 Neuronen (die winzigen Verarbeitungseinheiten im Gehirn), um es zu meistern.
Breakout: Dieses Spiel beinhaltet einen Ball, einen Schläger und eine Wand aus Ziegelsteinen. Es ist komplexer. Die KI benötigte 19 bis 26 Neuronen.
Space Invaders: Dies ist ein chaotisches Spiel mit Aliens, Kugeln und Schilden. Die KI benötigte etwa 42 Neuronen.

Die Forscher testeten dies, indem sie das Gehirn der KI breiter machten (indem sie ihr mehr Schalter zur Auswahl gaben). Selbst als sie der KI 128 Schalter statt 64 zur Verfügung stellten, nutzte sie immer noch nur etwa die gleiche kleine Anzahl (3 bis 14), um das Spiel zu lösen. Sie nutzte nicht mehr, nur weil sie mehr zur Verfügung hatte. Es scheint, als würde die KI die „wahre Komplexität“ des Spiels erfassen und nur so viel Gehirnleistung verwenden, wie absolut notwendig war.

Warum das wichtig ist (und was es nicht ist)

Sie fragen sich vielleicht: „Hat die KI einfach nur Glück gehabt?“ Die Forscher haben dies gründlich überprüft. Sie fanden heraus, dass, wenn sie die spezifischen wenigen Neuronen, die die KI benutzte, ausschalteten (ein Prozess namens Ablation), die KI sofort vergaß, wie man spielt, und anfing, völlig zufällig zu agieren. Dies bewies, dass jene wenigen Neuronen die ganze schwere Arbeit leisteten. Der Rest des Gehirns war für diese spezifische Aufgabe tatsächlich nutzlos.

Das Paper ist jedoch vorsichtig damit, dies als Allheilmittel für jede Situation zu behaupten. Die Forscher fanden heraus, dass dieser „eingefrorene Linsen“-Trick am besten funktioniert, wenn das Spiel eine klare, reaktive Struktur hat (wie Pong oder Breakout). In einigen Fällen, wie beim Spiel Freeway, konnte die KI einen „Cheat“ finden, indem sie einfach jedes Mal nach oben bewegte, was kein echeres Lernen erforderte. In diesen Fällen war die „Sparsity“ kein Zeichen von Intelligenz, sondern ein Zeichen eines Abkürzens. Aber für die Spiele, bei denen echtes Geschick gefragt war, zwang die eingefrorene zufällige Linse die KI dazu, den effizientesten Weg möglich zu finden.

Das große Ganze: Das Signal im Rauschen finden

In dieser Geschichte geht es um Effizienz. Wir denken oft, dass man eine massive, komplexe Maschine braucht, um ein schwieriges Problem zu lösen. Aber dieses Paper legt nahe, dass, wenn man einer Maschine ein festes, zufälliges Set an Werkzeugen gibt, sie ganz natürlich den einfachsten Weg findet, diese zu nutzen. Es ist, als würde man jemandem einen riesigen Werkzeugkasten mit einer Million zufälliger Werkzeuge geben. Anstatt zu versuchen, sie alle zu benutzen, wird eine kluge Person schnell erkennen: „Oh, ich brauche nur diesen einen Schraubendreher und diesen einen Hammer, um diesen Stuhl zu reparieren.“

Die Forscher bemerkten auch etwas darüber, wann dies geschieht. Die KI entschied, welche Neuronen sie benutzen würde, sehr früh in ihrem Training – manchmal innerhalb der ersten 15 Millionen Schritte. Sie legte diese Entscheidungen fest, lange bevor sie tatsächlich gut im Spiel wurde. Es war, als hätte die KI ihre Teammitglieder bereits am ersten Tag ausgewählt und dann die nächsten 100 Millionen Schritte damit verbracht, einfach nur mit diesem speziellen Team zu üben.

Eine spielerische Analogie: Der Radiotuner

Stellen Sie sich die eingefrorene CNN wie ein Radio vor, das auf einer bestimmten, zufälligen Frequenz feststeckt. Das Signal, das hineinkommt, ist eine Mischung aus Rauschen und Musik. Die meisten Menschen würden denken: „Dieses Radio ist kaputt; ich muss die Antenne reparieren.“ Aber diese KI ist anders. Sie versucht nicht, die Antenne zu reparieren. Stattdessen hört sie dem Rauschen zu und erkennt: „Hey, wenn ich mich nur auf diesen einen winzigen Ausschnitt des Rauschens konzentriere, kann ich die Musik perfekt hören.“ Sie ignoriert den Rest des Rauschens.

In der Welt der KI versuchen wir meistens, bessere Antennen zu bauen (das gesamte Netzwerk zu trainieren). Dieses Paper zeigt, dass es manchmal hilfreich ist, wenn man die KI einfach nur an einer zufälligen Antenne hören lässt; sie wird von Natur aus den einen winzigen Ausschnitt des Signals finden, der zählt, und den Rest ignorieren. Es ist eine Erinnerung daran, dass weniger manchmal mehr ist, und dass die Natur (oder in diesem Fall ein eingefrorenes Zufallsnetzwerk) einen Weg findet, die einfachste Lösung zu finden, wenn wir ihr nur nicht im Weg stehen.

Die Forscher deuten darauf hin, dass dieses Phänomen uns helfen könnte, in Zukunft smartere, kleinere KI-Systeme zu bauen. Anstatt riesige, verschwenderische Netzwerke zu bauen, können wir vielleicht eingefrorene, zufällige Merkmale nutzen, um der KI zu helfen, die „intrinsische Dimension“ eines Problems zu finden – die wahre, kleine Anzahl von Variablen, die tatsächlich wichtig sind. Es ist ein Schritt hin zu einer KI, die nicht nur leistungsstark, sondern auch elegant und effizient ist.

Technisches Resümee: Emergente Sparsität in eingefrorenen, zufälligen CNN-Merkmalsextraktoren für Deep Reinforcement Learning

Problemstellung

Deep-Reinforcement-Learning-Agenten (DRL) verwenden typischerweise überparametrisierte neuronale Netze, um Umgebungen zu lösen, die von einer geringen Anzahl intrinsischer Zustandsvariablen gesteuert werden (z. B. ist Pong durch etwa fünf kontinuierliche Variablen definiert). Diese Überparametrisierung erzeugt ein Spannungsfeld zwischen Kapazität und Struktur, was häufig zu Pathologien wie dem Kollaps des Repräsentationsranks, inaktiven Neuronen und dem Verlust an Plastizität führt. Während Sparsität (Dünnbesetztheit) oft als eine erwünschte Eigenschaft betrachtet wird, die durch Pruning oder Regularisierung konstruiert werden soll, legt die bestehende Literatur nahe, dass Sparsität im Standard-End-to-End-Training nicht natürlich emergiert; vielmehr verteilen dichte Netzwerke Informationen gleichmäßig über die verfügbare Kapazität, wodurch die zugrunde liegende Einfachheit der Aufgabe verschleiert wird.

Diese Arbeit untersucht eine komplementäre Frage: Wie wenig nutzt das Gradientenverfahren, wenn der Merkmalsextraktor fixiert ist? Konkret untersuchen die Autoren, ob Sparsität spontan entsteht, wenn ein Agent lernen muss, eine Policy unter Verwendung eines eingefrorenen, zufällig initialisierten Convolutional Neural Networks (CNN) als Merkmalsextraktor zu nutzen, ohne explizite Sparsitäts-induzierende Zielvorgaben.

Methodik

Architektur und Trainingsprotokoll

Die Studie verwendet die Standard-Nature-DQN-CNN-Architektur (drei Convolutional-Layer, die 3.136-dimensionale Features erzeugen) gefolgt von zwei vollvernetzten Schichten (FC1: 3.136 $\to$ 64; FC2: 64 $\to$ 64) und Policy-/Value-Heads.

Frozen-CNN-Bedingung: Die Gewichte des CNN werden zufällig (Kaiming normal) initialisiert und sofort eingefroren. Nur die FC-Schichten und die Policy-/Value-Heads sind trainierbar. Das CNN fungt als feste Zufallsprojektion vom Pixelraum in einen 3.136-dimensionalen Feature-Raum.
Trainable-CNN-Bedingung (Kontrolle): Alle Schichten werden mit identischen Hyperparametern end-to-end trainiert.
Algorithmen: Die Experimente nutzen Proximal Policy Optimization (PPO) über zwei unabhängige Implementierungen: Stable-Baselines3 (SB3, synchron) und Sample Factory (SF, asynchron).
Umgebungen: Vier Atari 2600-Spiele, die ein Spektrum der intrinsischen Komplexität abdecken: Pong ( $\sim$ 5 Zustandsvariablen), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25) und Space Invaders ( $\sim$ 40+).
Stochastizität: „Sticky Actions“ (Wiederholung der vorherigen Aktion mit einer Wahrscheinlichkeit von $p_{sticky}=0.25$ ) werden eingesetzt, wo angemessen, um das Auswendiglernen fester Aktionssequenzen zu verhindern und eine reaktive Kontrolle sicherzustellen.

Analysemetriken

Aktuelle Neuronenzahl (Active Neuron Count): Ein Neuron wird als „aktiv“ klassifiziert, wenn seine mittlere Post-ReLU-Aktivierung 0,01 überschreitet.
Partizipationsverhältnis (Participation Ratio, PR): Ein Maß für die effektive Dimensionalität, definiert als $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ , wobei $\lambda_i$ die Eigenwerte der Aktivierungs-Kovarianz sind. Dies unterscheidet zwischen einem Satz aktiver Neuronen, die unabhängig sind, versus solchen, die hoch korreliert sind.
Ablationsverifizierung: Der entscheidende empirische Test besteht darin, aktive Neuronen zu maskieren (FC1-Remove) oder inaktive Neuronen zu maskieren (FC1-Keep). Ein Absturz auf zufälliges Spielen beim Entfernen aktiver Neuronen bestätigt einen echten Information Bottleneck.

Wichtige Beiträge und Ergebnisse

1. Emergente Sparsität skaliert mit der Aufgabenkomplexität

Die primäre Erkenntnis ist, dass eingefrorene Zufalls-CNNs in der ersten vollvernetzten Schicht (FC1) spontan extrem spärliche Repräsentationen entwickeln, und die Anzahl der aktiven Neuronen mit der Aufgabenkomplexität korreliert:

Pong (Deterministisch): 1–3 aktive Neuronen von 64 (1,6–4,7 % Auslastung).
Breakout: 19–26 aktive Neuronen.
Space Invaders: $\sim$ 42 aktive Neuronen.
Trainierbare Kontrollen: Im Gegensatz dazu nutzen trainierbare CNNs 55–64 Neuronen (91–100 % Auslastung) unabhängig von der Aufgabenkomplexität.
Breiten-Skalierung: Experimente mit variierender FC1-Breite (32, 64, 128) bestätigen, dass die absolute Anzahl der aktiven Neuronen stabil bleibt und die Aufgabenstruktur widerspiegelt, nicht einen festen Bruchteil der Netzwerkapazität.

2. Kapazitätsbegrenztes Skalieren innerhalb von Spielen

Innerhalb desselben Spiels (Pong) und bei gleichen Hyperparametern erzeugten drei unabhängige Zufallsprojektionen (Seeds) unterschiedliche aktive Neuronenzahlen und entsprechende Leistungsplateaus:

Der 5-Neuron-Seed stagnierte bei +14,1 Belohnung.
Die 7- und 11-Neuron-Seeds erreichten Expertenleistung (+18,4 und +18,7).
Dies deutet darauf hin, dass die „nutzbare Dimensionalität“ der spezifischen Zufallsprojektion ein Limit für die erreichbare Leistung für eine feste Aufgabe und Kapazität setzt.

3. Notwendigkeit und Hinlänglichkeit des aktiven Sets

Ablationsstudien bestätigen, dass das spärliche aktive Set die gesamte aufgabenspezifische Information trägt:

FC1-Remove: Das Entfernen der aktiven Neuronen führt bei allen Seeds und Frameworks zu einem Absturz auf zufälliges Spielen (Belohnung $\approx$ -21,0).
FC1-Keep: Das Beibehalten nur der aktiven Neuronen (Nullsetzen des Rests) bewahrt die volle Kompetenz des Agenten.
Dies gilt auch dann, wenn die Policy Out-of-Distribution evaluiert wird (z. B. deterministisch trainierte Agenten, die mit Sticky Actions evaluiert werden), wobei die Policy zwar versagen kann, die Repräsentation jedoch notwendig bleibt.

4. Frühe Bindung des Bottlenecks (Early Commitment)

Ein longitudinaler Durchlauf über 47 Checkpoints (5M bis $\sim$ 1,6B Schritte) zeigt die zeitliche Dynamik der Bottleneck-Bildung:

Frühe Festlegung (Early Lock): Das aktive Set wird bis 15–30M Schritte festgelegt. Die Notwendigkeit dieser Neuronen (FC1-Remove $\to$ Zufallspiel) ist bereits nach 5M Schritten nachweisbar, noch vor jeglicher Verbesserung der Belohnung.
Verzug (Lag): Die Belohnung wird erst 35–105M Schritte nach der Festlegung des aktiven Sets positiv. Der Verzug vergrößert sich, wenn die Bottleneck-Kapazität enger wird (z. B. benötigt der 5-Neuron-Seed $\sim$ 105M Schritte, um zu lernen, seine komprimierte Repräsentation zu nutzen, während der 11-Neuron-Seed $\sim$ 35M Schritte benötigt).
Trainierbare Agenten: Auch trainierbare Agenten zeigen eine frühe Bindung an ein aktives Set, aber der Inhalt ist qualitativ unterschiedlich: Sie binden ein breites Set an Neuronen (43–64 von 64) statt einer schmalen, spärlichen Auswahl.

5. Strukturelle Unterschiede in den Bottleneck-Signaturen (Breakout)

In Breakout erreichen eingefrorene und trainierbare Agenten kompetitive Belohnungen über strukturell unterschiedliche Bottlenecks:

Eingefrorene Agenten: Nutzen 17–25 aktive Neuronen mit einem hohen Partizipationsverhältnis ( $\sim$ 10–14), was auf ein schmales Set moderat diverser, unabhängiger Features hindeutet.
Trainierbare Agenten: Nutzen 51 aktive Neuronen mit einem niedrigen Partizipationsverhältnis ( $\sim$ 3,6), was auf ein breites Set hoch korrelierter, redundanter Features hindeutet.
Dies verdeutlicht, dass die Anzahl der aktiven Neuronen und das Partizipationsverhältnis komplementäre Indikatoren für die Repräsentationskompression sind.

Bedeutung und Behauptungen

Das Paper behauptet zu demonstrieren, dass Sparsität nicht bloß eine konstruierte Eigenschaft ist, sondern spontan aus dem Standard-Gradientenverfahren entstehen kann, wenn der Merkmalsextraktor fixiert ist. Das eingefrorene Zufalls-CNN fungt als „kompressives Messgerät“, das die intrinsische Dimensionalität des zugrunde liegenden Problems offenbart, ohne explizite Sparsitäts-Mechanismen zu nutzen.

Zentrale Implikationen der Autoren sind:

Aufgabenkomplexitäts-Probing: Ein Training mit eingefrorenem CNN kann ohne explizite Suche die ungefhe Anzahl der unabhängigen Zustandsvariablen aufzeigen, die ein Agent nutzt, was das Curriculum-Design und Pruning-Ziele informiert.
Effizienz: Eingefrorene CNNs ermöglichen einen extrem effizienten Einsatz, bei dem nur der trainierte Readout (z. B. $\sim$ 9.400 Parameter für Pong) gespeichert werden muss, wobei der Zufalls-Seed ausreicht, um die Projektion zu regenerieren.
Theoretische Verbindung: Die Arbeit verbindet Lottery-Ticket-Sparsity, Reservoir Computing und Compressed Sensing. Sie legt nahe, dass Gradientenverfahren auf einer fixierten Zufallsprojektion eine spärliche Auslesung (Sparse Readout) ähnlich wie beim Compressed Sensing durchführen, jedoch getrieben durch RL-Dynamiken statt durch explizite $\ell_1$ -Regularisierung.
Breitere Anwendbarkeit: Die Autoren vermuten (oh-ne es zu beweisen), dass dieser Mechanismus als Werkzeug zur Entdeckung minimaler Feature-Sets in Domänen dienen könnte, in denen die Eingabedimensionalität die intrinsische Aufgaben-Dimensionalität bei weitem übersteigt (z. B. biologische Messungen), sowie als leichtgewichtiges Diagnoseinstrument für die Anpassung der Adaptations-Rank beim Fine-Tuning (analog zu LoRA).

Die Autoren bleiben hinsichtlich der Allgemeingültigkeit ihrer Ergebnisse bescheiden und merken an, dass diese derzeit auf diskrete Atari-Spiele und die Nature-DQN-Architektur beschränkt sind, und dass ein formaler mathematischer Beweis dafür, warum fixierte Zufallsprojektionen spärliche Lösungen garantieren, eine offene Frage bleibt.