🧬 biology

Growing a Neural Network in Breadth, Depth, and Time

Dieser Artikel stellt einen differenzierbaren Rahmen zur Schulung rekurrenter convolutionaler neuronaler Netze vor, der gemeinsame Kosten für Breite, Tiefe und Zeit optimiert und aufzeigt, wie Ressourcenbeschränkungen diverse rechnerische Architekturen prägen und mit menschlichen Reaktionszeiten korrelieren.

Ursprüngliche Autoren: Eivinas Butkus, Kedar Garzón Gupta, Nikolaus Kriegeskorte

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eivinas Butkus, Kedar Garzón Gupta, Nikolaus Kriegeskorte

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Team von Arbeitern aufzubauen, um ein Puzzle zu lösen. Normalerweise entscheiden Sie genau, wie viele Arbeiter Sie haben, wie viele davon Experten sind und wie lange sie arbeiten dürfen, bevor Sie ihre Antworten überprüfen. Sie könnten sagen: „Wir haben 100 Arbeiter, 10 Führungsebenen und 5 Minuten Zeit, um fertig zu werden."

Dieser Artikel schlägt einen anderen Ansatz vor. Anstatt dass Sie die Regeln festlegen, geben Sie dem Team ein Budget und ein Ziel vor und lassen Sie es seine eigene Struktur herausfinden.

Hier ist die einfache Aufschlüsselung dessen, was die Forscher taten:

Die drei Ressourcen: Breite, Tiefe und Zeit

Die Forscher behandelten drei Dinge als „Kosten", die die KI tragen muss:

Breite (Width): Denken Sie daran als an die Anzahl der Arbeiter im Team. Mehr Arbeiter bedeuten mehr Personen, die gleichzeitig das Problem betrachten.
Tiefe: Denken Sie daran als an die Anzahl der Besprechungen oder Führungsebenen. Ein „tiefes" Team hat viele Schritte, in denen Informationen auf- und abwärts weitergegeben werden. Ein „flaches" Team hat weniger Schritte.
Zeit: Denken Sie daran als daran, wie lange das Team über ein spezifisches Problem nachdenkt, bevor es eine Antwort gibt.

Die Idee des „unendlichen Gitters"

Stellen Sie sich ein riesiges, unendliches Gitter potenzieller Arbeiter, Besprechungen und Denkzeit vor.

Normalerweise wählen wir eine kleine, feste Box aus diesem Gitter aus und sagen: „Das ist unsere KI."
In diesem Artikel starteten die Forscher mit einer riesigen Box (ein großes Netzwerk) und hängten ein „Preisschild" an jeden zusätzlichen Arbeiter, jede zusätzliche Besprechung und jede zusätzliche Sekunde Denkzeit.

Sie sagten zur KI: „Sie müssen die richtige Antwort finden, aber jedes Mal, wenn Sie einen Arbeiter, eine Besprechung oder eine Sekunde Zeit verwenden, verlieren Sie Punkte. Versuchen Sie, die beste Punktzahl zu erzielen, während Sie die geringste Anzahl an Punkten ausgeben."

Was passierte?

Da die KI versuchte, Punkte zu sparen, begann sie, sich selbst zu „beschneiden". Sie entließ die Arbeiter, die sie nicht brauchte, übersprang die Besprechungen, die nicht halfen, und hörte früher auf zu denken, wenn die Antwort offensichtlich war.

Hier sind die überraschenden Erkenntnisse, die sie fanden:

1. Sie können Ressourcen wie Währung tauschen
Die KI entdeckte, dass es nicht darauf ankam, wie sie das Problem löste, solange sie die richtige Antwort erhielt.

Wenn Sie sie zwangen, weniger Arbeiter zu haben (weniger Breite), fügte sie natürlich mehr Besprechungen hinzu (mehr Tiefe), um dies auszugleichen.
Wenn Sie sie zwangen, weniger Besprechungen zu haben, stellte sie mehr Arbeiter ein (mehr Breite).
Sie konnte auch Zeit gegen Raum tauschen. Wenn sie nicht viele Arbeiter einsetzen konnte, dachte sie einfach länger nach.
Die Analogie: Es ist wie das Kochen einer Mahlzeit. Wenn Sie eine kleine Küche haben (weniger Raum), könnten Sie länger zum Kochen brauchen (mehr Zeit). Wenn Sie eine riesige Küche haben, können Sie schneller kochen. Die KI lernte, ihre „Küchengröße" und ihre „Kochzeit" automatisch auszugleichen.

2. Die KI lernte, „intensiver zu denken", wenn Dinge verwirrend waren
Die Forscher testeten die KI mit Bildern, die teilweise verdeckt waren (okkludiert).

Wenn das Bild klar war, löste die KI es schnell.
Wenn das Bild unübersichtlich oder verdeckt war, entschied die KI spontan, länger nachzudenken. Sie musste nicht angewiesen werden, dies zu tun; der Druck der „Zeitkosten" ließ sie erkennen, dass es sich lohnte, zusätzliche Zeit zu investieren, um bei einem schwierigen Bild die richtige Antwort zu erhalten.

3. Die Denkzeit der KI entsprach menschlichen Reaktionszeiten
Dies war der überraschendste Teil. Die Forscher verglichen die „Denkzeit" der KI mit der Zeit, die Menschen benötigen, um Objekte auf denselben Bildern zu erkennen.

Obwohl der KI niemals menschliche Daten gezeigt wurden oder gesagt wurde, wie schnell Menschen denken, dauerte es länger, die schwierigen Bilder zu lösen, die auch Menschen schwierig fanden.
Die Analogie: Es ist wie zwei verschiedene Personen, die einen Test machen. Obwohl sie auf unterschiedliche Weise gelernt haben, machten beide bei derselben schwierigen Frage eine lange Pause und beantworteten die einfachen Fragen schnell. Das „Gehirn" der KI entwickelte sich natürlich so, dass es die menschliche Geschwindigkeit nachahmte.

4. Schwierigere Aufgaben lassen die KI wachsen
Als sie der KI eine einfachere Aufgabe gaben (wie das Erkennen einfacher Zahlen), blieb sie klein und einfach. Als sie ihr eine schwierigere Aufgabe gaben (wie das Erkennen komplexer Tiere), wuchs sie natürlich größer, nutzte mehr Arbeiter und mehr Besprechungen, obwohl der „Preis" für diese Ressourcen gleich blieb.

Das große Ganze

Die Hauptaussage ist, dass Einschränkungen Intelligenz formen. Indem die KI Grenzen für Raum (Breite/Tiefe) und Zeit setzte, wurde sie nicht einfach schlechter; sie fand einzigartige, effiziente Wege, Probleme zu lösen, die sich sehr voneinander unterschieden, aber gleichermaßen gut waren.

Die Forscher schlagen vor, dass dies hilft zu erklären, warum Gehirne in der Natur so unterschiedlich aussehen. Genau wie ihre KI haben sich möglicherweise verschiedene Tiere unterschiedliche Gehirnstrukturen entwickelt (einige breit, einige tief, einige schnell), weil sie in ihren Umgebungen unterschiedlichen „Budgets" für Raum und Zeit gegenüberstanden.

Technische Zusammenfassung: Wachstum eines neuronalen Netzwerks in Breite, Tiefe und Zeit

Problemstellung

Intelligente Systeme, sowohl biologische als auch künstliche, operieren unter kritischen räumlichen und zeitlichen Ressourcenbeschränkungen. In biologischen Gehirnen verursachen zusätzliche Neuronen metabolische, Wartungs- und Verkabelungskosten, während Geschwindigkeit für das Überleben entscheidend ist. Im Bereich der künstlichen Intelligenz stehen Ingenieure vor analogen Druckverhältnissen, was die Forschung zu Modellkomprimierung, Architektursuche und adaptiver Berechnung vorantreibt.

Traditionell werden die drei primären Ressourcen – Breite (Anzahl der Kanäle/Einheiten), Tiefe (Anzahl der Schichten) und Zeit (Anzahl der Verarbeitungsschritte) – als feste Hyperparameter behandelt, die mittels Gittersuche oder manueller Feinabstimmung bestimmt werden. Während frühere Arbeiten diese einzeln adressierten (z. B. Beschneiden für Breite/Tiefe oder adaptive Berechnungszeit), hat bisher kein Rahmenwerk alle drei gemeinsam innerhalb eines einzigen differenzierbaren Systems optimiert. Dieser Beitrag schließt diese Lücke, indem er eine normative Darstellung definiert, wie Ressourcenbeschränkungen neuronale Architekturen prägen, mit dem Ziel, die Trade-offs und das organische Wachstum von Berechnungsgraphen unter variierenden Druckbedingungen zu verstehen.

Methodik

Rahmenwerk für Mehr-Ressourcen-Kosten (MRC)

Die Autoren schlagen ein Rahmenwerk vor, in dem ein neuronales Netzwerk als endliche Teilmenge eines unendlichen Gitters konzipiert wird, das sich in Breite, Tiefe und Zeit erstreckt. Das Netzwerk wird trainiert, um eine zusammengesetzte Verlustfunktion zu minimieren, die sowohl die Aufgabenleistung als auch die Ressourcennutzung gemeinsam optimiert:

$L = \lambda_{errors}L_{errors} + \lambda_{breadth}L_{breadth} + \lambda_{depth}L_{depth} + \lambda_{time}L_{time}$

$L_{errors}$ : Kreuzentropieverlust, normalisiert durch $\log K$ (Anzahl der Klassen), um Vergleichbarkeit über Datensätze hinweg sicherzustellen.
$L_{breadth}$ : Ein differenzierbarer Kostenfaktor, der Gewichtsabbauprozesse anwendet, skaliert nach dem Kanalrang. Kanäle werden nach der durchschnittlichen Gewichtsgröße sortiert; niedriger gerankte Kanäle werden stärker bestraft, was das Netzwerk ermutigt, nützliche Merkmale in weniger Kanälen zu konsolidieren.
$L_{depth}$ : Ein differenzierbarer Kostenfaktor, der Gewichtsabbauprozesse anwendet, skaliert nach dem Schichtenindex. Tiefere Schichten werden stärker bestraft, was das Netzwerk ermutigt, Aufgaben bei Möglichkeit mit weniger Schichten zu lösen.
$L_{time}$ : Der erwartete normalisierte Zeitschritt unter den Zeitselektionsgewichten. Dies ermöglicht dem Netzwerk, die Verarbeitungszeit dynamisch zuzuteilen.

Die Koeffizienten $\lambda$ fungieren als „Preise" für Ressourcen. Durch Variation dieser Preise erkunden die Autoren den Trade-off-Raum.

Modellarchitektur

Die Implementierung nutzt ein rekurrentes Convolutional Neural Network (RCNN) mit $L=6$ Schichten und $T=5$ Zeitschritten.

Verbindungen: Zu jedem Zeitschritt erhält jede Schicht drei Eingänge: bottom-up (feedforward von Schicht $i-1$ ), lateral (rekurrent innerhalb von Schicht $i$ ) und top-down (Feedback von Schicht $i+1$ ).
Side Readout: Eine lineare Auslesung wird zu jedem Zeitschritt und jeder Schicht angewendet, was dem Modell den Zugriff auf Informationen aus jeder Tiefe ermöglicht.
Zeitselektion: Das Modell lernt, den Beitrag jedes Zeitschritts zur endgültigen Vorhersage zu gewichten. Zwei Varianten werden getestet:
- Fixiert: Ein einziger Satz von Gewichten, der über alle Eingaben hinweg geteilt wird.
- Adaptiv: Gewichte, die über ein kleines MLP basierend auf dem Eingabebild berechnet werden, was dem Modell erlaubt, bei schwierigen Eingaben mehr Zeit zu investieren.
Beschneiden (Pruning): Um die effektive Ressourcennutzung zu quantifizieren, identifiziert ein nachgelagertes Beschneidungsverfahren das kleinste Teilnetzwerk, das 98 % der über dem Zufall liegenden Genauigkeit bewahrt, und definiert „genutzte Kanäle", „genutzte Schichten" und „genutzte Zeit".

Experimenteller Aufbau

Experimente wurden hauptsächlich auf CIFAR-10 durchgeführt, mit Vergleichen über MNIST und Tiny ImageNet hinweg, um die Aufgabenkomplexität zu testen. Die Autoren variierten $\lambda$ -Werte über sechs Größenordnungen hinweg, um ein Gitter von Ressourcenpressionen zu generieren.

Wichtige Ergebnisse

1. Fungibilität von Ressourcen

Die Studie zeigt, dass Breite, Tiefe und Zeit fungibel sind.

Breite vs. Tiefe: Flache, breite Netzwerke können eine Genauigkeit erreichen, die mit schmalen, tiefen Netzwerken vergleichbar ist. Der Trade-off ist nicht linear; verschiedene Kombinationen von Ressourcen führen zu ähnlichen Leistungsstufen.
Gemeinsame Optimierung: Bei der gleichzeitigen Optimierung aller drei Ressourcen erstreckt sich die Pareto-optimale Menge von Modellen über alle drei Dimensionen. Ein Modell kann einen Mangel an einer Ressource durch die Nutzung mehrerer anderer Ressourcen kompensieren.

2. Entstehung adaptiver Zeitzuteilung

Unter Zeitdruck übertrifft der Mechanismus der adaptiven Zeitselektion die feste Zuteilung signifikant.

Eingabeabhängige Verarbeitung: Das Modell weist spontan mehr Zeitschritte Eingaben zu, die verdeckt oder mehrdeutig sind, obwohl es niemals auf verdeckten Daten trainiert wurde.
Korrelation mit menschlichem Verhalten: Die Zeit, die das Modell für bestimmte Bilder verbringt, korreliert signifikant mit menschlichen Reaktionszeiten ( $\rho = 0.299$ ) und menschlicher Urteilsunsicherheit (Entropie) auf dem CIFAR-10H-Datensatz. Diese Korrelation entsteht ohne Training mit menschlichen Daten, was darauf hindeutet, dass alleinige Ressourcenoptimierung menschliche Verarbeitungs dynamiken hervorbringen kann.

3. Aufgabenkomplexität und organisches Wachstum

Wenn Ressourcenpressionen konstant gehalten werden, die Aufgabenkomplexität jedoch zunimmt (MNIST $\to$ CIFAR-10 $\to$ Tiny ImageNet), wachsen Netzwerke organisch in Breite und Tiefe.

Komplexere Aufgaben führen zu dichteren Netzwerken mit mehr aktiven Kanälen und Schichten.
Effizienz: Die Ressourceneffizienz (normalisierte Leistung pro Ressourceneinheit) ist für MNIST am höchsten und für Tiny ImageNet am niedrigsten, was darauf hindeutet, dass schwierigere Aufgaben abnehmende Erträge bei der Ressourceninvesition liefern.

4. Qualitative Unterschiede in Lösungen

Während Ressourcen hinsichtlich der Genauigkeit fungibel sind, sind sie nicht identisch darin, wie sie Probleme lösen.

Konsistenz der Fehler: Flache Modelle machen qualitativ andere Fehler als tiefe Modelle, was darauf hindeutet, dass Tiefe die Lösungsstrategie verändert und nicht nur die Kapazität.
Merkmalsnutzung: Stark eingeschränkte Modelle (niedrige Breite/Tiefe) verlassen sich auf niedrigstufige, räumlich verteilte Merkmale (hohe Entropie der Attributionskarten), während weniger eingeschränkte Modelle auf hochstufige semantische Merkmale achten.

Bedeutung und Behauptungen

Der Beitrag beansprucht die erste gemeinsame Erkundung von Trade-offs zwischen Breite, Tiefe und Zeit innerhalb eines einzigen differenzierbaren Rahmenwerks. Seine primären Beiträge sind:

Eine normative Darstellung der Architektur: Das Rahmenwerk bietet einen Weg zu verstehen, wie Ressourcenbeschränkungen neuronale Architekturen prägen und verbindet ingenieurtechnische Optimierung mit Fragen des Gehirndesigns in den Neurowissenschaften.
Organische Anpassung: Es zeigt, dass adaptive Zeitzuteilung und Ressourcenaustausch spontan durch Backpropagation entstehen können, wenn Kostenterme definiert sind, anstatt eine explizite Architektursuche oder nachgelagertes Beschneiden zu erfordern.
Biologische Plausibilität: Die Erkenntnis, dass ressourcenbeschränkte Modelle spontan menschliche Reaktionszeiten und Unsicherheit nachahmen, legt nahe, dass die Vielfalt der in der Natur gefundenen neuronalen Lösungen durch variierende ökologische Druckverhältnisse auf räumliche und zeitliche Ressourcen erklärt werden kann.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass die Netzwerke klein bis mittelgroß sind und die lineare Kombination von Kosten komplexe biologische Interaktionen (z. B. multiplikative Beschränkungen zwischen Geschwindigkeit und Genauigkeit) möglicherweise nicht erfasst. Sie schlagen zukünftige Arbeiten vor, um das Rahmenwerk zu erweitern und die „ökologischen Nischen" neuronaler Architekturen in der Natur zu untersuchen.