There Will Be a Scientific Theory of Deep Learning

Titel: Er komt een wetenschappelijke theorie van Deep Learning

Auteurs: Jamie Simon et al. (UC Berkeley, Harvard, NYU, Flatiron Institute, etc.)
Publicatiedatum: April 2026 (arXiv)

1. Het Probleem

Deep learning is momenteel de meest krachtige, maar ook de meest ondoorgrondelijke ("black-box") methode binnen het machine learning-landschap. Hoewel neurale netwerken supermenselijke prestaties leveren op een breed scala aan taken, ontbreekt er een verenigd wetenschappelijk raamwerk dat uitlegt waarom en hoe dit werkt.

• Huidige staat: Training van neurale netwerken gebeurt grotendeels via trial-and-error en empirische regels, niet via eerste principes.
• De uitdaging: Bestaande klassieke theorieën (zoals statistische leertheorie en convex optimalisatie) zijn ontoereikend voor moderne, diepe, niet-convexe en overgeparameteriseerde systemen. Deze theorieën kunnen de opmerkelijke generalisatievermogens en de gestructureerde interne representaties van grote modellen niet verklaren.
• De kernvraag: Is het mogelijk om een fundamentele, voorspellende wetenschappelijke theorie te ontwikkelen die de dynamica van het leerproces, de verborgen representaties en de uiteindelijke prestaties van neurale netwerken beschrijft?

2. Methodologie: "Learning Mechanics"

De auteurs pleiten ervoor dat de opkomende theorie van deep learning het beste kan worden beschouwd als een mechanica van het leerproces ("learning mechanics"). Dit concept leunt op analogieën met de natuurkunde (zoals klassieke mechanica, statistische mechanica en kwantummechanica).

De methodologie omvat de volgende pijlers:

• Dynamisch perspectief: In plaats van alleen statische eigenschappen te analyseren, richt de theorie zich op de dynamica van het trainingsproces (hoe het model beweegt door de parameter-ruimte).
• Macroscopische statistieken: De theorie streeft naar het beschrijven van ruwe, geaggregeerde statistieken (zoals verliescurves, scherpheid van het landschap) in plaats van het volgen van elke individuele parameter.
• Eerste principes: De theorie moet wiskundig zijn, gebaseerd op eerste principes, en kwantitatieve, falsifieerbare voorspellingen doen die empirisch verifieerbaar zijn.
• Vijf bewijslijnen: De auteurs identificeren vijf groeiende onderzoekstakken die samen een mechanica vormen:
  1. Oplosbare idealisaties: Vereenvoudigde modellen (zoals diepe lineaire netwerken) die exact oplosbaar zijn.
  2. Hanteerbare limieten: Limieten zoals oneindige breedte of diepte die fundamentele inzichten bieden.
  3. Eenvoudige empirische wetten: Macroscopische wetten (zoals scalingswetten) die complexe systemen beschrijven.
  4. Hyperparameter-theorie: Het ontrafelen van hyperparameters om de onderliggende dynamische systemen te begrijpen.
  5. Universele gedragingen: Fenomenen die consistent optreden over verschillende architecturen en taken heen.

3. Belangrijkste Bijdragen en Resultaten

A. Het concept "Learning Mechanics"

De auteurs definiëren zeven desiderata (wensen) voor deze nieuwe theorie:

1. Fundamenteel: Gebaseerd op eerste principes.
2. Wiskundig: Duidelijke, kwantitatieve uitspraken.
3. Voorspellend: Onderbouwd door experimenten.
4. Alomvattend: Beschrijft training, representaties en gewichten in één beeld.
5. Intuïtief: Eenvoudige inzichten boven technische complexiteit.
6. Nuttig: Leidt tot betere hyperparameter-tuning, dataset-design en AI-veiligheid.
7. Bescheiden: Erkent de grenzen van toepasbaarheid.

B. Vijf bewijslijnen voor een opkomende theorie

1. Oplosbare settings:

   • Lineaire netwerken: Toont "greedy low-rank bias" (het leren van eenvoudige functies eerst).
   • Linearisatie in parameters (NTK): Het Neural Tangent Kernel (NTK) beschrijft het trainingsgedrag van netwerken in de "lazy" regime, maar mist feature learning.
   • Niet-lineaire modellen: Nieuwe modellen (zoals multi-index modellen) beginnen niet-lineaire dynamica en feature learning wiskundig te vatten.

2. Inzichtelijke limieten:

   • Oneindige breedte: Leidt tot een dichotomie tussen "lazy" (kernel-regime, geen feature learning) en "rich" (feature learning, waarbij interne representaties veranderen).
   • Oneindige diepte: Verschillende schalingen leiden tot verschillende dynamische systemen (bijv. neurale ODE's vs. stochastische differentiaalvergelijkingen).
   • Discretisatie-hypothese: Eindige netwerken worden gezien als discretisaties van oneindige, continue systemen.

3. Empirische wetten:

   • Neural Scaling Laws: Testverlies volgt voorspelbare machtswetten op basis van compute, datasetgrootte en modelgrootte.
   • Edge of Stability: De scherpheid van het verlieslandschap stabiliseert rond $2/\eta$ (waarbij $\eta$ de leersnelheid is), wat leidt tot oscillaties maar stabiel leren.
   • Neural Collapse: Classificatienetwerken convergeren naar een geometrisch ideale configuratie (reguliere simplex) aan het einde van training.

4. Hyperparameter-theorie:

   • Linear Scaling Rule: De relatie tussen leersnelheid en batchgrootte kan worden verklaard via stochastische differentiaalvergelijkingen (SDE).
   • $\mu$P (Maximal Update Parameterization): Een nieuwe parameterisatie die het mogelijk maakt om hyperparameters te transfereren van kleine naar grote modellen, omdat de optimale instellingen onafhankelijk worden van de breedte.

5. Universele fenomenen:

   • Verschillende architecturen (bijv. CNN's vs. Transformers) en modaliteiten (beeld vs. taal) tonen opmerkelijke overeenkomsten in inductieve bias en interne representaties ("Platonic representations"), wat suggereert dat de data-structuur de leerprocessen domineert.

C. Relatie met Mechanistic Interpretability

De auteurs benadrukken een symbiotische relatie tussen Learning Mechanics (de "fysica" van deep learning) en Mechanistic Interpretability (de "biologie").

• Mechanistic Interpretability zoekt naar menselijk begrijpbare circuits en features.
• Learning Mechanics biedt de wiskundige fundamenten om te verklaren hoe en waarom deze circuits tijdens training ontstaan.
• Samen kunnen ze de "black box" openen: de fysica verklaart de dynamica, de biologie verklaart de semantische betekenis.

4. Significantie en Toekomstperspectief

• Wetenschappelijke impact: Het verschuift deep learning van een empirische discipline naar een echte wetenschap, vergelijkbaar met de ontwikkeling van thermodynamica of aerodynamica. Het kan inzicht geven in biologische intelligentie en neurowetenschap.
• Praktische impact: Een mature theorie zou trial-and-error vervangen door voorspelbare principes, waardoor het ontwerp van modellen, optimalisatie en schaling betrouwbaarder wordt.
• AI-veiligheid: Een fundamentele theorie is essentieel voor het begrijpen, karakteriseren en reguleren van krachtige AI-systemen. Zonder een duidelijke beschrijving van de mechanismen is effectieve controle moeilijk.
• Open richtingen: De paper identificeert tien cruciale open vragen voor de komende jaren, waaronder het vinden van oplosbare niet-lineaire modellen, het voorspellen van scalingswetten-exponenten, en het definiëren van "features" op een wiskundig strikte manier.

Conclusie:
De auteurs concluderen dat een wetenschappelijke theorie van deep learning niet alleen mogelijk is, maar dat de eerste stukjes ervan al zichtbaar zijn. Door de focus te leggen op de "mechanica" van het leerproces—de interactie tussen data, architectuur en optimalisatie—kan de gemeenschap een verenigd, voorspellend raamwerk ontwikkelen dat de complexiteit van moderne AI-systemen ontrafelt.