Technisch Samenvatting: Deep Neural Variation Spaces

Probleemstelling

Het theoretische begrip van diepte in diepe neurale netwerken blijft incompleet. Hoewel empirisch bewijs suggereert dat diepte het representatievermogen verhoogt, rusten bestaande theoretische kaders grotendeels op parametergebaseerde complexiteitsmaten (bijv. breedte, totaal aantal parameters, of de som van gekwadrateerde gewichten). Deze maten slagen er vaak niet in om de effectieve complexiteit van geleerde predictoren te vangen, met name in overgeparameteriseerde regimes waar het aantal parameters de omvang van de data overstijgt. Bovendien zijn bestaande functieruimtheorieën voor diepe netwerken gefragmenteerd, vaak gespecialiseerd voor homogene activaties (zoals ReLU), en maken zij gebruik van uiteenlopende concepten van complexiteit die moeilijk te vergelijken zijn. Een verenigd perspectief is nodig om onderscheid te maken tussen functionele complexiteit die voortkomt uit de herhaalde compositie van niet-lineariteiten versus complexiteit die louter voortkomt uit samengestelde lineaire herschaling over lagen heen.

Methodologie

De auteurs ontwikkelen een verenigde functieruimtheorie voor diepe volledig verbonden neurale netwerken, getiteld Deep Neural Variation Spaces ($V_L$). De kernmethodologie omvat de volgende stappen:

1. Genormaliseerde Activatiefuncties: Om zowel homogene (bijv. ReLU) als niet-homogene (bijv. GELU, SiLU) activaties uniform te behandelen, introduceren de auteurs een familie van genormaliseerde activatiefuncties $\sigma_s(t) = \sigma(st)/s$ (of $\sigma(st)/s^m$ voor de mate-$m$ homogene functies). Dit scheidt de "vorm" van de feature van de "grootte" ervan, waardoor functies met verschillende schalen een normkosten oplopen die proportioneel is aan hun Lipschitz-constante.
2. Recursieve Constructie: De functieruimtes worden recursief gedefinieerd. De basislaag $B_1$ bestaat uit een woordenboek van affine functies. Vervolglagen $B_L$ worden gedefinieerd als de gesloten absoluut convexe hull van composities $\sigma_s \circ f$, waarbij $f \in B_{L-1}$.
3. Variatienormen: De ruimte $V_L$ is uitgerust met een atomaire (of gauge) norm $\|f\|_{V_L}$, gedefinieerd als het infimum van $c > 0$ waarvoor $f \in cB_L$. Deze norm meet de "kosten" om een functie te representeren als een convexe combinatie van geactiveerde functies uit de vorige laag.
4. Integrale Representaties: De auteurs stellen vast dat functies in $V_L$ integrale representaties toestaan ten opzichte van eindige maten over de ruimte van functies uit de vorige laag en schaalparameters. Dit verbindt de diepe ruimtes met gegeneraliseerde Barron-ruimtes en neurale boomruimtes.
5. Vergelijking met Bestaande Kosten: De voorgestelde norm wordt vergeleken met andere representatiekosten, inclus\n bij de som van gekwadrateerde gewichten (SOSW) en diverse groepsnormen ($\ell_{2,1}$, $\ell_{1,1}$). De auteurs demonstreren dat hun norm een ware Banach-norm is op de functieruimte, terwijl veel bestaande kosten quasi-normen of additieve straffen zijn die niet naar behoren rekening houden met de exponentiële amplificatie van de functieresultaat door laaggebonden herschaling.

Belangrijkste Bijdragen

1. Verenigd Kader voor Algemene Activaties: Het artikel biedt een enkel functieruimte-kader dat toepasbaar is op een brede familie van continue activatiefuncties, inclusief niet-homogene functies. Het bewijst dat voor veel "ReLU-achtige" activaties (Leaky ReLU, GELU, SiLU, etc.), de geïnduceerde functieruimtes norm-equivalent zijn aan de ReLU-ruimte, met expliciete diepteafhankelijke grenzen voor de equivalentieconstanten.
2. Nieuw Representer-Theorema: De auteurs bewijzen een representer-theorema dat aantoont dat oplossingen voor norm-gestraft data-fitting problemen over $V_L$ gerealiseerd worden door breedte-begrensde neurale netwerken. Specifiek, voor homogene activaties is de oplossing een eindig-breedte netwerk; voor niet-homogene activaties kan de oplossing limiterende atomen ($\sigma_0, \sigma_\infty$) bevatten, maar blijft deze breedte-begrensd.
3. Functionele Complexiteitsgrenzen: Nieuwe grenzen worden afgeleid voor de worst-case empirische Rademacher-complexiteit en de $L_p(\mu)$ metrieke entropieën van de eenheidsballen $B_L$. Deze grenzen groeien slechts mild met de diepte (vaak polynomiaal of lineair in $L$, en in veel gevallen onafhankelijk van $L$ voor 1-Lipschitz activaties), wat contrasteert met de exponentiële groei die vaak wordt geïmpliceerd door parameter-aantal-gebaseerde analyses.
4. Diepte-verzadigingsresultaat: In het univariate ReLU-geval bewijzen de auteurs een "diepte-verzadiging" theorema: de diepe eenheidsballen voldoen aan $B_2 \subset B_L \subset 2B_2$ voor alle $L \ge 2$. Dit impliceert dat diepte geen nieuwe functionele diversiteit toevoegt buiten een constante herschaling van de ondiepe klasse.
5. Frequentiecontrole: Als gevolg van het univariate verzadigingsresultaat laten de auteurs zien dat multivariate functies in diepe norm-gecontroleerde ReLU-klassen geen hoge frequenties kunnen vertonen langs een individuele richting van het invoerdomein.

Belangrijkste Resultaten

• Norm-Equivalentie: Voor een breed scala aan activaties (Leaky ReLU, GELU, SiLU, Mish, etc.), zijn de diepe variatiesruimtes $V_L^\sigma$ norm-equivalent aan de ReLU-ruimte $V_L^{\text{ReLU}}$. Echter, de equivalentieconstanten kunnen met de diepte groeien voor niet-homogene activaties.
• Complexiteitsgrenzen:
  • Rademacher-complexiteit: De complexiteit groeit maximaal als $\sqrt{L}$ (of $L$ voor niet-1-Lipschitz activaties) tot polylogaritmische factoren, en is onafhankelijk van de netwerkbreedte.
  • Metrieke Entropie: De metrieke entropie van de eenheidsballen $B_L$ is vergelijkbaar begrensd en groeit mild met de diepte. Ondergrenzen afgeleid van ondiepe klassen ($B_2$) tonen aan dat de kloof tussen boven- en ondergrenzen klein is voor hoge invoerdimensies.
• Diepte-verzadiging (Univariata ReLU): Het artikel bewijst dat voor univariate ReLU-netwerken, het verhogen van de diepte de verzameling representeerbare functies niet uitbreidt voorbij een constante factor (specifiek, een factor van 2) van de ondiepe klasse $B_2$. Functies zoals de Telgarsky-zaagtandfunctie, die vaak worden aangehaald als bewijs voor de kracht van diepte, vereisen exponentieel grote gewichten (in de functieruimte-norm) om gerepresenteerd te worden, wat het voordeel van diepte effectief tenietdoet wanneer de complexiteit wordt gecontroleerd door de norm in plaats van het aantal neuronen.
• Frequentiebeperkingen: Functies in multivariate diepe ReLU-klassen moeten lage frequenties vertonen langs elke lijn in het invoerdomein. Als de restrictie van een functie tot een lijn de tweede-afgeleide totale variatie overschrijdt met een specifieke constante, kan deze functie niet worden gerepresenteerd in een enkele diepe norm-gebonden ReLU-klasse.

Betekenis en Claims

Het artikel claimt dat een functieruimte-perspectief nieuwe structurele inzichten biedt in de relatie tussen diepte en complexiteit. De primaire betekenis ligt in het aantonen dat veel "diepte-scheidings"-resultaten — waarbij wordt beweerd dat diepe netwerken complexe of hoogfrequente functies efficiënter kunnen representeren dan ondiepe netwerken — steunen op representatiekosten (zoals parameteraantal of SOSW) die er niet in slagen de samengestelde herschaling van gewichten over de lagen heen te bestraffen.

Wanneer de complexiteit wordt gecontroleerd door een ware functieruimte-norm (die de grootte van de functieresultaat accuraat meeweegt), beargumenteren de auteurs dat de structurele voordelen van diepte veel beperkter zijn dan voorheen gedacht. Specifiek:

• Diepte genereert inherent geen nieuwe functionele vormen in het univariate ReLU-geval; het staat slechts herschaling toe.
• Het vermogen van diepe netwerken om hoogfrequente functies te representeren, is afhankelijk van het toestaan dat gewichten exponentieel groeien met de diepte, wat wordt bestraft door de voorgestelde norm.
• De inductieve bias van norm-gecontroleerde diepe netwerken is één van frequentiecontrole langs alle richtingen, in plaats van het vermogen om willekeurige hoogfrequente oscillaties te generen.

De auteurs concluderen dat hoewel diepte in specifieke contexten voordelen kan bieden, deze voordelen verdwijnen wanneer de complexiteit van het netwerk wordt gemeten door een norm die de magnitude van de functie correct controleert. Dit suggereert dat de "expressiviteit" van diepte vaak een artefact is van onbeperkte parameter-schaling in plaats van de herhaalde toepassing van niet-lineariteit.