Technische Samenvatting: Signaalpropagatie in Lange-afstand Lineaire Recurrenties

Probleemstelling

Het begrijpen van signaalpropagatie in neurale netwerken is fundamenteel voor het aanpakken van het probleem van verdwijnende/exploiterende signalen, wat de training van diepe architecturen belemmert. Hoewel bestaande theoretische kaders sterk vertrouwen op de limiet van oneindige breedte ($n \to \infty$), waarbij mean-field-benaderingen hanteerbare signaalstatistieken opleveren, slagen deze theorieën er vaak niet in het gedrag van realistische netwerken die opereren bij eindige breedte te vangen.

Deze kloof is vooral acuut voor recurrente modellen (zoals Lineaire Recurrente Eenheden en State-Space Modellen) die zijn ontworpen voor taken met lange reeksen. In deze modellen wordt dezelfde gewichtsmatrix $W$ herhaaldelijk toegepast over tijdstappen $t$. De centrale vraag die wordt behandeld is: Hoe lang blijft de benadering van oneindige breedte accuraat wanneer de recurrente diepte $t$ samen met de breedte $n$ groeit? Specifiek: op welke diepteschaal accumuleren eindige-breedte-effecten voldoende om standaard initialisatieschema's (zoals Glorot) en voorspellingen van oneindige breedte ongeldig te maken?

Methodologie

Het artikel analyseert lineaire recurrente modellen geïnitieerd met i.i.d. geschikte complexe Gaussische ingangen met variantie $1/n$. De beschouwde modellen zijn:

1. Lineaire Recurrente Eenheid (LRU): $h^{(t)} = Wh^{(t-1)} + x^{(t)}$
2. Lineair Recurrent Netwerk (RNN): $h^{(t)} = Wh^{(t-1)}$ (zonder sequentiële invoer, $h^{(t)} = W^t x^{(0)}$)

De auteurs definiëren signaalenergieën als de genormaliseerde verwachte kwadratische normen van de verborgen toestanden:
$$S_{n,t} = \frac{1}{n}\mathbb{E}[\|h^{(t)}_{LRU}\|^2], \quad Q_{n,k} = \frac{1}{n}\mathbb{E}[\|h^{(k)}_{RNN}\|^2]$$

Theoretische Afleiding

Om exacte formules voor eindige breedte af te leiden, maken de auteurs gebruik van een combinatie van theorie van willekeurige matrices en combinatorische analyse:

1. Reductie van Trace-momenten: De signaalenergieën worden gereduceerd tot de evaluatie van het trace-moment voor eindige breedte $\frac{1}{n}\mathbb{E}[\text{tr}((W^k)^* W^k)]$.
2. Wick-ontwikkeling: Met behulp van de stelling van Wick voor complexe Gaussische variabelen wordt het trace-moment uitgebreid tot een som over permutaties $\sigma \in S_k$.
3. Combinatorische telling: De bijdrage van elke permutatie wordt bepaald door het aantal "vrije indices" (ongeachte equivalentieklassen) na toepassing van Kronecker-delta-beperkingen. Deze telling blijkt exact te corresponderen met het aantal cycli in een specifieke commutator van permutaties, $[\tau^{-1}, \tilde{\sigma}^{-1}]$, waarbij $\tau$ een lange cyclus is.
4. Exacte Formules: Door gebruik te maken van bekende resultaten over cyclustellingen van willekeurige permutaties (specifiek gerelateerd aan Hultman-getallen en het werk van Dubach), leiden de auteurs exacte gesloten-vorm expressies af voor $S_{n,t}$ en $Q_{n,k}$ die stijgende en dalende faculteiten bevatten.

Belangrijkste Bijdragen

1. Exacte Formules voor Eindige Breedte

Het artikel levert de eerste exacte gesloten-vorm formules voor signaalpropagatie in lineaire recurrenties met eindige breedte en complexe Gaussische initialisatie. Deze formules (Stelling 2.1) zijn geldig voor willekeurige gezamenlijke schalingen van diepte en breedte, en gaan verder dan de standaard limiet van oneindige breedte.

2. Identificatie van Drie Schalingsregimes

Met behulp van de exacte formules karakteriseren de auteurs drie verschillende regimes die de signaalpropagatie regeren, gebaseerd op de relatie tussen diepte ($t$ of $k$) en breedte ($n$):

• Subkritisch Regime ($t, k = o(\sqrt{n})$):

  • De benadering van oneindige breedte blijft accuraat.
  • Signaalenergieën gedragen zich als $Q_{n,k} \to 1$ en $S_{n,t} \sim t+1$.
  • Standaard Glorot-initialisatie blijft stabiel.
  • Recurrente en feedforward signaalpropagatie zijn in dit regime asymptotisch niet van elkaar te onderscheiden.

• Kritisch Regime ($t, k \sim c\sqrt{n}$):

  • Niet-verwaarloosbare afwijkingen van voorspellingen voor oneindige breedte treden op.
  • Een niet-triviale gezamenlijke schalingslimiet verschijnt.
  • Voor RNN's: $Q_{n,k} \to \frac{2}{c^2}\sinh(\frac{c^2}{2})$.
  • Voor LRUs: $S_{n,t} \sim \sqrt{n} \int_0^{\tilde{c}} \frac{2}{x^2}\sinh(\frac{x^2}{2}) dx$, wat exponentieel groeit met de schalingsparameter.
  • Betekenis: Dit identificeert $\sqrt{n}$ als de precieze drempel waar Glorot-initialisatie instabiel wordt in lange-afstand lineaire recurrenties.

• Supercritisch Regime ($t, k \gg \sqrt{n}$):

  • Eindige-breedte-effecten domineren, wat leidt tot signaalexplosie.
  • In het sublineaire bereik ($\sqrt{n} \ll t \ll n$) wordt signaalgroei exponentieel in diepte: $S_{n,t} \sim \frac{n^2}{t^3} \exp(\frac{t^2}{2n})$.
  • Er bestaat geen eindige gezamenlijke schalingslimiet; signalen divergeren snel.

3. Onderscheid tussen Recurrente en Feedforward Architecturen

Het artikel demonstreert dat eindige-breedte-effecten veel sneller accumuleren in recurrente modellen dan in feedforward netwerken.

• In feedforward netwerken worden correcties voor eindige breedte significant wanneer de diepte lineair schaalt met de breedte ($L \sim cn$).
• In recurrente netwerken worden deze effecten zichtbaar op de wortelschaal ($t \sim c\sqrt{n}$).
  Dit verklaart waarom recurrente modellen empirisch vatbaarder zijn voor instabiliteit dan feedforward-modellen, een onderscheid dat onzichtbaar is voor standaard theorieën van oneindige breedte.

Resultaten en Validatie

• Theoretische Limieten: De afgeleide formules kwantificeren precies de ineenstorting van de benadering van oneindige breedte. Ze tonen aan dat standaard initialisatieschema's, hoewel stabiel in de zin van oneindige breedte, falen om signalen te stabiliseren zodra de recurrente diepte de $\sqrt{n}$-schaal overschrijdt.
• Reële versus Complexe Gewichten: Hoewel de belangrijkste resultaten zijn afgeleid voor complexe gewichten (veelvoorkomend in moderne SSM's), stelt het artikel vast dat reële Gaussische gewichten zelfs grotere signaalenergieën vertonen ($Q^R_{n,k} \ge Q_{n,k}$), wat impliceert dat de voor complexe gewichten afgeleide instabiliteitsdrempels ook van toepassing zijn (en conservatief zijn) voor reële gewichten.
• Numerieke Validatie: Monte Carlo-experimenten bevestigen de theoretische voorspellingen. De empirische signaalenergieën sluiten nauw aan bij de afgeleide kritieke profielen (bijvoorbeeld de $\sinh$-functie in het kritische regime) over verschillende breedtes en dieptes.

Betekenis en Claims

Het artikel claimt een scherp antwoord te geven op de vraag hoe lang de benadering van oneindige breedte standhoudt in recurrente modellen. De belangrijkste bijdragen zijn:

1. Aanwijzen van de Ineenstortingschaal: Het stelt vast dat de theorie van oneindige breedte ineenstort bij $t \sim \sqrt{n}$, een schaal die aanzienlijk kleiner is dan de $t \sim n$-schaal die relevant is voor feedforward netwerken.
2. Verklaren van Empirische Instabiliteit: Het biedt een theoretische verklaring waarom standaard initialisatie (Glorot) instabiel is in moderne lange-afstand lineaire recurrenties (zoals LRUs en SSM's), wat de herkalibratiestrategieën die in de praktijk worden waargenomen noodzakelijk maakt.
3. Kwalitatief Verschil: Het benadrukt een fundamenteel kwalitatief verschil in signaalpropagatie tussen recurrente en feedforward architecturen, gedreven door de herhaalde toepassing van dezelfde gewichtsmatrix.

De auteurs merken op dat hun resultaten specifiek zijn voor lineaire recurrenties met willekeurige initialisatie. Zij erkennen dat het uitbreiden van deze bevindingen naar niet-lineaire activaties, gestructureerde niet-Gaussische initialisaties (veelvoorkomend in state-of-the-art modellen) en de trainingsdynamica (regimes van feature learning) een open richting blijft voor toekomstig werk.