Technische Samenvatting: TESLA (Taylor Expansion of Sinusoidal Learnable Activations)

1. Probleemstelling

Standaard neurale netwerken, die doorgaans vertrouwen op het stapelen van lokale niet-lineariteiten (bijv. ReLU, GeLU) met lineaire transformaties, vertonen een "spectrale bias" naar het leren van laagfrequente (laag-gradige) componenten. Deze beperking maakt ze inefficiënt voor taken die vereisen dat er globale interacties, hogere-orde combinaties van inputcoördinaten, of specifieerbare globale symmetrieën plaatsvinden.

Een canoniek voorbeeld van deze uitdaging is het parity-probleem (het bepalen of het aantal enen in een binaire vector oneven of even is). Deze taak is lineair onscheidbaar en vereist globale interactie over alle inputbits. Traditionele architecturen falen vaak bij het generaliseren naar parity-taken, vooral wanneer de inputdimensie ($n$) toeneemt of wanneer de data schaars is, omdat het representeren van dergelijke hogere-orde structuren doorgaans een excessieve diepte, breedte of gewichtsnorm vereist. Boveraan dit probleem komen bestaande pogingen om spectrale bias aan te pakken — zoals periodieke activaties (SIREN) of Fourier-feature embeddings — vaak tekort door optimalisatie-instabiliteit, overfitting in regimes met weinig data, of een gebrek aan expliciete controle over de polynomiale graad van de activatie.

2. Methodologie: TESLA

De auteurs stellen TESLA voor (Taylor Expansion of Sinusoidal Learnable Activations), een parametrische activatiefunctie die ontworpen is om expliciete, leerbare controle te bieden over de polynomiale graad en frequentiecomponenten van neurale netwerkactivaties.

2.1 Definitie

TESLA wordt gedefinieerd als een eindige lineaire combinatie van sinus- en cosimustermen die gedeeld worden over alle neuronen in een laag:
$$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$$
waarbij:

• $K \in \mathbb{N}$ de maximale frequentie (harmonische telling) controleert.
• $\{a_k, b_k\}_{k=1}^K$ leerbare scalaire coëfficiënten zijn.
• De $1/k$ schaling een ontwerpkeuze is om de gradiëntmagnitudes te beheersen.

2.2 Theoretische Interpretatie

Hoewel geïmplementeerd als een trigonometrische expansie, analyseren de auteurs TESLA via de Taylor- (Maclaurin-) expansie. Dit onthult dat de effectieve polynomiale coëfficiënten van de activatie expliciete lineaire functionalen zijn van de geleerde trigonometrische coëfficiënten $\{a_k, b_k\}$. Deze formulering stelt het netwerk in staat om specifieke polynomiale orden (graden) selectief te versterken of te dempen op het niveau van de activatie, in plaats van te vertrouwen op input-zijde spectralisatie (zoals Fourier-features), wat de modusselectie aan latere lagen overlaat.

2.3 Stabiliteits- en Complexiteitscontrole

Om stabiliteit te garanderen en overfitting te voorkomen, introduceert TESLA een coëfficiëntenbudget:
$$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$$
Theoretische analyse toont aan dat $A_K$ de Lipschitz-constante van de activatie en het netwerk begrenst. Specifiek wordt de Lipschitz-constante van een $L$-laags netwerk begrensd door het product van de operatornormen van de lagen en $A_K^{L-1}$. Dit budget maakt het mogelijk om de gradiëntmagnitudes en de Rademacher-complexiteit te controleren, waardoor wordt gewaarborgd dat het vergroten van het frequentiebereik ($K$) de optimalisatie niet inherent destabiliseert.

3. Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

1. Theoretische Garanties: De auteurs leiden nauwe Lipschitz-bounds en op Rademacher-complexiteit gebaseerde generalisatiegaranties af. Ze karakteriseren de leerdynamiek met behulp van Neural Tangent Kernel (NTK)-analyse, waarbij zij aantonen dat de inductieve bias van TESLA van nature de recovery van laag- en middenfrequente structuren bevoordeelt, terwijl het de selectieve leerbaarheid van hogere-orde componenten toestaat.
2. Constructieve Approximatie-resultaten: Het artikel biedt bovengrens-schattingen voor het benaderen van ridge- en interactie-type functies met behulp van TESLA. Omgekeerd schetst het ondergrenzen die aantonen dat standaard stuksgewijs lineaire activaties aanzienlijk meer middelen (diepte/breedte) vereisen om oscillerende of globale structuren te representeren vergeleken met TESLA.
3. Empirische Validatie: De auteurs demonstreren dat TESLA effectief generaliseert op synthetische benchmarks (Parity, Forrelation) en continue domeintaken (PINNs, INRs), terwijl het concurrerend blijft op grootschalige visuele taken (ImageNet-100) met verwaarloosbare computationele overhead.

4. Experimentele Resultaten

4.1 Synthetische Benchmarks

• Parity Taak: Op parity-taken met inputlengte $n=32$ bereikt TESLA sterke generalisatie met slechts 100.000 trainingssamples (ongeveer 0,002% van de inputruimte). Cruciaal is dat het robuust blijft onder zware labelruis (tot 30%), waarbij het een hoge nauwkeurigheid behoudt waar baseline-activaties (ReLU, GeLU) instorten tot willekeurige gokken (50%).
• Vergelijking met Periodieke Baselines: TESLA presteert significant beter dan SIREN, SNAKE en Fourier-feature embeddings op parity- en forrelation-taken. Terwijl SIREN en Fourier-embeddings vaak falen in het vastleggen van globale correlaties in hoog-ruis of hoog-dimensionale regimes, behoudt TESLA een stabiele prestatie. Bijvoorbeeld, op 32-bit parity zonder ruis bereikt TESLA ~96% nauwkeurigheid, terwijl SIREN daalt naar ~50%.
• Forrelation: Op de Forrelation-taak (een probleem van globale correlatiebeslissing) convergeert TESLA sneller en bereikt het een hogere nauwkeurigheid over diverse verborgen laag-groottes vergeleken met standaard activaties.

4.2 Continue Domeintaken

• PINNs: Bij het oplossen van de 1D viskeuze Burgers-vergelijking bereikt TESLA de laagste uiteindelijke loss onder de vergeleken activaties (inclusclusief ReLU, Tanh en SIREN).
• Implicit Neural Representations (INRs): Bij beeldreconstructietaken (Kodak24, DIV2K) bereikt TESLA doel-PSNR-drempels sneller en bereikt het een hogere uiteindelijke kwaliteit (PSNR/SSIM) dan SIREN en ReLU.
• Mixed-Frequency Regressie: TESLA is de enige geteste methode die een test MSE onder 0,011 bereikt voor signalen bestaande uit gemengde hoogfrequente componenten.

4.3 Grootschalige Visie (ImageNet-100)

TESLA werd geëvalueerd op ImageNet-100 met behulp van ViT, MLP-Mixer, ResNet-18 en MobileNetV3 architecturen.

• Prestaties: TESLA bereikt een Top-1 nauwkeurigheid die vergelijkbaar is met of licht beter is dan ReLU, GeLU en SiLU over alle architecturen heen.
• Efficiëntie: De methode veroorzaakt een verwaarloosbare doorvoer-overhead (ongeveer 1% toename in FLOPs).
• Stabiliteit: In tegen tegenstelling tot SIREN, dat ernstige optimalisatie-instabiliteit en slechte nauwkeurigheid vertoonde (bijv. ~4% Top-1 op ViT) onder dezelfde trainingsinstellingen, trainde TESLA stabiel en bereikte het standaard nauwkeurigheidsniveaus.

5. Betekenis en Claims

Het artikel beweert dat TESLA een robuust, praktisch alternatief biedt voor input-gebaseerde spectralisatie-methoden. Door spectrale controle naar het activatieniveau te verplaatsen via leerbare coëfficiënten, stelt TESLA beoefenaars in staat om de inductieve bias van een netwerk aan te passen met minimale architecturale wijzigingen, terwijl de compatibiliteit met standaard trainingspipelines behouden blijft.

De auteurs benadrukken dat TESLA de kloof overbrugt tussen theoretische spectrale bias-analyse en praktische toepassing. Het maakt expliciete controle over polynomiale graden mogelijk, wat het leren van globale, hogere-orde interacties faciliteert waar standaard activaties moeite mee hebben, zonder de stabiliteit of schaalbaarheid op real-world visuele workloads op te offeren. Het werk suggereert dat controle over de graad op activatieniveau een levensvatbare strategie is om de sample-efficiëntie en generalisatie te verbeteren in taken die gedomineerd worden door globale symmetrieën.