🤖 AI

Rational Neural Networks have Expressivity Advantages

Dit artikel toont aan dat neurale netwerken die gebruikmaken van trainbare rationele activatiefuncties met een lage graad aanzienlijk grotere expressiviteit en parameter-efficiëntie bereiken dan die met standaard vaste activaties, waarbij ze exponentiële benaderingsvoordelen bieden die zowel theoretisch bewijsbaar als empirisch gevalideerd zijn.

Oorspronkelijke auteurs: Maosen Tang, Alex Townsend

Gepubliceerd 2026-06-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maosen Tang, Alex Townsend

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotbrein (een neuraal netwerk) bouwt om complexe puzzels op te lossen. Om dit brein slim te maken, moet je het "activatiefuncties" geven. Denk aan deze als de schakelaars of poorten van het brein die bepalen hoe informatie van de ene laag neuronen naar de volgende stroomt.

Jarenlang hebben ingenieurs twee hoofdtypen schakelaars gebruikt:

De "Stuksgewijze" Schakelaar: Zoals een trap. Het is scherp en hoekig (bijv. ReLU).
De "Gladde" Schakelaar: Zoals een zachte, rollende heuvel (bijv. GELU, Swish, Sigmoid). Dit zijn de huidige kampioenen in moderne AI.

De Grote Ontdekking
Dit paper introduceert een nieuw type schakelaar genaamd een Rationale Activatie. In plaats van een vaste vorm (zoals een vooraf gemaakte kunststof mal), zijn deze schakelaars trainbaar. Ze zijn gebouwd van "rationale functies" (breuken van polynomen), wat betekent dat de AI tijdens de training kan leren om zijn eigen schakelaars te hervormen om de specifieke puzzel die hij oplost, beter aan te passen.

De auteurs beweren dat deze nieuwe schakelaars superieur zijn aan de oude gladde schakelaars op twee belangrijke manieren:

1. De "Magische Lens" Analogie (Efficiëntie)

Stel je voor dat je een afbeelding wilt tekenen van een grillige bergtop.

De Gladde Schakelaar (De Oude Manier): Als je probeert een scherpe bergtop te tekenen met alleen maar gladde, rollende heuvels, moet je duizenden kleine heuvels op elkaar stapelen om de scherpte te simuleren. Dat kost veel moeite en materiaal (parameters) om het goed te krijgen.
De Rationele Schakelaar (De Nieuwe Manier): Deze schakelaar is als een magische lens die van nature scherpe hoeken en plotselinge dalen kan vastleggen. Je kunt dezelfde berg tekenen met slechts een handvol lagen.

De Wiskundige Magie: Het paper bewijst dat een netwerk dat deze nieuwe rationale schakelaars gebruikt, om tot dezelfde nauwkeurigheid te komen, exponentieel minder parameters nodig heeft dan een netwerk met standaard gladde schakelaars.

Als een glad netwerk een omvang van $X$ nodig heeft om accuraat te zijn, heeft een rationeel netwerk misschien slechts $\log(\log(X))$ nodig.
In gewone mensentaal: Het is het verschil tussen een bibliotheek vol boeken nodig hebben om een verhaal te beschrijven versus het nodig hebben van slechts één enkele, perfect geschreven pagina.

2. Het "Zwitsers Zakmes" versus de "Vaste Tool"

Vaste Schakelaars (GELU, ReLU, etc.): Deze zijn als een hamer. Ze zijn geweldig in het drijven van spijkers, maar als je hout wilt zagen of een schroef wilt aandraaien, hebben ze moeite. Ze hebben een vaste vorm die niet kan veranderen.
Rationale Schakelaars: Deze zijn als een Zwitsers zakmes dat zijn eigen lemmet kan hervormen. Als de data een gladde curve heeft, wordt de schakelaar glad. Als de data een scherpe piek heeft, kan de schakelaar direct van vorm veranderen om een scherpe hoek te krijgen. Omdat ze hun vorm kunnen aanpassen, kunnen ze complexe patronen veel efficiënter weergeven.

Wat de Experimenten Lieten Zien

De auteurs hebben dit niet alleen wiskundig onderzocht; ze hebben dit getest in de echte wereld:

Beeldherkenning (CIFAR-10 & Tiny ImageNet): Wanneer ze de standaard schakelaars vervingen door rationale schakelaars in beeldclassificatiesystemen, leerde de AI sneller en werd hij nauwkeuriger.
- Leuk weetje: In één experiment probeerden ze "normalisatie-lagen" (een standaard veiligheidsmechanisme in AI) te verwijderen om te zien of de rationale schakelaars dit alleen konden afhandelen. De oude schakelaars stortten in en faalden, maar de rationale schakelaars bleven werken en presteerden zelfs beter.
Robotbesturing (Reinforcement Learning): Ze testten dit op robots die leerden lopen (in een simulatie). De rationale schakelaars stelden de robots in staat om betere strategieën te leren met dezelfde hoeveelheid rekenkracht.

Het Nadeel (Het "Veiligheidsventiel" Probleem)

Het paper vond ook een waarschuwing. Rationele schakelaars zijn zeer flexibel, maar ze zijn gevoelig.

De Analogie: Stel je een zeer gevoelige microfoon voor. Als je die vlak naast een luidspreker plaatst die ook nog eens geluid versterkt (zoals een "Normalisatie"-laag), ontstaat er een harde, gierende feedbackloop die de opname verpest.
De Oplossing: De auteurs ontdekten dat voor deze rationale schakelaars om het beste te werken, je soms de standaard "normalisatie"-lagen die er normaal gesproken voor staan, moet uitschakelen. Toen ze dit deden, schitterden de rationale schakelaars nog feller.

Samenvatting

Dit paper betoogt dat trainbare rationale activatiefuncties een krachtigere, efficiëntere en flexibelere tool zijn voor het bouwen van AI dan de gladde, vaste schakelaars die we vandaag de dag gebruiken. Ze kunnen hetzelfde werk doen met veel minder "hersencapaciteit" (parameters) en kunnen zich aanpassen aan scherpe, complexe patronen waar andere schakelaars moeite mee hebben. Het is also[f] van het upgraden van een set vaste kunststof mallen naar een set zelfvormende klei die alles kan worden wat de AI nodig heeft.

Technische Samenvatting: Rationele Neurale Netwerken hebben Expressiviteitsvoordelen

Probleemstelling

Diepe neurale netwerken leunen zwaar op de keuze van niet-lineaire activatiefuncties om de expressiviteit en leerbaarheid te beheersen. Hoewel moderne architecturen voornamelijk gebruikmaken van vaste, gladde activaties (bijv. GELU, Swish/SiLU, Mish, ELU/SELU/CELU) of stuksgewijs lineaire functies (bijv. ReLU en varianten), leggen deze keuzes specifieke beperkingen op aan hoe efficiënt netwerken functies kunnen benaderen met scherpe overgangen, knikken of nabijgelegen complexe singulariteiten. Dit onderzoek onderzoekt of het vervangen van deze vaste activaties door trainbare rationele activatiefuncties van lage graad een theoretisch en praktisch voordeel biedt in termen van parameterefficiëntie en expressieve kracht.

Methodologie

Theoretisch Kader

De auteurs stellen benaderingstheoretische scheidingen vast tussen rationele neurale netwerken en netwerken gebouwd met standaard gladde of stuksgewijs lineaire activaties.

Rationele Netwerken: Gedefinieerd als feedforward-netwerken waarbij de scalaire niet-lineariteit in elke laag een trainbare rationele functie $r(x) = P(x)/Q(x)$ is met laag-graads polynomen $P$ en $Q$ . De coëfficiënten worden tijdens de training geleerd.
Benaderingsmetrieken: Expressiviteit wordt gemeten door het aantal trainbare parameters (netwerkgrootte) dat nodig is om een uniforme fout $\epsilon$ te bereiken op een vast compact domein (bijv. $[-1, 1]^d$ ).
Belangrijke Theoretische Instrumenten:
- Rationele Benaderingstheorie: Het gebruik van klassieke resultaten (bijv. Trefethen, Gonchar) die aantonen dat rationele functies niet-gladde kenmerken (zoals $|x|$ of ReLU) en functies met nabijgelegen singulariteiten exponentieel efficiënter kunnen benaderen dan polynomen of gladde surrogaten.
- Constructieve Bewijzen: Het artikel biedt expliciete constructies met behulp van Zolotarev-functies, rekenkundig-meetkundige gemiddelde (AGM) iteraties en Halley's methode om gladde activaties (zoals GELU) te benaderen met rationele netwerken.
- Ondergrenzen: Het bewijzen dat het benaderen van bepaalde rationele doelstellingen (specifiek die met polen nabij de reële lijn) met gebonden-parameter gladde netwerken aanzienlijk meer parameters vereist vanwege krommingsbeperkingen.

Experimentele Opzet

De auteurs evalueren rationele activaties in drie verschillende domeinen, waarbij architecturen, optimizers en trainingsbudgetten vast worden gehouden terwijl alleen de activatiefunctie varieert:

Supervised Vision: CIFAR-10 beeldclassificatie met VGG4 en VGG8 architecturen, en Tiny ImageNet classificatie met Transformer-gebaseerde modellen (ViT, CaiT, Swin).
Offline Reinforcement Learning: Continue controle locomotie benchmarks (HalfCheetah, Hopper, Walker2d) met de Minari medium datasets en algoritmen IQL en TD3+BC.
Normalisatie Analyse: Onderzoek naar de interactie tussen adaptieve rationele activaties en normalisatielagen (BatchNorm, LayerNorm), specifiek het testen van "no-LayerNorm" varianten in Transformers.

Belangrijkste Bijdragen

Exponentiële Scheiding in Parametercomplexiteit:
- Glad $\to$ Rationeel: Elk netwerk gebouwd van standaard gladde activaties (GELU, Swish, SiLU, etc.) kan uniform worden benaderd door een rationeel netwerk met een grootte-overhead van slechts $O(\text{poly}(\log \log(1/\epsilon)))$ . Specifiek bewijst het artikel een grootte-bound van $O(\log^3 \log(1/\epsilon))$ voor GELU.
- Rationeel $\to$ Glad: Omgekeerd vereist het benaderen van een worst-case familie van rationele functies (met polen nabij het domein) met gebonden-parameter gladde netwerken een grootte van ten minste $\Omega(\log(1/\epsilon))$ .
- Resultaat: Dit stelt een exponentiële kloof in expressiviteit vast, waarbij rationele netwerken dezelfde nauwkeurigheid kunnen bereiken met aanzienlijk minder parameters dan gladde-activatienetwerken in regimes die betrokken zijn bij niet-gladde structuren.
Extensie naar Complexe Architecturen:
- De scheidingsresultaten worden opgetild van scalaire functies naar volledige feedforward-netwerken, gated activaties en Transformer-stijl architecturen (specifiek de MLP sublagen).
- Het artikel demonstreert dat rationele netwerken gated gladde modellen met een lage overhead kunnen benaderen, terwijl het omgekeerde een hoge overhead vereist.
Normalisatie en Identificeerbaarheid:
- De auteurs formaliseren dat standaard normalisatielagen nadelig kunnen zijn voor adaptieve rationele activaties. Normalisatie introduceert geleerde affine transformaties die geabsorbeerd kunnen worden door de rationele coëfficiënten, wat leidt tot niet-identificeerbaarheid en slechte conditionering.
- Bovendien versterkt de datagedipende stochasticiteit in normalisatie (bijv. BatchNorm) de gradiëntruis door de polynomiale sensitiviteiten van rationele coëfficiënten.
- Bevinding: Het verwijderen van normalisatie (bijv. "no-LayerNorm" Transformers) stelt adaptieve rationelen in staat om te fungeren als leerbare herschalingsmechanismen, wat vaak de training stabiliseert waar vaste activaties falen.
Constructieve Bewijzen:
- Het artikel biedt constructieve bewijzen gebaseerd op klassieke benaderingstheorie, inclusief het gebruik van Zolotarev-functies en AGM-constructies, om te demonstreren hoe rationele netwerken efficiënt complexe niet-lineariteiten kunnen realiseren.

Experimentele Resultaten

CIFAR-10: Rationele activaties behaalden consistent de hoogste Top-1 testnauwkeurigheid in zowel VGG4 als VGG8 modellen, waarbij ze ReLU, LeakyReLU, Swish en GELU overtroffen. In de uitgebreide trainingspipeline bleven rationele varianten (geïnitialiseerd om LeakyReLU of GELU na te bootsen) top-performant, zelfs wanneer GroupNorm werd toegepast, hoewel GroupNorm een grotere prestatiedaling veroorzaakte voor rationelen vergeleken met vaste activaties.
Offline RL: Op MuJoCo medium datasets matchten of overtroffen rationele activaties de beste vaste activaties in 5 van de 6 settings (IQL en TD3+BC op HalfCheetah, Hopper, Walker2d). Opvallend genoeg waren rationele modellen met kleinere breedtes (128) competitief met of superieur aan veel grotere GELU-modellen (384 breedte), wat de hypothese van parameterefficiëntie valideert.
Tiny ImageNet (Transformers): Rationele activaties matchen of verbeteren de beste EMA validatienauwkeurigheid voor ViT, CaiT en Swin modellen. Cruciaal is dat in een "no-LayerNorm" ViT-variant, vaste activaties (ReLU, GELU) divergeerden naar NaNs, terwijl de rationele variant stabiel bleef en een hoge nauwkeurigheid bereikte (61.24%), wat de claim ondersteunt dat normalisatie restrictief kan zijn voor adaptieve rationelen.
Geleerde Vormen: Visualisaties van geleerde rationele functies toonden aan dat ze kromming snel herverdelen naar hoog-densiteit inputregio's, waarbij ze vaak gelokaliseerde niet-monotone "gating"-vormen ontwikkelen die vergelijkbaar zijn met succesvolle vaste activaties zoals Swish en Mish.

Betekenis en Claims

Het artikel beweert dat rationele neurale netwerken een wiskundig natuurlijke en computationeel efficiënte fundering bieden voor deep learning. De kern van de betekenis ligt in het expressiviteitsvoordeel: rationele activaties kunnen functies met scherpe overgangen en complexe singulariteiten representeren met exponentieel minder parameters dan moderne gladde activaties.

De auteurs betogen dat dit theoretische voordeel zich direct vertaalt naar de praktijk, wat resulteert in:

Hogere Nauwkeurigheid: Het bereiken van betere prestaties op visie- en RL-taken met identieke architecturen.
Snellere Convergentie: Het eerder bereiken van sterke prestaties tijdens de training.
Parameterefficiëntie: Het bereiken van vergelijkbare of superieure resultaten met kleinere netwerkbreedtes.
Robuustheid in Normalisatie-vrije Regimes: Het mogelijk maken van de training van diepe Transformers zonder normalisatielagen, een regime waarin vaste activaties vaak falen.

Het werk suggereert dat het vakgebied de dominantie van vaste gladde activaties moet heroverwegen, door voor te stellen dat trainbare rationele functies een principieel alternatief bieden dat beter aansluit bij de structurele vereisten van complexe datadistributies.