🤖 machine learning

EML Trees Are Universal Approximators

Dit artikel stelt vast dat boomstructuur-composities van de recent geïntroduceerde EML (Exp-Minus-Log) functie dienen als universele benaderaars voor functies in $W^{k, \infty}$ door polynomiale representaties na te bootsen, en demonstreert de haalbaarheid van een bijbehorend leeralgoritme voor praktische optimalisatie.

Oorspronkelijke auteurs: Joe Germany, Elie Abdo, Joseph Bakarji

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joe Germany, Elie Abdo, Joseph Bakarji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een machine probeert te bouwen die elke vorm, kromme of patroon die je op een stuk papier kunt tekenen, kan nabootsen. In de wereld van de wiskunde en informatica wordt dit "universele approximatie" genoemd. De meeste moderne AI-modellen (zoals neurale netwerken) doen dit door lagen van eenvoudige schakelaars op elkaar te stapelen die aan- of uitgaan.

Dit artikel introduceert een ander soort machine, gebouwd van een speciale wiskundige "Lego-steen" genaamd EML (wat staat voor Exp-Minus-Log).

Hier is de uitsplitsing van wat de auteurs hebben gedaan, met behulp van eenvoudige analogieën:

1. De Magische Steen: EML

Beschouw de EML-functie als een universeel hulpmiddel dat twee krachtige krachten combineert: exponentialen (die heel snel groeien, zoals een sneeuwbal die een heuvel afrolt) en logaritmen (die dingen verkleinen, zoals een telescoop die uitzoomt).

De auteurs ontdekten dat als je dit specifieke hulpmiddel neemt en combineert met een paar verstelbare knoppen (parameters), je elke basiswiskundige functie kunt bouwen die je maar kunt bedenken—optelling, vermenigvuldiging, machten, en zelfs complexe krommen zoals sinusgolven. Het is also kind van een enkele soort Lego-steen die je aan elkaar kunt klikken om een auto, een huis of een ruimteschip te bouwen, mits je de juiste instructies hebt.

2. De Constructie: Bomen Bouwen

In plaats van deze stenen in een platte lijn te stapelen (zoals een standaard neuraal netwerk), rangschikken de auteurs ze in een boomstructuur.

De Analogie: Stel je een stamboom voor. Onderaan staan de bladeren (jouw invoergetallen). Terwijl je omhoog beweegt langs de takken, mengen en matchen deze EML-stenen deze getallen. Helemaal bovenaan (de stam) krijg je het uiteindelijke resultaat.
De Claim: De auteurs bewijzen wiskundig dat hoe golven of ingewikkeld een kromme ook is, je een boom van deze EML-stenen kunt bouwen die die kromme bijna perfect benadert.

3. Het "Lastige" Deel: Het Logaritme-Gat

Er is één addertje onder het gras. Het logaritme-gedeelte van de EML-steen haat nul en negatieve getallen. Als je een nul of een negatief getal probeert in te voeren, breekt de wiskunde (het is alsof je deelt door nul).

De Oplossing: De auteurs hebben bewezen dat zolang je in de "veilige zone" blijft (getallen groter dan nul), deze boom perfect werkt.
De Workaround: Om de rand van de veilige zone te behandelen (zoals het getal 0 zelf), stelden ze een slimme truc voor: ze verkleinen het hele probleem iets zodat het binnen de veilige zone past, lossen het daar op, en rekken het daarna weer uit. Dit zorgt ervoor dat de wiskunde zelfs bij de grenzen standhoudt.

4. Het Blauwdruk versus de Realiteit

Het artikel doet twee belangrijke dingen:

De Blauwdruk (Theorie): Ze schreven een rigoureus wiskundig bewijs dat laat zien dat als je hun specifieke instructies volgt, je een boom kunt bouwen die elke gladde functie met een gegarandeerd niveau van nauwkeurigheid benadert. Ze hebben zelfs precies berekend hoe groot en diep de boom moet zijn om de klus te klaren.
De Realiteitscheck (Experimenten): Ze hebben geprobeerd een computer te leren om deze bomen te bouwen met behulp van data (leren van voorbeelden in plaats van het volgen van de blauwdruk).
- Het Resultaat: De computer was erg goed in het leren van de vorm van de krommen. Het kon de doel-functies nabootsen met een hoge nauwkeurigheid.
- De Twist: Echter, de computer heeft de nette, eenvoudige "symbolische" instructies (zoals $x^2 + 1$ ) niet herontdekt die de theoretische blauwdruk gebruikte. In plaats daarvan vond het rommelige, complexe combinaties van getallen die toevallig net zo goed werkten. Het is alsof een chef die een beroemd gerecht perfect kan reproduceren, maar een geheim, ingewikkeld recept gebruikt dat totaal niet lijkt op het originele kookboek.

Samenvatting

Dit artikel stelt vast dat EML-bomen een theoretisch perfect instrument zijn voor het benaderen van complexe wiskundige functies. Ze hebben bewezen dat deze bomen elke gladde kromme kunnen nabootsen als ze correct worden gebouwd. Hoewel de experimenten met machine learning lieten zien dat ze in de praktijk goed werken, zijn de "geleerde" versies momenteel meer zwarte dozen dan de schone, leesbare formules die de theorie suggereert mogelijk te zijn.

Kortom: Ze hebben bewezen dat je een perfecte wiskundige vormveranderder kunt bouwen met deze specifieke stenen, en ze hebben aangetoond dat een computer deze bomen kan leren gebruiken, zelfs als de versie van de computer een beetje rommelig is vergeleken met het zuivere theoretische ontwerp.

Technische Samenvatting: EML-bomen zijn universele benaderaars

Probleemstelling
Het artikel behandelt de vraag of boomstructuur-composities van de recent geïntroduceerde Exp-Minus-Log (EML) functie voldoende expressieve kracht bezitten om te dienen als universele benaderaars voor gladde functies. Hoewel eerder werk [22] aantoonde dat EML-composities elke elementaire functie (inclusclusief trigonometrische en exponentiële functies) exact kunnen representeren via expliciete symbolische constructie, bleef het een open theoretische vraag of deze structuren willekeurige functies in Sobolev-ruimten $W^{k,\infty}$ kunnen benaderen met kwantificeerbare foutmarges. Bovendien onderzoekt het artikel of de gegeneraliseerde EML-functie, uitgerust met leerbare parameters, effectief geoptimaliseerd kan worden in een continue parameterruimte, wat verschilt van de discrete symbolische reconstructie die in eerdere literatuur werd verkend.

Methodologie
De auteurs ontwikkelen een rigoureuze benaderingstheorie voor EML-bomen via een constructieve bewijsstrategie die lokale polynomiale benadering combineert met expliciete algebraïsche representaties.

Gegeneraliseerde EML-functie: De studie introduceert een gegeneraliseerde EML-atoom, $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$ , die zes leerbare parameters per eenheid bevat. Deze generalisatie maakt de directe codering van coëfficiënten mogelijk, waardoor de noodzaak om constanten recursief te construeren vanuit het cijfer 1 wordt omzeild, wat anders zou leiden tot een slechte schaling van de boomgrootte.
Constructief Benaderingskader: Het bewijs van de universele benaderingstheorema rust op een driestaps proces:
- Lokalisatie: Het domein $(0,1]^d$ wordt verdeeld in kleine kubussen. Met behulp van het Bramble–Hilbert lemma worden lokale polynomiale benaderingen geconstrueerd voor de doelfunctie op overlappende kubussen.
- Smoothing (Gladstrijken): Om de discontinuïteiten te vermijden die inherent zijn aan het samenvoegen van lokale polynomen met indicatorfuncties, construeren de auteurs een gladde "benaderende partitie van eenheid" met behulp van verschoven en geschaalde hyperbolische tangens ( $\tanh$ ) functies.
- Expliciete Constructie: De auteurs demonstreren dat de vereiste algebraïsche operaties (optellen, aftrekken, vermenigvuldigen, delen, exponentiëren) en de $\tanh$ -functie zelf exact gerepresenteerd kunnen worden door EML-bomen. Door deze "blokken" te componeren, construeren zij een EML-boom die de globale gladgestreken polynomiale benadering exact representeert.
Omgaan met Singulariteiten: Omdat de natuurlijke logaritme niet gedefinieerd is voor niet-positieve argumenten, worden de theoretische resultaten aanvankelijk vastgesteld op het halfopen domein $(0,1]^d$ . De auteurs breiden deze resultaten uit naar het gesloten domein $[0,1]^d$ door de benaderders te componeren met een affine contractie-mapping die het domein naar het binnenste duwt, waardoor randeffecten worden beheerst.
Empirische Validatie: De auteurs implementeren een leeralgoritme voor EML-type bomen met behulp van gradiëntgebaseerde optimalisatie (Adam gevolgd door L-BFGS). Ze testen het model op vijf eendimensionale benchmarkfuncties, waarbij ze real-waardige en complex-waardige parametrisaties vergelijken.

Belangrijkste Bijdragen

Universele Benaderingstheorema: Het artikel bewijst dat EML-bomen universele benaderaars zijn voor functies in de Sobolev-ruimte $W^{k,\infty}((0,1]^d)$ . Het theorema biedt expliciete bovengrenzen voor de grootte (aantal atomen) en diepte van de EML-boom die nodig zijn om een specifieke benaderingsfout te bereiken, waarbij de schaling polynomiaal is ten opzichte van de inverse van de fout en de dimensie.
Extensie naar Gesloten Domeinen: Een bijgerecht (corollary) breidt de benaderingsgaranties uit naar de gesloten kubus $[0,1]^d$ door een affine contractie te gebruiken om de logaritmische singulariteit bij nul te vermijden.
Gegeneraliseerde Parametrisatie: De introductie van een zes-parameter gegeneraliseerde EML-functie vergemakkelijkt compactere representaties van operatoren en maakt directe codering van coëfficiënten mogelijk, wat cruciaal is voor de constructieve bewijsvoering en praktische optimalisatie.
Expliciete Constructie van Operatoren: Het werk biedt gedetailleerde constructies voor het representeren van elementaire operaties (optellen, vermenigvuldigen, etc.) en de $\tanh$ -functie met behulp van EML-bomen, waarmee de compositorische bouwstenen worden vastgesteld die nodig zijn voor de benaderingstheorie.

Resultaten

Theoretisch: Het artikel stelt vast dat voor elke $f \in W^{s,\infty}([0,1]^d)$ , er een EML-boom $\tilde{p}_N^\theta$ bestaat zodanig dat de benaderingsfout in de $W^{k,\infty}$ -norm afneemt als $O(N^{-(s-k)})$ , waarbij $N$ gerelateerd is aan de resolutie van de domeinpartitie. De grootte en diepte van de boom zijn begrensd door functies van de dimensie $d$ , de gladheid $s$ en de doelresolutie.
Empirisch: In experimenten op eendimensionale doelwitten (polynomen, $\tanh$ $tanh$ , $\sin$ $sin$ , Gaussische functies en gemoduleerde sinus) bereikten de gegeneraliseerde EML-bomen een relatieve RMSE van minder dan één procent op de meeste doelwitten bij een diepte van 4 binnen een vastgesteld computationeel budget.
- Real-waardige parametrisaties waren voldoende voor polynomiale en hyperbolische tangens-doelwitten.
- Complex-waardige parametrisaties boden een meetbaar voordeel voor sterk oscillerende doelwitten (bijv. $\sin(3x)e^{-x^2/2}$ ), waarschijnlijk door het vermogen om trigonometrische functies exact te representeren via de identiteit van Euler.
- Beperking in Interpreteerbaarheid: Een "greedy snap"-analyse onthulde dat de geleerde continue parameters niet inklapten naar de discrete symbolische configuraties (bijv. $\{0, \pm 1\}$ ) die door de constructieve bewijsvoering werden voorspeld. Slechts een klein deel van de parameters klapte naar discrete waarden, en geen enkele atoom werd volledig discreet. Dit suggereert dat hoewel de bomen de functiewaarden accuraat benaderen, ze niet noodzakelijkerwijs de specifieke symbolische structuur herstellen die in het theoretische bewijs is afgeleid.

Significantie en Claims
Het artikel claimt EML-bomen te hebben gevestigd als een "theoretisch gefundeerd kader voor functiebenadering". Door de brug te slaan tussen de symbolische exactheid van de representatie van elementaire functies en het statistische leren van continue parameters, biedt het werk een rigoureuze rechtvaardiging voor de expressieve capaciteit van EML-gebaseerde architecturen.

De auteurs blijven bescheiden over de praktische implicaties van hun empirische resultaten. Ze stellen expliciet dat de studie dient als een "sanity check" voor de praktische capaciteit van EML-bomen, in plaats van een volledige validatie van de convergentiesnelheden van het benaderingstheorema. Ze erkennen dat de geleerde modellen functioneren als continue benaderaars in plaats van symbolische reconstructies, en merken op dat het herstellen van de discrete symbolische structuur aanvullende structurele regularisatie of inductieve biases zou vereisen, wat aan toekomstig onderzoek wordt overgelaten. Het werk verbindt EML-bomen met de bredere literatuur over universele benadering in neurale netwerken, physics-informed neurale netwerken en symbolische regressie, en positioneert hen als een levensvatbaar alternatief voor interpreteerbare en expressieve functiebenadering.