EML Trees Are Universal Approximators

Sintesi Tecnica: Gli Alberi EML sono Approssimatori Universali

Problematica
Il documento affronta la questione se le composizioni strutturate ad albero della funzione Exp-Minus-Log (EML), di recente introduzione, possiedano un potere espressivo sufficiente per fungere da approssimatori universali per funzioni lisce. Sebbene il lavoro precedente [22] avesse dimostrato che le composizioni EML possono rappresentare esattamente qualsiasi funzione elementare (incluse funzioni trigonometriche ed esponenziali) tramite una costruzione simbolica esplicita, rimaneva una questione teorica aperta se tali strutture potessero approssimare arbitrariamente funzioni negli spazi di Sobolev $W^{k,\infty}$ con limiti di errore quantificabili. Inoltre, il documento indaga se la funzione EML generalizzata, dotata di parametri apprendibili, possa essere ottimizzata efficacemente in uno spazio di parametri continuo, distinguendosi dalla precedente letteratura sulla recovery simbolica discreta.

Metodologia
Gli autori sviluppano una rigorosa teoria dell'approssimazione per gli alberi EML attraverso una strategia di prova costruttiva che combina l'approssimazione polinomiale locale con rappresentazioni algebriche esplicite.

1. Funzione EML Generalizzata: Lo studio introduce un atomo EML generalizzato, $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$, incorporando sei parametri apprendibili per unità. Questa generalizzazione permette la codifica diretta dei coefficienti, evitando la necessità di costruire ricorsivamente le costanti a partire dal numero 1, operazione che porterebbe altrimenti a una scarsa scalabilità della dimensione dell'albero.
2. Framework di Approssimazione Costruttiva: La prova del teorema di approssimazione universale si basa su un processo in tre fasi:
   • Localizzazione: Il dominio $(0,1]^d$ viene partizionato in piccoli cubi. Utilizzando il lemma di Bramble–Hilbert, vengono costruiti approssimanti polinomiali locali per la funzione target su cubi sovrapposti.
   • Levigatura (Smoothing): Per evitare le discontinuità inerenti all'unione di polinomi locali tramite funzioni indicatrici, gli autori costruiscono una "partizione dell'unità approssimata" fluida utilizzando funzioni tangente iperbolica ($\tanh$) traslate e riscalate.
   • Costruzione Esplicita: Gli autori dimostrano che le operazioni algebriche richieste (addizione, sottrazione, moltiplicazione, divisione, esponenziazione) e la funzione $\tanh$ stessa possono essere rappresentate esattamente da alberi EML. Componendo questi "blocchi", costruiscono un albero EML che rappresenta esattamente l'approssimazione polinomiale globale levigata.
3. Gestione delle Singolarità: Poiché il logaritmo naturale non è definito per argomenti non positivi, i risultati teorici sono inizialmente stabiliti sul dominio semi-aperto $(0,1]^d$. Gli autori estendono tali risultati al dominio chiuso $[0,1]^d$ componendo gli approssimanti con una mappatura di contrazione affine che spinge il dominio verso l'interno, controllando così gli effetti di bordo.
4. Validazione Empirica: Gli autori implementano un algoritmo di apprendimento per gli alberi di tipo EML utilizzando l'ottimizzazione basata sul gradiente (Adam seguito da L-BFGS). Testano il modello su cinque funzioni benchmark monodimensionali, confrontando le parametrizzazioni a valori reali e complessi.

Contributi Chiave

• Teorema di Approssimazione Universale: Il documento prova che gli alberi EML sono approssimatori universali per funzioni nello spazio di Sobolev $W^{k,\infty}((0,1]^d)$. Il teorema fornisce limiti superiori espliciti sulla dimensione (numero di atomi) e sulla profondità dell'albero EML necessari per raggiungere un determinato errore di approssimazione, scalando polinomialmente con l'inverso dell'errore e della dimensione.
• Estensione ai Domini Chiusi: Un corollario estende le garanzie di approssimazione al cubo chiuso $[0,1]^d utilizzando una contrazione affine per evitare la singolarità logaritmica in zero.
• Parametrizzazione Generalizzata: L'introduzione di una funzione EML generalizzata a sei parametri facilita la rappresentazione più compatta degli operatori e consente la codifica diretta dei coefficienti, elemento cruciale per la prova costruttiva e l'ottimizzazione pratica.
• Costruzione Esplicita degli Operatori: Il lavoro fornisce costruzioni dettagliate per rappresentare le operazioni elementari (addizione, moltiplicazione, ecc.) e la funzione $\tanh$ utilizzando alberi EML, stabilendo i blocchi costruttivi necessari per la teoria dell'approssimazione.

Risultati

• Teorici: Il documento stabilisce che per ogni $f \in W^{s,\infty}([0,1]^d)$, esiste un albero EML $\tilde{p}_N^\theta$ tale che l'errore di approssimazione nella norma $W^{k,\infty}$ decresce come $O(N^{-(s-k)})$, dove $N$ è correlato alla risoluzione della partizione del dominio. La dimensione e la profondità dell'albero sono limitate da funzioni della dimensione $d$, della regolarità $s$ e della risoluzione target.
• Empirici: Negli esperimenti su target monodimensionali (polinomi, $\tanh$, $\sin$, Gaussiana e seno modulato), gli alberi EML generalizzati hanno raggiunto un RMSE relativo inferiore all'1% sulla maggior parte dei target a profondità 4 entro un budget computazionale fisso.
  • Le parametrizzazioni a valori reali sono state sufficienti per i target polinomiali e della tangente iperbolica.
  • Le parametrizzazioni a valori complessi hanno fornito un vantaggio misurabile per i target altamente oscillatori (es. $\sin(3x)e^{-x^2/2}$), probabilmente grazie alla capacità di rappresentare esattamente le funzioni trigonometriche tramite l'identità di Eulero.
  • Limite di Interpretabilità: Un'analisi di "snap greedy" ha rivelato che i parametri continui appresi non collassavano alle configurazioni simboliche discrete (es. $\{0, \pm 1\}$) previste dalla prova costruttiva. Solo una piccola frazione dei parametri è confluita verso valori discreti, e nessun atomo è diventato completamente discreto. Ciò suggerisce che, sebbene gli alberi approssimino accuratamente i valori della funzione, non necessariamente recuperano la specifica struttura simbolica derivata dalla prova teorica.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito gli alberi EML come un "framework teoricamente fondato per l'approssimazione di funzioni". Colmando il divario tra l'esattezza simbolica della rappresentazione delle funzioni elementari e l'apprendimento statistico dei parametri continui, il lavoro fornisce una giustificazione rigorosa per la capacità espressiva delle architetture basate su EML.

Gli autori rimangono modesti riguardo alle implicazioni pratiche dei loro risultati empirici. Dichiarano esplicitamente che lo studio serve come un "controllo di sanità" (sanity check) per la capacità pratica degli alberi EML piuttosto che una validazione completa dei tassi di convergenza del teorema di approssimazione. Riconoscono che i modelli appresi funzionano come approssimatori continui piuttosto che come ricostruzioni simboliche, notando che il recupero della struttura simbolica discreta richiederebbe una regolarizzazione strutturale aggiuntiva o dei bias induttivi, lasciati alla ricerca futura. Il lavoro collega gli alberi EML alla letteratura più ampia sull'approssimazione universale nelle reti neurali, nelle reti neurali informate dalla fisica (PINN) e nella regressione simbolica, posizionandoli come un'alternativa valida per l'approssimazione di funzioni interpretabili ed espressive.