EML Trees Are Universal Approximators

Resumen Técnico: Los Árboles EML son Aproximadores Universales

Planteamiento del Problema
El artículo aborda la cuestión de si las composiciones estructuradas en forma de árbol de la función recién introducida Exp-Minus-Log (EML) poseen suficiente potencia expresiva para servir como aproximadores universales de funciones suaves. Si bien trabajos previos [22] demostraron que las composiciones EML pueden representar exactamente cualquier función elemental (incluyendo funciones trigonométricas y exponenciales) mediante una construcción simbólica explícita, permanecía como una cuestión teórica abierta si estas estructuras podrían aproximar funciones arbitrarias en espacios de Sobolev $W^{k,\infty}$ con cotas de error cuantificables. Además, el artículo investiga si la función EML generalizada, equipada con parámetros aprendibles, puede optimizarse eficazmente en un espacio de parámetros continuo, a diferencia de la recuperación simbólica discreta explorada en la literatura previa.

Metodología
Los autores desarrollan una teoría de aproximación rigurosa para los árboles EML a través de una estrategia de prueba constructiva que combina la aproximación polinómica local con representaciones algebraicas explícitas.

1. Función EML Generalizada: El estudio introduce un átomo EML generalizado, $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$, que incorpora seis parámetros aprendibles por unidad. Esta generalización permite la codificación directa de coeficientes, evitando la necesidad de construir recursivamente constantes a partir del dígito 1, lo que de otro modo conduciría a una mala escalabilidad en el tamaño del árbol.
2. Marco de Aproximación Constructiva: La prueba del teorema de aproximación universal se basa en un proceso de tres pasos:
   • Localización: El dominio $(0,1]^d$ se particiona en pequeños cubos. Utilizando el lema de Bramble–Hilbert, se construyen aproximantes polinómicos locales para la función objetivo sobre cubos superpuestos.
   • Suavizado: Para evitar las discontinuidades inherentes al unir polinomios locales con funciones indicadoras, los autores construyen una "partición de la unidad aproximada" suave utilizando funciones de tangente hiperbólica ($\tanh$) desplazadas y reescaladas.
   • Construcción Explícita: Los autores demuestran que las operaciones algebraicas requeridas (suma, resta, multiplicación, división, exponenciación) y la propia función $\tanh$ pueden representarse exactamente mediante árboles EML. Al componer estos "bloques", construyen un árbol EML que representa exactamente la aproximación polinómica suavizada global.
3. Manejo de Singularidades: Dado que el logaritmo natural no está definido para argumentos no positivos, los resultados teóricos se establecen inicialmente en el dominio semiabierto $(0,1]^d$. Los autores extienden estos resultados al dominio cerrado $[0,1]^d$ componiendo los aproximantes con un mapeo de contracción afín que empuja el dominio hacia el interior, controlando así los efectos de frontera.
4. Validación Empírica: Los autores implementan un algoritmo de aprendizaje para árboles de tipo EML utilizando optimización basada en gradientes (Adam seguido de L-BFGS). Prueban el modelo en cinco funciones de referencia unidimensionales, comparando parametrizaciones de valores reales y complejos.

Contribuciones Clave

• Teorema de Aproximación Universal: El artículo demuestra que los árboles EML son aproximadores universales para funciones en el espacio de Sobolev $W^{k,\infty}((0,1]^d)$. El teorema proporciona cotas superiores explícitas sobre el tamaño (número de átomos) y la profundidad del árbol EML necesarios para lograr un error de aproximación específico, escalando polinómicamente con el inverso del error y la dimensión.
• Extensión a Dominios Cerrados: Un corolario extiende las garantías de aproximación al cubo cerrado $[0,1]^d$ utilizando una contracción afín para evitar la singularidad logarítmica en cero.
• Parametrización Generalizada: La introducción de una función EML generalizada de seis parámetros facilita representaciones más compactas de operadores y permite la codificación directa de coeficientes, lo cual es crucial para la prueba constructiva y la optimización práctica.
• Construcción Explícita de Operadores: El trabajo proporciona construcciones detalladas para representar operaciones elementales (suma, multiplicación, etc.) y la función $\tanh$ utilizando árboles EML, estableciendo los bloques de construcción composicionales necesarios para la teoría de aproximación.

Resultados

• Teóricos: El artículo establece que para cualquier $f \in W^{s,\infty}([0,1]^d)$, existe un árbol EML $\tilde{p}_N^\theta$ tal que el error de aproximación en la norma $W^{k,\infty}$ decae como $O(N^{-(s-k)})$, donde $N$ se relaciona con la resolución de la partición del dominio. El tamaño y la profundidad del árbol están acotados por funciones de la dimensión $d$, la suavidad $s$ y la resolución objetivo.
• Empíricos: En experimentos con objetivos unidimensionales (polinomios, $\tanh$, $\sin$, Gaussiana y seno modulado), los árboles EML generalizados lograron un RMSE relativo inferior al uno por ciento en la mayoría de los objetivos con una profundidad de 4 dentro de un presupuesto computacional fijo.
  • Las parametrizaciones de valores reales fueron suficientes para los objetivos de polinomios y tangente hiperbólica.
  • Las parametrizaciones de valores complejos proporcionaron una ventaja mensurable para objetivos altamente oscilatorios (por ejemplo, $\sin(3x)e^{-x^2/2}$), probablemente debido a la capacidad de representar exactamente funciones trigonométricas mediante la identidad de Euler.
  • Limitación de Interpretabilidad: Un análisis de "ajuste voraz" (greedy snap) reveló que los parámetros continuos aprendidos no colapsaron hacia las configuraciones simbólicas discretas (por ejemplo, $\{0, \pm 1\}$) predichas por la prueba constructiva. Solo una pequeña fracción de los parámetros se ajustó a valores discretos, y ningún átomo se volvió completamente discreto. Esto sugiere que, si bien los árboles aproximan con precisión los valores de la función, no necesariamente recuperan la estructura simbólica específica derivada de la prueba teórica.

Significancia y Reivindicaciones
El artículo afirma establecer los árboles EML como un "marco teóricamente fundamentado para la aproximación de funciones". Al cerrar la breancia entre la exactitud simbólica de la representación de funciones elementales y el aprendizaje estadístico de parámetros continuos, el trabajo proporciona una justificación rigurosa para la capacidad expresiva de las arquitecturas basadas en EML.

Los autores mantienen la modestia respecto a las implicaciones prácticas de sus resultados empíricos. Declaran explícitamente que el estudio sirve como un "control de coherencia" (sanity check) para la capacidad práctica de los árboles EML, en lugar de una validación completa de las tasas de convergencia del teorema de aproximación. Reconocen que los modelos aprendidos funcionan como aproximadores continuos en lugar de reconstrucciones simbólicas, señalando que la recuperación de la estructura simbólica discreta requeriría una regularización estructural adicional o sesgos inductivos, los cuales se dejan para investigaciones futuras. El trabajo conecta los árboles EML con la literatura más amplia sobre aproximación universal en redes neuronales, redes neuronales informadas por la física y regresión simbólica, posicionándolos como una alternativa viable para la aproximación de funciones interpretable y expresiva.