🔢 mathematics

Compositional Approximation Can Strictly Outperform Superpositional Approximation

Este artículo demuestra que para clases de funciones específicas con propiedades estructurales particulares, los métodos de aproximación composicional (tales como las redes neuronales) pueden lograr tasas de aproximación arbitrariamente mejores que los métodos de superposición óptimos, los cuales dependen de combinaciones lineales de elementos de un diccionario.

Autores originales: Dennis Elbrächter, Philipp Petersen

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dennis Elbrächter, Philipp Petersen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Dos formas de construir una casa

Imagina que estás intentando construir una réplica perfecta de una casa muy compleja e intrincada (que representa una función o un patrón en los datos). Tienes una caja de herramientas llena de bloques de construcción simples (como ladrillos, vigas o baldosas).

El artículo compara dos estrategias diferentes para construir esta casa:

La estrategia "Superposicional" (La pila lineal): Tomas tus bloques simples y simplemente los apilas unos sobre otros, mezclándolos en un gran montón. Puedes ajustar cuántos de cada bloque utilizas, pero esencialmente solo los estás sumando. Esto es como funcionan los métodos matemáticos tradicionales (como las series de Fourier).
La estrategia "Composicional" (El ensamblaje por capas): Construyes la casa por capas. Tomas un bloque, le das forma, luego tomas esa pieza ya moldeada y la usas como base para la siguiente capa, la cual moldeas de nuevo, y así sucesivamente. Así es como funcionan las Redes Neuronales. No se limitan a sumar bloques; componen los bloques, alimentando la salida de una capa en la siguiente.

El problema: Cuando la "Pila" falla

Para muchas formas simples (como curvas suaves), ambas estrategias funcionan más o menos igual. Puedes construir una buena aproximación con cualquiera de los dos métodos.

Sin embargo, los autores descubrieron un tipo específico de "casa" (una clase específica de funciones matemáticas) donde la Estrategia de la Pila choca contra un muro infranqueable, mientras que la Estrategia de Capas la sobrepasa con facilidad.

La analogía de la multitud "casi ortogonal":
Imagina que intentas describir a una multitud de personas paradas en una habitación.

La Estrategia de la Pila: Intentas describir a todos eligiendo a algunas "personas estándar" de un diccionario y sumándolas. Si las personas en la multitud están todas orientadas en direcciones completamente diferentes (matemáticamente "ortogonales"), necesitas un número enorme de personas estándar para describirlas a todas. Es como intentar describir una multitud donde cada persona mira en una dirección única; necesitas una descripción única para casi cada uno.
El giro: Los autores crearon un escenario donde las personas están casi mirando en direcciones diferentes, pero no del todo. Son "casi ortogonales".
- En una Pila, esto es una pesadilla. Debido a que son tan diferentes entre sí, no puedes reutilizar tus bloques estándar de manera eficiente. Necesitas un diccionario masivo de bloques para cubrir a todos, y el número de bloques que necesitas crece de forma explosiva a medida que la habitación se hace más grande.
- En un enfoque de Capas, puedes construir una "máquina" que genera estas personas. No necesitas un bloque único para cada persona; solo necesitas unas pocas reglas simples (capas) que, al apilarse, puedan generar las direcciones específicas "casi diferentes".

El descubrimiento principal: La "Brecha"

El artículo demuestra matemáticamente que para estas funciones específicas de "casi ortogonalidad":

Los métodos superposicionales (La Pila): El error (qué tan mala es la aproximación) se mantiene alto a menos que utilices un número masivo e inmanejable de parámetros. Su eficiencia está estrictamente limitada.
Los métodos composicionales (Las Capas/Redes Neuronales): Puedes lograr el mismo nivel de precisión con muchos menos parámetros.

Los autores construyeron ejemplos explícitos donde la brecha entre los dos métodos es arbitrariamente grande. Puedes hacer que el método de la "Pila" sea infinitamente peor que el método de las "Capas" simplemente ajustando la estructura de la función.

¿Por qué sucede esto? (La geometría del problema)

El artículo utiliza un concepto llamado números de cobertura (una forma elegante de medir qué tan "grande" o "complejo" es un conjunto de formas).

La Pila: Para cubrir todas las formas posibles en esta clase de funciones específica, el método de la Pila necesita cubrir un área masiva. Es como intentar cubrir un bosque gigante y disperso con unas pocas tiendas de campaña pequeñas. Necesitas miles de tiendas.
Las Capas: El método Composicional se da cuenta de que estas formas no son aleatorias; tienen una estructura oculta (autosemejanza). Es como darse cuenta de que el bosque en realidad está hecho de patrones repetitivos de árboles. En lugar de cubrir todo el bosque con tiendas de campaña, solo necesitas un plano para construir los árboles. El método de "Capas" puede navegar esta estructura de manera eficiente, requiriendo una fracción mínima de los recursos.

La restricción "Riesz"

El artículo tiene cuidado en decir que esta ventaja se mantiene incluso si restringimos el método de la "Pila" para que sea muy bien comportado (matemáticamente, satisfaciendo una "condición de Riesz", lo que asegura que los bloques no sean extrañamente redundantes o defectuosos). Incluso con el mejor diccionario de bloques posible, la Pila no puede alcanzar a las Capas para estas funciones específicas.

Resumen

La afirmación: Las redes neuronales (métodos composicionales) no son solo "suficientemente buenas" para todo; son estrictamente superiores para una clase de problemas específica y matemáticamente definida.
La razón: Estos problemas tienen una estructura oculta y estratificada que permite construir cosas complejas a partir de pasos simples.
La limitación: Los métodos tradicionales que simplemente suman cosas (superposición) no pueden explotar esta estructura de manera eficiente. Se quedan atrapados intentando describir cada pequeña variación individualmente, lo que conduce a un desperdicio masivo de recursos.

En resumen: Si el problema está construido como una muñeca rusa (capas dentro de capas), un método que construye en capas gana. Si intentas resolverlo simplemente volcando todas las muñecas en una pila, fallarás en ser eficiente, sin importar cuántas muñecas tengas.

Resumen Técnico: La aproximación composicional puede superar estrictamente a la aproximación superposicional

Planteamiento del problema
El artículo aborda una pregunta fundamental en la teoría de la aproximación: bajo qué condiciones los métodos composicionales (como las redes neuronales) proporcionan tasas de aproximación estrictamente superiores a los métodos superposicionales (combinaciones lineales de elementos de un diccionario, por ejemplo, la aproximación de $M$ -términos). Si bien la evidencia empírica sugiere que las redes neuronales son potentes, las justificaciones teóricas suelen basarse en la emulación de métodos existentes, logrando tasas comparables pero no superiores. Además, muchas clases de funciones clásicas admiten diccionarios que producen tasas óptimas de aproximación de $M$ -términos. Los autores buscan identificar propiedades estructurales de clases de funciones donde la aproximación composicional pueda superar estrictamente a cualquier aproximación superposicional, incluso bajo restricciones que aseguren un codificado eficiente de cadenas de bits para los parámetros (evitando la construcción trivial de diccionarios mediante "fuerza bruta").

Metodología y marco de trabajo
Los autores establecen un marco matemático riguroso dentro de un espacio de Hilbert $H$ para comparar esquemas de aproximación:

Tasas de aproximación: Definen la tasa de aproximación $\gamma(C, S)$ como el orden de decaimiento polinómico del error uniforme en función del presupuesto de parámetros $M$ .
Esquemas superposicionales: Se definen como combinaciones lineales de $M$ -términos de elementos de un diccionario $D = (\phi_i)_{i \in \mathbb{N}}$ , sujetos a una restricción de "búsqueda de profundidad polinómica". Esta restricción limita los índices y los tamaños de los coeficientes de los elementos del diccionario a un polinomio de $M$ , asegurando que el aproximante pueda codificarse como una cadena de bits de longitud $O(M \log^q M)$ . La tasa de aproximación Riesz ( $\gamma_{\text{Riesz}}$ ) es el supremo de las tasas alcanzables por cualquier diccionario que satisfaga un límite Riesz inferior (asegurando la estabilidad).
Esquemas composicionales: Se modelan mediante redes neuronales con restricciones en la profundidad (polilogarítmica en $M$ ), conectividad (lineal en $M$ ) y magnitud de los pesos (polinómica en $M$ ). Esto asegura una eficiencia de codificación de cadena de bits similar.
Perspectiva geométrica: La idea teórica central reside en la geometría asintótica de la clase de funciones. Los autores argumentan que si una clase de funciones puede ser $\epsilon$ -aproximada por una unión de un número limitado de subespacios lineales de baja dimensión (una estructura explotable por la composición), pero requiere un subespacio lineal de alta dimensión para la aproximación lineal, puede existir una brecha en las tasas. Esto está vinculado al concepto de "números de cobertura", donde el conjunto no lineal de aproximantes es de tamaño ínfimo en comparación con el espacio lineal necesario a medida que $\epsilon \to 0$ .

Contribuciones clave y resultados

La construcción SPOON: Los autores introducen un conjunto de estructura prototípica llamado SPOON (Superpolynomially growing almost Orthogonal sequeNce - Secuencia casi ortogonal de crecimiento superpolinómico). Una SPOON consiste en una secuencia de conjuntos $V_m$ donde:
- La cardinalidad crece superpolinómicamente ( $|V_m| \ge 2^{m^\alpha}$ ).
- Los elementos tienen normas que decaen como $m^{-\mu}$ .
- Los elementos son $\eta$ -casi ortogonales entre sí, con un límite de producto interno que decae como $m^{-\nu}$ .
Límite superior en las tasas superposicionales (Teorema 3.4): El resultado teórico central demuestra que si una clase de funciones $C$ contiene una $(\mu, \nu)$ -SPOON, la mejor tasa de aproximación Riesz alcanzable está acotada por:
$\gamma_{\text{Riesz}}(C) \le \frac{1}{2} + \frac{\mu}{\nu}$
La prueba utiliza un argumento de contradicción que involucra la geometría de conjuntos casi ortogonales y las propiedades de los diccionarios Riesz. Demuestra que cualquier diccionario que satisfaga la condición Riesz no puede cubrir eficientemente los conjuntos exponencialmente grandes y casi ortogonales dentro de la SPOON utilizando solo un número polinómico de términos.
Construcción explícita (Sección 4): Los autores construyen clases de funciones explícitas $V(k, \alpha, \beta, \mu)$ utilizando composiciones de una función "sombrero" (hat function) $f$ . Estas clases se forman mediante composiciones iteradas de funciones definidas por vectores binarios.
- Demuestran que estas clases contienen grandes conjuntos de funciones casi ortogonales que satisfacen las condiciones de la SPOON.
- Demuestran que las redes neuronales ReLU pueden aproximar estas clases con una tasa de $\gamma_{\rho}^N \ge \frac{\mu}{\alpha}$ .
- Combinando esto con el límite superior, muestran que para elecciones específicas de parámetros (por ejemplo, $\mu = \sqrt{k}$ ), la brecha entre las tasas composicionales y Riesz se vuelve arbitrariamente grande a medida que aumenta la profundidad de composición $k$ . Específicamente, $\lim_{k \to \infty} \gamma_{\rho}^N = \infty$ mientras que $\lim_{k \to \infty} \gamma_{\text{Riesz}} \le \frac{1}{2}$ .
Ejemplo de ortogonalidad patológica (Apéndice A): El artículo también presenta un ejemplo más simple, aunque más patológico, que involucra un sistema ortonormal donde los coeficientes decaen logarítmicamente. En este caso, la aproximación superposicional produce una tasa de $-\infty$ (sin decaimiento polinómico), mientras que las redes neuronales logran una tasa positiva, resaltando la dificultad que enfrentan los métodos superposicionales con estructuras altamente ortogonales.

Significado y afirmaciones
El artículo afirma proporcionar los primeros ejemplos explícitos de clases de funciones donde la aproximación composicional supera estrictamente a la superposicional, incluso cuando el método superposicional tiene permitido elegir el diccionario óptimo bajo estabilidad (Riesz) y restricciones de codificación.

La importancia radica en identificar una propiedad estructural específica —la presencia de grandes conjuntos casi ortogonales dentro de subespacios de dimensión finita— que es inherentemente difícil de capturar para las combinaciones lineales de manera eficiente, pero que es manejada naturalmente por la composición jerárquica de bloques de construcción simples. Los autores argumentan que este desajuste estructural explica por qué las redes neuronales pueden lograr mejores tasas sin depender de la inestabilidad o de un codificado de parámetros ilimitado. El trabajo sugiere que la ventaja de las redes neuronales no es meramente la aproximación universal, sino una adaptabilidad geométrica específica a clases de funciones con esta estructura de "casi ortogonalidad".

Los autores mantienen la modestia respecto al alcance, señalando que sus resultados se aplican a clases de funciones que contienen estas estructuras SPOON específicas, y que los límites actuales para las tasas superposicionales están restringidos a diccionarios Riesz, aunque creen que esto es una limitación técnica más que fundamental. No afirman que estos resultados se apliquen a todas las clases de funciones o que las redes neuronales sean universalmente superiores, sino que son superiores para clases que exhiben esta estructura geométrica asintótica específica.