🤖 machine learning

Do Neural Networks Really Beat the Curse of Dimensionality? A Bit-Complexity View

Este artículo sostiene que cuando la eficiencia de aproximación se evalúa mediante la complejidad de bits computacional en lugar del recuento de parámetros, ningún método supera fundamentalmente los límites intrínsecos establecidos por la entropía métrica, revelando que las ventajas percibidas de las redes neuronales a menudo derivan de diferencias en la complejidad de la clase de funciones más que de una superioridad arquitectónica, y reformulando la tradicional "maldición de la dimensionalidad" como una "maldición de la complejidad de bits" más fundamental.

Autores originales: Tong Mao, Jinchao Xu

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tong Mao, Jinchao Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de describir un objeto complejo y de alta dimensionalidad —como una galaxia giratoria o un pastel de múltiples capas— a un amigo que solo puede entender dibujos simples y planos. En el mundo de la informática y las matemáticas, esto se conoce como un "problema de aproximación de alta dimensionalidad". Durante décadas, los científicos han estado luchando contra un enemigo notorio llamado la "maldición de la dimensionalidad". El nombre suena aterrador, pero la idea es simple: a medida que el número de variables (o dimensiones) en un problema crece, la cantidad de información necesaria para describirlo con precisión explota. Es como intentar pintar un cuadro de un objeto de 100 dimensiones; el número de pinceladas requeridas parece crecer tan rápido que resulta imposible terminar el trabajo.

Durante mucho tiempo, la forma estándar de medir qué tan bien resuelve un problema una computadora era contando "parámetros". Piensa en los parámetros como los botones, diales y ajustes de una máquina. Si un método utiliza menos botones para obtener el mismo resultado, se considera más eficiente. Recientemente, las redes neuronales (los sistemas de IA que impulsan cosas como el reconocimiento de imágenes y los modelos de lenguaje) han sido celebradas porque parecen romper esta maldición. Parecen resolver problemas de alta dimensionalidad con un número de botones que no explota a medida que las dimensiones crecen, lo que ha llevado a muchos a creer que han encontrado una llave mágica para desbloquear los problemas más complejos de la ciencia.

Sin embargo, hay un detalle que a menudo se pasa por alto en medio del entusiasmo. En el mundo real, las computadoras no almacenan números con precisión infinita; los almacenan como cadenas de 0s y 1s, o "bits". Cada botón de esa máquina necesita ser codificado en un número específico de bits para poder ser almacenado y calculado. Este artículo plantea una pregunta fundamental: si dejamos de contar solo los botones y empezamos a contar los bits reales de información necesarios para almacenarlos, ¿siguen las redes neuronales pareciendo mágicas? Los autores, Tong Mao y Jinchao Xu, profundizan en esta cuestión, utilizando un concepto llamado "entropía métrica" (que esencialmente mide la cantidad mínima de información necesaria para describir una forma o función) para ver si las redes neuronales realmente vencen la maldición o si solo están ocultando el costo de otra manera.

El gran robo de conteo de bits

Los autores de este artículo, Tong Mao y Jincho Xu, decidieron ponerse sus sombreros de detectives y observar la "maldición de la dimensionalidad" desde un nuevo ángulo. En lugar de simplemente contar cuántos parámetros (botones) utiliza un método, se preguntaron: "¿Cuánta memoria en bits requiere realmente almacenar esos botones y obtener una buena respuesta?".

Para entender su investigación, imagina que estás tratando de describir una colina suave y ondulada a un robot.

La forma antigua (Contar parámetros): Podrías decir: "Necesito 100 puntos para describir esta colina". Si cambias a un nuevo método, como una red neuronal, y dices: "Solo necesito 10 puntos", sientes que has ganado. ¡Has vencido a la maldición!
La nueva forma (Contar bits): Pero espera. ¿Qué pasa si esos 10 puntos son increíblemente sensibles? ¿Qué pasa si para describir la forma de la colina con precisión, cada uno de esos 10 puntos necesita ser almacenado con una precisión extrema, como necesitar 1,000 bits para cada punto? De repente, no estás usando 10 unidades de información; estás usando 10,000. Mientras tanto, el método "antiguo" usaba 100 puntos, pero cada uno solo necesitaba 10 bits. Al final, el método "antiguo" en realidad utilizó menos bits totales.

El artículo argumenta que durante mucho tiempo hemos sido engañados por el "conteo de parámetros". Vimos a las redes neuronales usar menos botones y asumimos que eran más eficientes. Pero cuando los autores midieron la eficiencia en términos de bits (la moneda real de la computación), la historia cambió.

La "magia" que no es tan mágica

Los investigadores analizaron dos tipos principales de "magia" por las que las redes neuronales eran famosas:

Tasas independientes de la dimensión: Algunos estudios afirmaban que las redes neuronales podían aproximar ciertas funciones complejas sin que su rendimiento empeorara a medida que aumentaba el número de dimensiones. Parecía que habían encontrado una forma de ignorar por completo el tamaño del problema.
Superconvergencia: Esta es la idea de que las redes neuronales profundas (redes con muchas capas) pueden aproximar funciones suaves mucho más rápido que los métodos tradicionales como los polinomios o los elementos finitos. Parecía que estaban pasando de largo a la competencia.

La investigación de los autores reveló que estas "superpoderes" son en gran medida una ilusión creada por la forma en que medimos las cosas.

Cuando analizaron la entropía métrica —un término sofisticado para la complejidad intrínseca de la clase de funciones que se está aproximando— descubrieron que las funciones que las redes neuronales son buenas aproximando (como las de los "espacios de Barron") son en realidad solo más simples que las funciones con las que los métodos tradicionales tienen dificultades. No es que la red neuronal sea un mejor artista; es que la pintura que se le pide copiar tiene menos detalles que la que el artista tradicional estaba intentando copiar. La velocidad "independiente de la dimensión" no es porque la red sea especial; es porque el objetivo era fácil desde el principio.

La trampa de las redes profundas

El hallazgo más sorprendente se refiere a las redes neuronales profundas. Estas son las redes con muchas capas que han estado recibiendo todo el bombo publicitario. El artículo muestra que, si bien las redes profundas pueden de hecho lograr una tasa de error más rápida cuando se mide por el número de parámetros (los "botones"), esta velocidad viene con un impuesto oculto.

Debido a que las redes profundas son tan compleas y sensibles, los números dentro de ellas (los pesos y sesgos) necesitan ser almacenados con una precisión mucho mayor para evitar errores. Los autores demostraron que el número de bits necesarios para almacenar estos parámetros crece de forma explosiva a medida que la red se hace más profunda.

Piénsalo de esta manera: una red poco profunda es como un puente de madera robusto. Requos muchos tablones (parámetros), pero cada tablón es fácil de medir y almacenar. Una red profunda es como un puente de cristal. Utiliza menos tablones, pero cada tablón es tan frágil y preciso que necesitas un escáner láser para medirlo. Si intentas construir el puente de cristal con una cinta métrica estándar (precisión finita), se derrumba.

El artículo demuestra que cuando cuentas el total de bits necesarios para construir ese puente de cristal, la "eficiencia" desaparece. Los bits adicionales necesarios para mantener la estabilidad de la red profunda cancelan la ventaja de tener menos parámetros. De hecho, para muchos problemas estándar, las redes profundas terminan requiriendo tantos bits, o incluso más, que los métodos clásicos como los polinomios o los elementos finitos.

El veredicto: Es un poco de una maldición

Entonces, ¿vencen las redes neuronales a la maldición de la dimensionalidad? Según Mao y Xu, la respuesta es no, al menos no de la manera en que pensábamos.

La "maldición" no se trata realmente del número de dimensiones. Se trata de la complejidad de los bits. El límite fundamental de qué tan bien puedes aproximar una función está determinado por cuánta información (bits) contiene realmente esa función. Esto está gobernado por la "entropía métrica".

Si una función es compleja, requiere muchos bits para ser descrita, sin importar qué herramienta utilices.
Si una función es simple, requiere menos bits.

Las redes neuronales no cambian las reglas del juego; solo cambian la forma en que cuentan la puntuación. Cuando miramos el juego a través del lente de los bits en lugar de los parámetros, la "superioridad" de las redes neuronales a menudo desaparece. Las ventajas aparentes, como las tasas independientes de la dimensión o la superconvergencia, son a menudo solo porque las redes neuronales están siendo probadas en clases de funciones que son inherentemente menos complejas (tienen una entropía métrica menor) que aquellas en las que se prueban los métodos tradicionales.

Por qué esto es importante

Este artículo no dice que las redes neuronales sean inútiles. Dice que debemos ser más inteligentes sobre cómo las evaluamos. En el mundo real, las computadoras tienen memoria finita. No pueden almacenar una precisión infinita. Si un método parece excelente en el papel porque usa menos parámetros, pero requiere una cantidad masiva de memoria para almacenar esos parámetros con precisión, podría no ser la mejor opción para una aplicación del mundo real.

Los autores sugieren que la "maldición de la dimensionalidad" es en realidad una "maldición de la complejidad de los bits". El límite real no es cuántas dimensiones tienes, sino cuántos bits necesitas para describir el problema. Al cambiar nuestro enfoque de contar botones a contar bits, obtenemos una imagen mucho más clara y realista de lo que estas poderosas herramientas pueden y no pueden hacer. Es un recordatorio de que, en el mundo de las matemáticas de alta dimensionalidad, el diablo siempre está en los detalles... y esos detalles se miden en bits.

Resumen Técnico: ¿Realmente las Redes Neuronales Vencen la Maldición de la Dimensionalidad? Una Perspectiva de Complejidad de Bits

1. Planteamiento del Problema

La aproximación en alta dimensión es un desafío central en el cálculo científico y el aprendizaje automático, tradicionalmente obstaculizado por la "maldición de la dimensionalidad". En la teoría de la aproximación clásica, el número de grados de libertad ( $N$ ) requerido para lograr una precisión prescrita a menudo crece exponencialmente con la dimensión ( $d$ ). Por ejemplo, en espacios de Sobolev $H^r([0,1]^d)$ , la tasa de convergencia óptima para los métodos clásicos (polinomios, elementos finitos) escala como $O(N^{-r/d})$ , donde el exponente se deteriora a medida que $d$ aumenta.

La literatura reciente sugiere que las redes neuronales (tanto superficiales como profundas) pueden superar esta maldición, exhibiendo tasas independientes de la dimensión o "superconvergencia" (por ejemplo, logrando $O(N^{-2r/d})$ para redes ReLU profundas en espacios de Sobolev). Sin embargo, estos resultados se miden típicamente en términos del número de parámetros ( $N$ ).

El artículo identifica una brecha crítica: la computación práctica opera bajo precisión finita. Los parámetros deben codificarse utilizando un número finito de bits. Los autores argumentan que medir la eficiencia únicamente por el conteo de parámetros es engañoso porque ignora la complejidad de bits requerida para representar esos parámetros con la precisión suficiente. El problema central es reevaluar las tasas de aproximación a través de la lente de la complejidad de bits computacional y la entropía métrica para determinar si las redes neuronales poseen realmente una ventaja intrínseca sobre los métodos clásicos.

2. Metodología

Los autores desarrollan un marco de aproximación unificado basado en la codificación binaria y la entropía métrica.

2.1 Entropía Métrica y Complejidad de Bits

La herramienta teórica central es la entropía métrica (o número de entropía diádica) $\epsilon_m(K)_X$ , definida como el radio mínimo $\epsilon$ tal que un conjunto compacto $K$ en un espacio de Banach $X$ puede ser cubierto por $2^m$ bolas de radio $\epsilon$ .

La Proposición 2 establece que $\epsilon_m(K)_X$ es cuantitativamente equivalente al error de aproximación óptimo alcanzable con $m$ bits. Por lo tanto, la entropía métrica caracteriza el contenido de información intrínseco (complejidad de bits) de una clase de funciones.
El artículo distingue entre tasas basadas en parámetros (convergencia en términos de $N$ ) y tasas basadas en bits (convergencia en términos de $N_b$ , el número total de bits).

2.2 Análisis de Codificación

La metodología implica analizar cómo las aproximaciones clásicas y de redes neuronales se traducen en representaciones de bits finitos:

Representación de Parámetros: Un método de aproximación mapea una función $f$ a un conjunto de parámetros $\Theta \in \mathbb{R}^N$ .
Cuantización: Los parámetros se cuantizan a $\tau$ bits cada uno, resultando en un presupuesto total de bits $N_b = N\tau$ .
Análisis de Estabilidad: Los autores analizan la constante de Lipschitz (sensibilidad) del mapa de reconstrucción $\tilde{S}_N$ . Si la reconstrucción es altamente sensible a las perturbaciones de los parámetros, se requiere un $\tau$ mayor (más bits por parámetro) para mantener una tolerancia de error específica.
Límites Inferiores: Utilizando el Lema 2, el artículo deriva límites inferiores para los errores de aproximación basados en la diferencia entre la entropía métrica de la clase de funciones objetivo y la entropía métrica de la clase de aproximación.

3. Contribuciones Clave y Resultados

3.1 Métodos Clásicos (Polinomios, FEM, Grillas Dispersas)

El artículo analiza los métodos clásicos (aproximación polinómica, elementos finitos, grillas dispersas/sparse grids) bajo el marco de la complejidad de bits.

Resultado: Para los métodos clásicos que aproximan espacios de Sobolev $H^r$ , la tasa basada en parámetros es $O(N^{-r/d})$ . Al convertirse a tasas basadas en bits, la convergencia se convierte en $O((N_b / \log N_b)^{-r/d})$ .
Suboptimalidad: Los autores muestran que estos métodos son generalmente subóptimos en relación con los límites de la entropía métrica intrínseca de las clases de funciones. La entropía métrica de $H^r$ decae como $m^{-r/d}$ , pero los métodos clásicos a menudo no logran esta tasa cuando se consideran las restricciones de bits, particularmente debido a la sobrecarga logarítmica en la codificación de los parámetros.

3.2 Redes Neuronales: Superficiales y Profundas

El artículo reevalúa el desempeño de las redes neuronales (ReLU y $\text{ReLU}^k$ ) en espacios de Barron y espacios de Sobolev.

Redes Superficiales en Espacios de Barron:
- Las redes superficiales logran tasas basadas en parámetros de $O(N^{-1/2 - (2k+1)/2d})$ en espacios de Barron.
- Perspectiva de Complejidad de Bits: Al contabilizar la codificación de bits, la tasa permanece comparable a la entropía métrica del espacio de Barron. La apariencia de "independencia de la dimensión" se atribuye a la baja entropía métrica del propio espacio de Barron, no a una superioridad arquitectónica. La clase objetivo es simplemente menos compleja que el espacio de Sobolev.
Redes Profundas y Superconvergencia:
- Se ha demostrado que las redes ReLU profundas pueden alcanzar tasas de "superconvergencia" de $O(N^{-2r/d})$ en espacios de Sobolev, aparentemente duplicando el exponente en comparación con los métodos clásicos.
- Perspectiva de Complejidad de Bits: Los autores demuestran que esta mejora es un artefacto del conteo de parámetros. El Lema 1 prueba que el mapa de reconstrucción para redes profundas exhibe una sensibilidad exponencial a las perturbaciones de los parámetros (la constante de Lipschitz crece como $(n+1)(W+1)^{n+1}M^{n+1}$ ).
- Para mantener la misma precisión, la precisión requerida (bits por parámetro) crece polinómicamente con el tamaño de la red. En consecuencia, la tasa basada en bits para las redes profundas se degrada a $O(N_b^{-2r/3d})$ (o similar, dependiendo de las constantes), lo cual no supera la tasa clásica de $O(N_b^{-r/d})$ . La "superconvergencia" se ve compensada por el enorme costo de bits requerido para una representación estable de precisión finita.

3.3 Límites Inferiores y Optimalidad

Utilizando el marco de la entropía métrica, el artículo establece límites inferiores fundamentales:

Ningún método puede exceder fundamentalmente el orden de aproximación dictado por la entropía métrica de la clase de funciones objetivo.
Muchas ventajas aparentes de las redes neuronales (independencia de la dimensión, superconvergencia) provienen de analizar clases de funciones con menor complejidad intrínseca (ej. espacios de Barron) o de ignorar el costo de bits de la estabilidad (en el caso de las redes profundas).

4. Significado y Conclusiones

El artículo concluye que la "maldición de la dimensionalidad" no es una propiedad intrínseca de la aproximación en alta dimensión, sino más bien una maldición de la complejidad de bits gobernada por la entropía métrica.

Reencuadre de la Maldición: La limitación fundamental no es la dimensión $d$ en sí misma, sino la entropía métrica de la clase de funciones que se está aproximando. Si una clase de funciones tiene baja entropía métrica (como los espacios de Barron), puede aproximarse eficientemente independientemente de la dimensión.
Limitaciones de las Redes Neuronales: Las redes neuronales no poseen una ventaja arquitectónica intrínseca que les permita eludir los límites establecidos por la entropía métrica.
- Su éxito en clases específicas (Barron) se debe a la baja complejidad de dichas clases.
- Su "superconvergencia" en redes profundas es una ilusión del conteo de parámetros que desaparece cuando se aplican las restricciones de complejidad de bits de precisión finita.
Implicación Práctica: En la computación práctica de precisión finita, el costo de bits para representar los parámetros es el verdadero cuello de botella. Los métodos que parecen superiores en conteo de parámetros pueden ser inferiores en complejidad de bits debido a la inestabilidad.

Los autores afirman que una visión unificada basada en la entropia métrica y la complejidad de bits proporciona un estándar más preciso y realista para evaluar los métodos de aproximación, revelando que los métodos clásicos tradicionales y las redes neuronales están sujetos a los mismos límites fundamentales de la teoría de la información.