📊 statistics

Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space

Este artículo establece un método directo para resolver la ecuación de síntesis de redes neuronales en redes de profundidad dos de ancho continuo mediante el aprovechamiento del análisis de Fourier y las transformas de ridgelet para caracterizar el espacio nulo de dimensión infinita, identificar soluciones de norma mínima únicas y demostrar cómo la no unicidad de los parámetros puede discretizarse y explotarse para revelar información codificada.

Autores originales: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir una máquina que pueda predecir el futuro, o quizás solo reconocer un gato en una foto. Construyes una "red neuronal", que es básicamente una gran red de diminutos interruptores matemáticos llamados neuronas. Cada neuría toma una entrada, realiza un pequeño cálculo y pasa el resultado adelante. La magia ocurre cuando ajustas las "perillas" (llamadas parámetros) de estas neuronas para que la máquina dé la respuesta correcta.

Pero aquí hay algo extraño sobre estas máquinas: a veces, puedes girar las perillas de una manera completamente diferente, y la máquina sigue dando exactamente la misma respuesta. Es como si estuvieras horneando un pastel y descubrieras que añadir una taza de azúcar o una taza de sal (en una receta muy específica y extraña) hace que el pastel sepa exactamente igual. En matemáticas, llamamos a esto "no unicidad". Significa que no hay un único conjunto perfecto de perillas para obtener un resultado; hay infinitos muchos.

Este artículo profundiza en este misterio. Pregunta: Si hay infinitas formas de ajustar las perillas para obtener el mismo resultado, ¿qué aspecto tienen esas configuraciones "incorrectas"? ¿Simplemente se desvanecen en la nada o están ocultando algo? Los autores tratan la red neuronal como una gigantesca onda continua en lugar de un grupo de interruptores separados. Utilizando una herramienta matemática llamada "transformada de Fourier" (piensa en ello como una forma de descomponer un sonido complejo en sus notas musicales individuales), logran averiguar exactamente cómo funcionan estos ajustes adicionales y ocultos. Descubren que estos ajustes ocultos forman un gigantesco espacio "fantasma" invisible. Puedes añadir estos fantasmas a tu máquina y no cambiará su salida en absoluto, pero podría cambiar cómo se comporta la máquina si la golpeas o la miras de forma diferente.

Los Fantasmas en la Máquina

El artículo, titulado "Ghosts in Neural Networks" (Fantasmas en las Redes Neuronales), es una inmersión profunda en los secretos ocultos de las redes neuronales de dos capas. Los autores, Sho Sonoda, Isao Ishikawa y Masahiro Ikeda, están esencialmente resolviendo un rompecabezas gigante: Si una red neuronal puede producir un resultado específico de muchas maneras diferentes, ¿cuáles son todas esas maneras diferentes?

Descubrieron que la respuesta no es simplemente "ruido aleatorio". En cambio, existe un espacio matemático estructurado y "fantasma" (llamado espacio nulo) donde puedes esconder cantidades infinitas de información sin cambiar el resultado final.

La analogía del "Fantasma"

Imagina que tienes una máquina de pintura mágica. Le das una orden: "Pinta un círculo rojo".

La forma estándar: Le dices a la máquina que mezcle pintura roja y dibuje un círculo.
La forma fantasma: Podrías decirle a la máquina que mezcle pintura roja, dibuje un círculo y luego añada una capa secreta e invisible de pintura "anti-roja" que se cancele perfectamente a sí misma, o añada un remolino secreto de tinta invisible que no haga absolutamente nada al cuadro final.

En el mundo de las redes neuronales, estas "capas invisibles" son los fantasmas. El artículo demuestra que estos fantasmas no son solo errores aleatorios; tienen una forma y estructura muy específicas. Los autores llaman a esto el espacio nulo de dimensión infinita. Es una habitación gigante e invisible donde puedes almacenar variaciones infinitas de la configuración de la máquina, y mientras te mantengas en esa habitación, la salida de la máquina (el círculo rojo) nunca cambia.

Cómo encontraron a los fantasmas

Los autores no solo adivinaron; construyeron un mapa matemático directo para encontrar estos fantasza.

Descomposición: Utilizaron una técnica llamada "separación de variables". Imagina que tienes una receta compleja. En lugar de intentar probar todo el plato a la vez, separas los ingredientes: "Esta parte es la harina, esta parte es el azúcar". Ellos separaron la matemática de la red neuronal en dos partes: la parte que realmente crea la imagen (el objetivo) y la parte que no hace nada (el fantasma).
La solución Ridgelet: Encontraron una fórmula matemática específica, llamada ridgelet, que actúa como una llave para desbloquear estos fantasmas. Es como tener una llave maestra que puede abrir cualquier puerta en la "habitación de los fantasmas".
La solución de norma mínima: Entre todas las infinitas formas de ajustar las perillas, hay una forma "perfecta" que utiliza la menor cantidad de energía (matemáticamente, la "norma mínima"). Los autores mostraron cómo encontrar esta configuración específica y más eficiente. Todo lo demás es solo un "fantasma" añadido encima.

Qué significa esto para las redes reales

El artículo no se queda solo en la teoría; muestra cómo se comportan estos fantasmas en el mundo real.

Ancho finito: Las redes neuronales reales no son infinitas; tienen un número limitado de neuronas (un "ancho finito"). Los autores demostraron que, incluso con un número limitado de neuronas, todavía se pueden aproximar estos fantasmas. Si tomas una configuración "fantasma" y la descompones en un número finito de neuronas, la salida de la máquina será casi cero (muy cercana al fantasma), con un error que se reduce a medida que añades más neuronas. Es como intentar dibujar un círculo perfecto con un número limitado de puntos; cuanto más puntos uses, más cerca estarás de un círculo perfecto.
Prueba numérica: Realizaron simulaciones por computadora para probarlo. Crearon una configuración "fantasma" y la introdujeron en una red finita. ¿El resultado? La salida de la red fue increíblemente cercana a cero, confirmando que los fantasmas existen incluso en redes pequeñas y reales.
Leer a los fantasmas: Esta es la parte más genial. Los autores demostraron que, aunque estos fantasmas no cambian la salida bajo condiciones normales, puedes "leerlos" si cambias las reglas ligeramente. Si ajustas la función de activación de la máquina (la regla que siguen las neuronas) solo un poquito, puedes hacer que la información oculta del fantasma aparezca y se vuelva visible. Es como tener un mensaje secreto escrito en tinta invisible que solo aparece cuando sostienes el papel ante un tipo específico de luz.

Lo que NO afirman

Es importante saber qué no dice este artículo.

No dice que cada red finita tenga un espacio gigante de fantasmas. A veces, si las neuronas están dispuestas de una manera específica y rígida, los fantasmas podrían desaparecer por completo. El artículo aclara que la "habitación de los fantasmas" es una propiedad de la versión continua (infinita) de la red, y las redes finitas solo aproximan estos fantasmas.
No dice que los algoritmos de aprendizaje (como los que entrenan a la IA) encuentren automáticamente estos fantasmas. El artículo demuestra que los fantasmas existen y muestra cómo encontrarlos matemáticamente, pero no afirma que una computadora aprendiendo a jugar ajedrez se topará naturalmente con ellos. Esa es una pregunta separada para investigaciones futuras.

La gran conclusión

Este artículo es una proeza matemática que convierte un problema confuso ("¿Por qué hay tantas formas de ajustar las perillas?") en un mapa claro y estructurado. Demuestra que los ajustes "extra" en una red neuronal no son solo ruido aleatorio; son una biblioteca estructurada e infinita de posibilidades ocultas.

Al encontrar la llave "Ridgelet", los autores nos mostraron cómo:

Encontrar la configuración más eficiente (la solución de norma mínima).
Comprender las configuraciones "fantasma" infinitas que no cambian la salida.
Aproximar estos fantasmas en redes reales y finitas.
Potencialmente leer la información oculta si sabemos cómo provocar al sistema de la manera adecuada.

En resumen, el artículo revela que las redes neuronales son mucho más flexibles y misteriosas de lo que pensábamos. No son solo calculadoras simples; son vastos espacios multidimensionales donde puedes esconder secretos infinitos, y con las herramientas matemáticas adecuadas, puedes encontrarlos todos.

Resumen Técnico: Fantasmas en Redes Neuronales

Planteamiento del Problema

El artículo aborda el problema de la no unicidad de los parámetros en redes neuronales totalmente conectadas de profundidad dos y anchura continua. Específicamente, busca resolver la "ecuación de la red neuronal" $S[\gamma] = f$ , donde $S$ es el operador de síntesis que mapea una distribución de parámetros $\gamma$ (sobre pesos $a$ y sesgos $b$ ) a una función de red $f$ .

Si bien la linealidad del mapa $\gamma \mapsto S[\gamma]$ permite el estudio de los parámetros neuronales mediante la teoría de operadores, también implica redundancia: distintas distribuciones de parámetros pueden representar exactamente la misma función. El desafío central es caracterizar el conjunto completo de soluciones, incluyendo el espacio nulo (o "fantasmas") del operador $S$ , e identificar una solución canónica de norma mínima. Trabajos previos habían identificado que las funciones tipo ridgelet ortogonales a la activación generan elementos nulos, pero faltaba una caracterización rigurosa y exhaustiva de todo el espacio nulo y un método directo para resolver la ecuación sin postular una transformada.

Metodología

Los autores emplean un método de expresión de Fourier directa combinado con el análisis funcional en espacios de Hilbert. El enfoque procede en tres etapas lógicas:

Separación de Variables por Fourier:
En lugar de asumir una transformada de ridgelet, los autores comienzan con la expresión de Fourier de la integral de la red. Al realizar la inversión de Fourier en la variable de preactivación y separar la frecuencia objetivo $\xi$ de la frecuencia unidimensional $\omega$ , derivan una fórmula de parámetros. Esta separación sugiere una estructura específica para la distribución de parámetros $\gamma$ que invierte el operador de síntesis, conduciendo naturalmente a una solución de tipo ridgelet.
Reconstrucción Abstracta y Geometría:
Para dotar de rigor al cálculo formal de Fourier, el artículo aísla el mecanismo algebraico subyacente: una factorización unitaria del operador de síntesis. Los autores demuestran un teorema de reconstrucción abstracta para factorizaciones unitarias, estableciendo la existencia de un adjunto, una inversa derecha normalizada y una descomposición ortogonal del espacio de soluciones. Este marco define la geometría de todas las soluciones como una suma directa de una solución particular y el espacio nulo.
Especialización en Espacios de Hilbert:
La teoría abstracta se especializa para redes neuronales construyendo espacios de Hilbert compatibles para la activación, los coeficientes y los parámetros.
- Espacio de Activación ( $A_{s,t}$ ): Un espacio de Sobolev ponderado que acomoda distribuciones templadas (p. ej., ReLU, sigmoide) con crecimiento polinómico.
- Espacio de Coeficientes ( $H_{s,t}$ ): Un espacio que asegura que el funcional de activación sea acotado y continuo.
- Espacio de Parámetros ( $G_{s,t}$ ): Un espacio de gráfico definido por la transformación de coordenadas unitaria, asegurando que el operador de síntesis $S: G_{s,t} \to L^2(\mathbb{R}^m)$ sea acotado.
  Esta construcción permite justificar analíticamente los pasos formales de Fourier, demostrando que el operador de síntesis es acotado y que se pueden transferir los límites a través de la integral.

Contribuciones Clave y Resultados

1. Solución Directa y Caracterización del Espacio Nulo

La principal contribución es una derivación directa de la solución de ridgelet a partir de la expresión de Fourier de la ecuación de la red neuronal.

Solución Particular: El método produce una transformada de ridgelet específica $R[f; \rho_0]$ que resuelve $S[\gamma] = f$ .
Espacio Nulo Completo: El artículo demuestra que el espacio nulo es agotado por una expansión de base de Hilbert de funciones ridgelet $R[e_i; \rho_j]$ donde el emparejamiento $\langle \sigma, \rho_j \rangle = 0$ .
Solución General: Cada solución $\gamma$ se representa de forma única como la suma de la solución particular de norma mínima y un elemento arbitrario del espacio nulo.

2. Solución Canónica de Norma Mínima

Mediante la construcción del adjunto de Hilbert $S^*$ y la inversa de Moore-Penrose $S^\dagger$ , los autores identifican una distribución de parámetros de norma mínima única para cualquier función objetivo $f$ . Esta solución viene dada por $S^\dagger f = c_\sigma^{-1} R[f; \sigma^*]$ , donde $\sigma^*$ es la función de ridgelet adjunta (el representante de Riesz del funcional de activación).

3. Funciones de Ridgelet Adjuntas Explícitas

El artículo proporciona fórmulas concretas para la función de ridgelet adjunta $\sigma^*$ para activaciones estándar (ReLU, tanh, CDF Gaussiana y densidad Gaussiana) dentro de geometrías de Hilbert específicas. Estas se derivan como soluciones a problemas de resolvente unidimensional en el dominio de Fourier.

4. Aproximación de Ancho Finito y Discretización

Los autores investigan cómo los elementos nulos continuos se relacionan con las redes de ancho finito:

Nulos Aproximados: Demuestran que cualquier medida nula no nula puede discretizarse en una red de ancho finito $N$ con un error de salida de $O(N^{-1/2})$ . Esto establece que la redundancia de parámetros no es meramente una patología de ancho infinito, sino que deja un rastro en redes finitas.
Nulos Exactos: Se muestra que las relaciones nulas finitas exactas surgen solo de simetrías algebraicas específicas de la activación (p. ej., paridad para funciones pares/impares o cancelación afín para ReLU), en lugar de provenir del espacio nulo continuo general.

5. Lectura Perturbativa

El artículo demuestra que la información codificada en el espacio nulo (que es invisible para la activación estándar $\sigma$ ) puede hacerse visible aplicando una perturbación de parámetro aditiva específica. Esta perturbación, que es la corrección única de norma mínima, permite que una activación "decodificadora" lea las funciones almacenadas en el componente nulo sin alterar dicho componente.

Significado y Alcance

El artículo afirma proporcionar la primera solución rigurosa y exhaustiva a la ecuación de la red neuronal para redes de profundidad dos de ancho continuo utilizando un método de Fourier directo. Su importancia radica en:

Fundamentación Rigurosa: Reemplaza las construcciones heurísticas de ridgelets con un marco de teoría de operadores acotados, demostrando que el método de separación de variables por Fourier es matemáticamente sólido para activaciones de distribuciones templadas.
Claridad Estructural: Separa explícitamente la función objetivo "visible" de los componentes nulos "fantasmas", proporcionando una descripción geométrica completa del espacio de parámetros.
Selección Canónica: Ofrece una forma fundamentada de seleccionar una distribución de parámetros de norma mínima única, resolviendo la ambigüedad inherente a las redes sobreparametrizadas.

Los autores declaran explícitamente que el trabajo se centra en la análisis funcional del operador de síntesis y en la solución completa de la ecuación. Si bien los resultados tienen implicaciones potenciales para la teoría del aprendizaje (p. ej., límites de generalización, núcleos de tangente neuronal), el artículo los trata como consecuencias que deben investigarse por separado, en lugar de reclamos del teorema de estructura actual. Los resultados están formalizados en Lean 4 para asegurar la corrección.