The minimal width of universal $p$-adic ReLU neural networks

El artículo determina el ancho mínimo necesario para que las redes neuronales $p$-ádicas con función de activación análoga al ReLU posean la propiedad de aproximación universal para funciones continuas con valores en $\mathbb{Q}_p$ sobre subconjuntos compactos abiertos, bajo las normas $L_q$ y $C_1$.

Lo esencial

¡Hola! Imagina que quieres construir un robot muy inteligente capaz de reconocer cosas, como un gato en una foto. Normalmente, usamos matemáticas con números reales (como 1, 2, 3.14...) para entrenar a este robot. Pero en este artículo, los autores, Sándor Z. Kiss y Ambrus Pál, se preguntan: "¿Qué pasaría si en lugar de usar los números normales, usáramos un tipo de matemáticas muy extraño llamado 'números p-ádicos'?"

Aquí tienes la explicación de su descubrimiento, traducida a un lenguaje sencillo y con analogías divertidas:

1. El Mundo de los Números "P-Ádicos" (El Laberinto Infinito)

Imagina que los números reales son como una línea recta infinita donde puedes caminar suavemente de un punto a otro.
Los números p-ádicos, en cambio, son como un laberinto de cajas chinas o un árbol gigante donde las ramas se separan para siempre. En este mundo, la distancia funciona de manera extraña: dos números pueden parecer muy diferentes, pero si comparten muchos "dígitos" al final de su historia (en base $p$), están muy cerca.

El mundo p-ádico es totalmente desconectado. No puedes caminar suavemente de un lado a otro; tienes que saltar de una "caja" a otra. Esto es clave para entender el papel de los autores.

2. El Problema: ¿Cuánto "Cerebro" necesita el robot?

En el mundo normal (números reales), para que una red neuronal (el cerebro del robot) pueda aprender cualquier función o patrón, necesita tener un ancho mínimo (un número mínimo de neuronas en cada capa). Si el robot es muy estrecho, no puede aprender cosas complejas.

Los autores se preguntaron: ¿Cuál es el ancho mínimo necesario para que un robot hecho de "matemáticas p-ádicas" aprenda cualquier cosa?

Usaron una herramienta especial llamada pReLU.

• La analogía: Imagina que tienes un interruptor. Si la señal que entra es "segura" (está dentro de un rango normal), el interruptor la deja pasar tal cual. Si la señal es "rara" o fuera de rango, el interruptor la corta y la convierte en cero. Es como un filtro de seguridad muy estricto.

3. El Gran Descubrimiento (La Regla de Oro)

El resultado principal del artículo es una fórmula simple que dice cuánto "ancho" necesita tu red neuronal p-ádica para ser universal (es decir, para poder imitar cualquier función).

La regla es: El ancho debe ser al menos el mayor de dos números:

1. El número de entradas + 1 (Si tienes $d$ sensores, necesitas $d+1$ neuronas).
2. El número de salidas (Si quieres que el robot te dé $k$ respuestas diferentes, necesitas al menos $k$ neuronas).

En resumen: Si tienes una red que recibe 3 datos y debe dar 2 respuestas, necesitas un ancho de al menos 4 (porque $3+1 = 4$, que es mayor que 2).

4. ¿Por qué es más fácil en este mundo "extraño"?

Aquí está la parte más interesante y la razón por la que el artículo es importante.

• En el mundo real: A veces, para aprender una función compleja, necesitas muchas neuronas porque la función tiene "curvas" y "baches" topológicos difíciles de atravesar. Es como intentar dibujar una montaña con un lápiz muy corto; necesitas muchos trazos.
• En el mundo p-ádico: Como el espacio es como un árbol de cajas (totalmente desconectado), no hay "curvas" suaves ni obstáculos topológicos. Todo es un salto de caja en caja.
  • La analogía: Imagina que quieres pintar un mapa de un país. En el mundo real, tienes que dibujar las fronteras curvas con cuidado. En el mundo p-ádico, el país está hecho de bloques de Lego perfectamente cuadrados. Si tienes suficientes bloques (neuronas), puedes construir cualquier forma simplemente apilando los bloques correctos. No hay "trampas" topológicas.

Por eso, en este mundo, la dificultad es la misma para todas las medidas de error. No importa si quieres ser muy preciso o solo "bastante" preciso; la regla del ancho mínimo es la misma.

5. ¿Cómo lo demostraron? (El truco de los "Códigos")

Para probar que su regla funciona, los autores construyeron dos tipos de "máquinas" dentro de la red neuronal:

1. La Máquina de Codificación (Encoder): Imagina que tienes muchas cajas pequeñas (grupos de números). Esta máquina toma un número, mira en qué caja está, y le asigna un código único (un número especial) para esa caja. Con un ancho de $d+1$, pueden crear códigos únicos para todas las cajas posibles.
2. La Máquina de Decodificación (Decoder): Esta es la parte mágica. Es como un mago que toma un solo número (el código) y lo convierte en una lista larga de números que cubren todas las posibilidades. Logran esto usando una función que "juega" con los números (llamada función de "juggling" o malabarismo) para asegurar que, sin importar qué número de salida quieras, siempre hay un camino para llegar a él.

Conclusión

El papel nos dice que, si decides construir una inteligencia artificial usando matemáticas p-ádicas (que podrían ser mejores para ciertos tipos de clasificación o datos discretos), no necesitas ser un genio para calcular el tamaño de tu red. Solo sigue la regla simple: Entradas + 1 o Salidas, el que sea mayor.

Y lo mejor de todo: gracias a la naturaleza "saltarina" y desconectada de estos números, es mucho más fácil lograr que tu red neuronal aprenda cualquier cosa que en el mundo de los números reales, porque no tienes que lidiar con las complicadas curvas del mundo real. ¡Es como construir con Lego en lugar de con arcilla!

Resumen técnico

1. Planteamiento del Problema

El artículo aborda el problema de la aproximación universal en el contexto de las redes neuronales definidas sobre el campo de los números p-ádicos ($\mathbb{Q}_p$), en lugar del campo de los números reales ($\mathbb{R}$).

• Objetivo: Determinar el ancho mínimo ($w$) necesario para que una red neuronal con función de activación análoga a ReLU tenga la propiedad de aproximación universal para funciones continuas $f: \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$.
• Contexto: Mientras que en el caso real existen estudios sobre el ancho mínimo de redes ReLU, el caso p-ádico presenta diferencias topológicas fundamentales. La motivación principal es demostrar que las redes p-ádicas son adecuadas para problemas de clasificación y aproximación en espacios totalmente desconectados, aprovechando la estructura de $\mathbb{Q}_p$.
• Definiciones Clave:
  • Dominio: Subconjuntos compactos y abiertos de $\mathbb{Z}_p^{d_x}$ (donde $\mathbb{Z}_p$ son los enteros p-ádicos).
  • Normas: Se consideran las normas $L_q$ (para $q \in [1, \infty]$) y la norma $C^1$ (denotada como $L_\infty$ en el texto, basada en el supremo).
  • Función de Activación (pReLU): Definida como:
    $$\text{pReLU}(x) = \begin{cases} x & \text{si } x \in \mathbb{Z}_p \\ 0 & \text{si } x \notin \mathbb{Z}_p \end{cases}$$
  • Restricción de Pesos: Se permite que los pesos sean en $\mathbb{Q}_p$, incluso si la función objetivo toma valores en $\mathbb{Z}_p$. Si se restringieran los pesos a $\mathbb{Z}_p$, la red solo podría calcular mapas afines y perdería la universalidad.

2. Metodología y Enfoque Teórico

Los autores utilizan un enfoque que combina topología p-ádica, teoría de módulos sobre anillos de valoración discreta y construcciones algebraicas de redes neuronales.

A. Diferencias Topológicas Críticas

A diferencia de $\mathbb{R}$, el espacio $\mathbb{Q}_p$ es totalmente desconectado. Esto elimina las obstrucciones topológicas sutiles presentes en el caso real (como la necesidad de capas ocultas grandes para "doblar" el espacio continuo).

• Estrategia de Aproximación: Dado que $\mathbb{Z}_p$ es compacto y totalmente desconectado, cualquier función continua puede aproximarse arbitrariamente bien por funciones localmente constantes. Estas funciones son constantes en las clases laterales (cosets) de subgrupos abiertos de la forma $p^k \mathbb{Z}_p$.

B. Estructura de la Prueba

La demostración se divide en dos partes principales: la cota inferior (necesidad) y la cota superior (suficiencia).

1. Cota Inferior (Teorema 2.13 y 2.15):

   • Se demuestra que si el ancho $w < \max(d_x + 1, d_y)$, la red no puede aproximar ciertas funciones.
   • Obstrucción para $w < d_y$: Si el ancho es menor que la dimensión de salida, la imagen de la red cae en un subespacio afín propio de $\mathbb{Q}_p^{d_y}$. Usando la convexidad de los subconjuntos en $\mathbb{Q}_p$ (definidos como cosets de submódulos $\mathbb{Z}_p$), se prueba que existe una bola de radio $1/p$ disjunta de la imagen, impidiendo la aproximación de funciones que cubren todo el espacio.
   • Obstrucción para $w \le d_x$: Se utiliza un resultado clave (Teorema 2.13): Si una red pReLU de ancho $n$ no es afín en $\mathbb{Z}_p^n$, entonces existe una bola de radio $1/p$ donde la función es constante en alguna dirección. Esto contradice la capacidad de aproximar funciones inyectivas o homeomorfismos que no poseen esta propiedad de constancia local en direcciones específicas.

2. Cota Superior (Construcción de Redes):

   • Se demuestra que si $w \ge \max(d_x + 1, d_y)$, la red es universal.
   • Paso 1: Codificación (Teorema 3.4): Se construye una red de ancho $d_x + 1$ que actúa como una función de codificación. Esta red mapea las clases laterales de $p^m \mathbb{Z}_p^{d_x}$ a valores distintos en $\mathbb{Z}_p$, preservando la estructura de la función localmente constante.
   • Paso 2: Decodificación (Lema 3.16-3.19): Se construye una función de "juggling" (manejo de múltiples salidas) y una función de decodificación de ancho $d_y$. Estas permiten mapear un valor escalar codificado de vuelta a un vector en $\mathbb{Z}_p^{d_y}$ que caiga en la clase lateral correcta.
   • Composición: La red final combina la codificación de la entrada, una interpolación en el espacio codificado (usando ancho 2 o $d_x+1$) y la decodificación a la salida.

3. Contribuciones Clave y Resultados Principales

El resultado central del artículo es el Teorema 1.2:

Teorema 1.2: Para todo $q \in [1, \infty]$, las redes pReLU de ancho $w$ tienen la propiedad de aproximación universal para funciones continuas $f: \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$ en la norma $L_q$ si y solo si:
$$w \ge \max(d_x + 1, d_y)$$

Puntos Destacados:

• Unicidad de la Cota: A diferencia del caso real, donde las cotas para normas $L_q$ y $C^1$ pueden diferir debido a la conectividad del espacio, aquí la cota es idéntica para todas las normas. Esto se debe a la naturaleza totalmente desconectada de $\mathbb{Q}_p$.
• Ancho Mínimo: El ancho requerido es $d_x + 1$ (para manejar la no-linealidad y la codificación de la entrada) o $d_y$ (para cubrir la dimensión de salida), tomando el máximo de ambos.
• Inexistencia de Integración $\mathbb{Q}_p$: Los autores notan que, aunque se pueden definir normas $L_q$, no existe una integración $\mathbb{Q}_p$-valuada continua invariante por traslaciones (salvo la función cero), lo que obliga a trabajar con aproximaciones directas y normas de supremo en lugar de integrales estándar.
• Construcción Explícita: A diferencia de pruebas de existencia puramente topológicas, el artículo proporciona una construcción algorítmica (aunque abstracta) de las redes mediante funciones de codificación y decodificación basadas en la aritmética p-ádica.

4. Significado e Impacto

• Fundamentación Teórica de Redes p-Ádicas: El trabajo establece un marco riguroso para el uso de redes neuronales en análisis p-ádico, demostrando que no son meras curiosidades matemáticas sino herramientas con propiedades de aproximación robustas y bien definidas.
• Eficiencia en Espacios Discretos/Totalmente Desconectados: El resultado sugiere que para problemas de clasificación o aproximación en espacios con topología ultramétrica (comunes en ciertos modelos de datos discretos o jerárquicos), las redes p-ádicas pueden ser más eficientes o requerir menos ancho que sus contrapartes reales para lograr la misma universalidad, al evitar la necesidad de "suavizar" la topología.
• Analogía y Divergencia con el Caso Real: El artículo clarifica dónde las intuiciones del aprendizaje profundo real se mantienen (la necesidad de ancho suficiente para la dimensión de salida) y dónde fallan (la necesidad de capas extra para superar obstrucciones topológicas de conectividad). En el caso p-ádico, la desconexión total simplifica el problema de la aproximación, permitiendo que funciones localmente constantes (que son densas) sean computables con estructuras de red relativamente simples.

En resumen, Kiss y Pál demuestran que la universalidad en redes neuronales p-ádicas con activación pReLU está garantizada con un ancho mínimo preciso y alcanzable, resolviendo una pregunta abierta sobre la capacidad de representación de estos modelos en el contexto de la teoría de números y el análisis funcional p-ádico.