Minimal Filling Architectures of Polynomial Neural Networks: Counterexamples, Frontier Search, and Defects

Resumen Técnico: Arquitecturas de Relleno Mínimo de Redes Neuronales Polinómicas

Enunciado del Problema
El artículo aborda una pregunta fundamental en la geometría neuroalgebraica sobre las propiedades estructurales de las Redes Neuronales Polinómicas (PNN). Específicamente, investiga la "Conjetura de Relleno Mínimo Unimodal" (Conjetura 12 en [8]). La conjetura postula que para las PNN con funciones de activación de potencia ($\sigma(z) = z^r$), cualquier Arquitectura de Relleno Mínimo (MFA) —definida como la configuración de red más pequeña capaz de abarcar todo el espacio funcional (neurovariedad) para dimensiones fijas de entrada/salida— debe poseer anchos de capas ocultas unimodales. Es decir, la secuencia de anchos de capa debe aumentar hasta un pico y luego disminuir ($d_0 \le \dots \le d_i \ge \dots \ge d_L$). Esta hipótesis se alinea con la "sabiduría convencional" en el aprendizaje automático de que las redes expanden su capacidad para capturar patrones y luego se estrechan para refinarlos.

Metodología
Los autores emplean una combinación de geometría algebraica, computación simbólica y búsqueda algorítmica para poner a prueba la conjetura:

1. Marco Algebraico: El estudio utiliza el mapa de parámetros $\Psi_{d,r}$, que mapea los pesos de la red al espacio de polinomios homogéneos (la neurovariedad $V_{d,r}$). Una arquitectura es "de relleno" si la dimensión de su neurovariedad es igual a la dimensión del espacio ambiente (el espacio completo de tensores simétricos).
2. Verificación de Dimensión: Para determinar si una arquitectura es de relleno, los autores calculan el rango genérico del jacobiano del mapa de parámetros. Dado que el cálculo simbólico exacto del rango es difícil para redes grandes, utilizan cálculos en cuerpos finitos (sobre $\mathbb{F}_p$) para determinar el rango genérico. Si el rango sobre un cuerpo finito coincide con la dimensión del espacio ambiente, la arquitectura es de relleno.
3. Límites Recursivos: Para probar la minimalidad (que ninguna subarquitectura es de relleno), los autores aplican límites de dimensión recursivos derivados del Lema 2.4 en [8]. Esto les permite acotar la dimensión de una subarquitectura sumando las dimensiones de sus partes constituyentes menos el ancho de la interfaz.
4. Algoritmo de Búsqueda de Frontera: Para descubrir MFAs, los autores desarrollaron un algoritmo de "búsqueda de frontera" (Algoritmo 1). Este algoritmo propone iterativamente anchos de capas ocultas candidatos, podando el espacio de búsqueda basándose en:
   • Límites de dimensión ingenuos.
   • Resultados conocidos de búsquedas anteriores (manteniendo conjuntos de arquitecturas de relleno mínimas y de no relleno máximas).
   • La definición de minimalidad: si un candidato es de relleno, todas las arquitecturas más grandes se podan; si no es de relleno, todas las arquitecturas más pequeñas se podan.

Contribuciones y Resultados Clave

• Contraejemplo a la Conjetura de Relleno Mínimo Unimodal: La contribución principal es el descubrimiento y certificación de un contraejemplo a la conjetura. Los autores identificaron la arquitectura $d = (2, 3, 4, 5, 4, 6, 4, 1)$ (con $r=2$, entrada 2, salida 1, profundidad 7) como una Arquitectura de Relleno Mínimo que no es unimodal.

  • Prueba de Relleno: Verificaron que la dimensión de la neurovariedad es 65, coincidiendo con la dimensión del espacio ambiente $\dim(\text{Sym}^{2^6}(\mathbb{R}^2) \oplus \mathbb{R}^1)$.
  • Prueba de Minimalidad: Demostraron que toda subarquitectura obtenida reduciendo un solo ancho de capa oculta en uno falla en ser de relleno. Esto se logró mostrando que las dimensiones de estas subarquitecturas son estrictamente menores que 65, utilizando tanto cálculos en cuerpos finitos como límites recursivos.

• Descubrimiento de Grandes Defectos: Al analizar el contraejemplo y sus subarquitecturas, los autores observaron una "gran defectividad". El defecto se define como la diferencia entre la dimensión esperada (basada en el conteo de parámetros) y la dimensión real de la neurovariedad. A diferencia de ejemplos anteriores donde los defectos eran pequeños, varias subarquitecturas del contraejemplo exhibieron defectos significativos, desafiando la suposición de que los defectos son despreciables en configuraciones típicas.

• Resultados de Búsqueda Sistemática: Utilizando su algoritmo de búsqueda de frontera, los autores catalogaron MFAs para $d_0=2, d_L=1, r=2$ hasta profundidad $L=7$.

  • Para $L=7$, encontraron 13 MFAs, solo una de las cuales (el contraejemplo anterior) era no unimodal.
  • Para $L=8$, encontraron 82 MFAs, 20 de las cuales eran no unimodales.
  • Proporcionaron una tabla de MFAs verificadas para $L \le 7$, señalando que, aunque verificaron la completitud para $L \le 7$, un método general para probar la completitud para $L$ mayores sigue siendo un problema abierto.

• Contraejemplo Adicional: Los autores identificaron un segundo contraejemplo más profundo con $d_0=d_L=2$ y $L=9$ ($d=(2, 3, 4, 4, 10, 17, 11, 12, 4, 2)$), ilustrando aún más que las MFAs no unimodales existen en diversas configuraciones.

Significado y Afirmaciones
El artículo afirma proporcionar el primer contraejemplo a la Conjetura de Relleno Mínimo Unimodal para redes neuronales polinómicas, refutando así la idea de que la expresividad mínima siempre requiere una secuencia de anchos unimodal.

Los autores enmarcan modestamente la importancia de su trabajo de la siguiente manera:

• Corrección Teórica: Los resultados corrigen la "sabiduría convencional" sobre la eficiencia de la arquitectura de redes en el contexto de la geometría algebraica.
• Perspectiva sobre la Defectividad: El descubrimiento de grandes defectos en subarquitecturas sugiere una falta de comprensión sistemática sobre qué arquitecturas son defectuosas, abriendo una nueva vía de investigación hacia la geometría de los espacios de funciones.
• Implicación Práctica: Los autores sugieren que comprender las MFAs para activaciones de potencia podría informar la selección de arquitecturas, particularmente en la combinación de activaciones polinómicas de bajo grado (que son computacionalmente eficientes pero pueden limitar la expresividad) con arquitecturas que son a priori altamente expresivas.
• Direcciones Futuras: El artículo identifica varios pasos siguientes, incluyendo la generalización a familias de activación polinómica más amplias (por ejemplo, bases de Chebyshev), la aplicación de la geometría neuroalgebraica a las redes $\Pi$, y la comparación de la dinámica de entrenamiento de MFAs versus arquitecturas de no relleno máximas.

Los autores no afirman haber resuelto el problema general de caracterizar todas las MFAs para profundidades arbitrarias ni haber explicado completamente las causas geométricas de los grandes defectos, sino más bien haber establecido la existencia de rellenos mínimos no unimodales y haber proporcionado las herramientas computacionales y los datos para explorar este fenómeno más a fondo.