Resumen Técnico: HALFNET: REDES NEURALES ALEATORIZADAS CON GEOMETRÍA DE SUBSPACIO APRENDIDA

1. Planteamiento del Problema

El entrenamiento de las redes neuronales tradicionales implica optimizar cada parámetro de peso individualmente, lo que puede ser computacionalamente costoso y pesado en términos de parámetros. Por el contrario, las redes neuronales aleatorizadas (por ejemplo, las Máquinas de Aprendizaje Extremo) fijan los pesos a valores extraídos de una distribución estándar (por ejemplo, $N(0, I)$), simplificando la optimización pero sacrificando a menudo el poder predictivo porque la geometría aleatoria puede no alinearse con la estructura de los datos.

El problema central abordado es cómo retener la simplicidad de las redes aleatorizadas mientras se captura la estructura dependiente de los datos necesaria para una alta precisión. Específicamente, el artículo investiga si la geometría de la distribución de los pesos (la estructura de covarianza) es más crítica para el rendimiento predictivo que los valores precisos de los pesos individuales, y si esta geometría puede aprenderse eficientemente.

2. Metodología: HalfNet

El marco propuesto HalfNet introduce una parametrización estocástica donde los pesos no se fijan a una distribución estándar ni se aprenden individualmente, sino que se muestrean de una distribución aprendida $N(0, \Sigma)$.

2.1. Formulación del Modelo

Para una unidad oculta $h$ con una entrada $x$, la activación se define como:
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
donde $g$ es la función de activación (por ejemplo, ReLU), y $u_h, u_{h0}$ son parámetros de escala y traslación aprendidos específicos para la unidad.

El vector de proyección aleatoria $r_h$ se genera mediante una factorización de bajo rango:
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
donde:

• $z_h \sim N_k(0, I)$ y $\epsilon_h \sim N_d(0, I)$ son vectores aleatorios muestreados una sola vez y fijados.
• $B \in \mathbb{R}^{d \times k}$ (con $k < d$) y $\sigma \in \mathbb{R}^d$ son parámetros aprendidos compartidos entre todas las unidades en la capa.
• La distribución resultante es $r_h \sim N_d(0, \Sigma)$, donde $\Sigma = BB^\top + \text{diag}(\sigma^2)$.

Este enfoque desacopla la aleatoriedad (los vectores $z_h, \epsilon_h$) de la geometría (la matriz $B$ y la escala $\sigma$). El rango $k$ actúa como un hiperparámetro que controla la complejidad del modelo, interpolando entre unidades totalmente aleatorias ($k \to 0$) y redes totalmente entrenables.

2.2. Extensiones

El marco se extiende a:

• Pesos Binarios: Al aplicar una función de signo a los vectores generados, HalfNet puede producir pesos binarios ($\pm 1$). La operación de signo preserva las relaciones angulares definidas por la covarianza aprendida $\Sigma$, lo que permite al modelo aprender dependencias incluso en el régimen binario.
• Capas Convolucionales: Los filtros se generan utilizando la misma factorización de bajo rango, asumiendo una estructura de covarianza compartida a través de los filtros dentro de una capa.
• Arquitecturas de Capas Múltiples: Se pueden apilar múltiples capas HalfNet, con parámetros aprendidos separados para cada capa.

3. Contribuciones Clave

1. Aprendizaje de la Estructura de Covarianza: HalfNet aprende la estructura de covarianza de las proyecciones aleatorias en lugar de los pesos individuales, realizando efectivamente una incrustación (embedding) aleatoria dependiente de los datos.
2. Escalamiento Suave con el Rango: El artículo demuestra que la precisión escala suavemente con el rango $k$ del factor de covarianza, sugiriendo que gran parte del poder predictivo en las capas entrenadas reside en estructuras geométricas de baja dimensión.
3. Versatilidad: Se demuestra que el marco es aplicable a capas totalmente conectadas, front-ends convolucionales y redes de pesos binarios.
4. Interpretaciones Teóricas: El método admite tres interpretaciones complementarias:
   • Proyección Aleatoria: Aprender una incrustación lineal $x' = B^\top x$ seguida de proyecciones aleatorias fijas.
   • Aprendizaje de Métricas: Aprender una métrica de Mahalanobis donde $B$ determina qué direcciones de entrada son enfatizadas.
   • Métodos de Kernel: Aprender la distribución de los vectores de proyección permite aprender implícitamente la función kernel.

4. Resultados Experimentales

4.1. Experimentos con MNIST

• Capa Oculta Única (784–64–10): Las variantes de HalfNet con $\sigma$ aprendido y $B$ de bajo rango superan significativamente a las redes puramente aleatorias. Con un rango $k=4$, HalfNet iguala la precisión de un Perceptrón Lineal (LP) con casi la mitad de los parámetros. Con $k=16$, iguala a un MLP totalmente entrenado con recuentos de parámetros comparables.
• Análisis Espectral: La Descomposición en Valores Singulares (SVD) de los pesos de un MLP totalmente entrenado revela que el 60% de la energía espectral reside en las 9 direcciones superiores y el 80% en las 17 superiores. Esto confirma que los pesos entrenados residen en un subespacio de baja dimensión, el cual HalfNet parametriza explícitamente.
• Front-end Convolucional: Añadir una capa convolucional (16 filtros) mejora todos los modelos. HalfNet se beneficia significativamente, logrando una alta precisión incluso con rangos bajos ($k=1$), ya que la complejidad depende del rango efectivo en lugar del aumento del fan-in.
• Dos Capas Ocultas: Apilar capas HalfNet (784–64–64–10) mantiene la tendencia de mejora de la precisión con el aumento del rango, probando la escalabilidad del método dentro de redes profundas.
• Pesos Binarios: Aunque la binarización en rangos muy bajos ($k=2$) causa caídas de precisión debido al colapso de la diversidad de características, $k \ge 4$ produce resultados sólidos. Con $k=16$, el HalfNet binario alcanza un 94.87% de precisión, cercano al 95.30% de su contraparte continua.

4.2. Experimentos con CIFAR-10

• Arquitectura: Una red simple con una sola capa convolucional (32 filtros) seguida de una gran capa totalmente conectada (256 unidades). La capa FC contiene >99% de los parámetros.
• Rendimiento: La configuración "Full–Half" (Conv entrenable, HalfNet FC) iguala al baseline "Full–Full" totalmente entrenado con aproximadamente 8 veces menos parámetros en $k_f=32$. En $k_f=48$, supera ligeramente el rendimiento del baseline.
• Convolucional HalfNet: Aplicar HalfNet a la capa convolucional ("Half–Half") inicialmente disminuyó el rendimiento y ralentizó el entrenamiento, sugiriendo que el supuesto de bajo rango puede ser demasiado restrictivo para capas que ya poseen fuertes restricciones estructurales (localidad, intercambio de pesos).

5. Significado y Reivindicaciones

El artículo afirma que HalfNet demuestra que aprender la geometría de las distribuciones de proyección puede capturar la mayor parte del poder predictivo de las capas neuronales totalmente entrenadas utilizando sustancialmente menos parámetros.

Los puntos clave enfatizados por el autor incluyen:

• Geometría sobre Valores: El poder predictivo de las redes neuronales reside más en la geometría del espacio de pesos (estructura de covarianza) que en los valores precisos de los parámetros individuales.
• Eficiencia: HalfNet ofrece un intercambio (trade-off) suave entre características aleatorias fijas y redes totalmente entrenables, permitiendo a los profesionales ajustar la capacidad del modelo mediante el parámetro de rango $k$.
• Distinción de la Factorización de Bajo Rango: A diferencia de los métodos deterministas de bajo rango (por ejemplo, $W=UV$ donde ambos son aprendidos), HalfNet aprende la distribución de la cual se muestrean los pesos, manteniendo los vectores de proyección estocásticos. Esto conecta el método con las características aleatorias y el aprendizaje de kernels.
• Limitaciones: Los beneficios son más pronunciados en configuraciones de alto fan-in con fuertes correlaciones de datos (por ejemplo, capas totalmente conectadas sobre datos de imágenes). El artículo señala que las ganancias de rendimiento pueden reducirse en entornos con correlaciones más débiles, y se requiere una evaluación adicional en diversos conjuntos de datos.

El trabajo posiciona a HalfNet no meramente como un truco arquitectónico para la compresión, sino como un cambio fundamental hacia el aprendizaje de la métrica subyacente y la estructura de kernel de los datos a través de incrustaciones aleatorizadas.