Resumen Técnico: Aprendizaje de Estructura Latente Composicional con Redes Vectoriales

Enunciado del Problema

Las redes profundas modernas suelen depender de un sustrato de parámetros densos compartido para implementar diversos cálculos. Mediante la retropropagación del error, características, habilidades y comportamientos distintos se codifican en direcciones superpuestas de las mismas matrices de pesos, un fenómeno que los autores denominan enredamiento de pesos. En este régimen, las mejoras para un comportamiento a menudo afectan inadvertidamente a otros porque los gradientes se agregan en la salida y se propagan a través de todas las capas. En consecuencia, las redes estándar carecen de "responsabilidad direccionable" en el espacio de pesos: no almacenan naturalmente los componentes aprendidos como objetos persistentes y reutilizables que puedan aislarse, recombinarse o actualizarse de forma independiente. Si bien los métodos de interpretabilidad post-hoc pueden identificar a veces circuitos funcionales, la arquitectura en sí misma no impone una descomposición en unidades reutilizables. Esta limitación obstaculiza la generalización composicional, donde un sistema debe recombinar factores familiares en configuraciones novedosas sin reentrenamiento. Los enfoques existentes, como los Mezclas de Expertos o los modelos centrados en objetos, introducen enrutamiento o modularidad, pero a menudo operan mediante enrutamiento hacia adelante sobre módulos densos o no hacen explícita la responsabilidad por muestra en el propio espacio de pesos.

Metodología: La Red Vectorial (VN)

La arquitectura de la Red Vectorial (VN) aborda estas limitaciones reemplazando las matrices de pesos fijas y densas con una biblioteca de átomos de peso de rango 1 reutilizables. El mecanismo central implica un proceso de dos fases: inferencia rápida para componer transformaciones específicas del input y aprendizaje lento para actualizar el diccionario subyacente.

1. Arquitectura y Átomos de Rango 1

Cada capa $l$ en una VN se parametriza no por una única matriz $W$, sino por un diccionario de $K_l$ átomos de peso de rango 1. Cada átomo $i$ se define mediante un par de vectores de código aprendidos: un vector de entrada $s_{l,i}$ y un vector de salida $u_{l,i}$. Juntos, forman un operador de rango 1:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
Para cualquier entrada dada $x_l$, la red infiere un conjunto escaso de coeficientes $g_l$ (donde $g_{l,i}$ escala la contribución del átomo $i$). La matriz de pesos efectiva y específica del input $W^*_l(x_l)$ se sintetiza como una combinación lineal de estos átomos:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
Esto permite que la red componga una transformación adaptada para cada muestra utilizando un subconjunto pequeño del diccionario compartido, en lugar de aplicar una matriz fija monolítica.

2. Inferencia Rápida mediante Minimización de Energía

Para cada muestra, la VN realiza inferencia rápida para determinar los coeficientes escasos $g_l$. Esto se logra minimizando una función de energía local a la capa $E_l$ que equilibra tres términos:

1. Reconstrucción de Entrada: Minimizar el error entre la entrada $x_l$ y la reconstrucción $S_l g_l$ (donde $S_l$ contiene los vectores de código del lado de la entrada).
2. Consistencia Top-Down: Minimizar el error entre el objetivo top-down $h_{l,target}$ (proporcionado por la capa superior) y el mensaje de interfaz $U_l g_l$ (donde $U_l$ contiene los vectores de código del lado de la salida).
3. Escasez: Una penalización $\ell_1$ $\lambda_l \|g_l\|_1$ para imponer un conjunto activo escaso.

La inferencia procede mediante barridos iterativos ascendentes y descendentes (reminiscentes de un ajuste de codificador-decodificador) utilizando pasos de gradiente proximal (estilo ISTA/FISTA). El proceso converge a un punto fijo escaso donde solo unos pocos átomos están activos. La capa superior puede imponer adicionalmente una restricción dura de top-k.

3. Aprendizaje Lento: Actualizaciones Hebbianas Atómicas

Una vez que converge la inferencia rápida, el aprendizaje lento actualiza los átomos de peso. Crucialmente, las actualizaciones se aplican solo a los átomos con coeficientes no nulos ($g^*_{l,i} \neq 0$). La regla de actualización, denominada Hebbiana Atómica, es una actualización residual local escalada por la responsabilidad inferida:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
donde $r^x_l$ y $r^h_l$ son los residuos de reconstrucción y top-down, respectivamente. El análisis teórico (mediante el Teorema de Danskin) demuestra que estas actualizaciones locales son exactamente equivalentes a los gradientes implícitos de la energía libre global, a pesar de que el proceso de inferencia se trata como una caja negra. Esto asegura que la asignación de crédito se localice en los átomos de peso específicos responsables de la explicación actual, previniendo el enredamiento difuso de pesos observado en la retropropagación estándar.

Contribuciones Clave

1. Átomos de Peso de Rango 1 como Bloques de Construcción: Los autores proponen una arquitectura recurrente jerárquica donde las capas se componen de átomos de rango 1 reutilizables, haciendo que las funciones de la red sean direccionables, inspeccionables y composibles.
2. Pesos Efectivos Definidos por Inferencia: La matriz de pesos efectiva para una muestra no es fija, sino que se infiere mediante la minimización de energía sobre coeficientes escasos. Esto separa la selección rápida de componentes del aprendizaje lento del diccionario.
3. Regla de Aprendizaje Hebbiana Atómica: Una regla de aprendizaje que actualiza solo los átomos de peso seleccionados utilizando señales residuales locales escaladas por coeficientes inferidos. Esto limita la superposición entre actualizaciones no relacionadas y preserva la reutilizabilidad de los componentes aprendidos.
4. Limitación Estructural de la Superposición de Actualizaciones de Pesos: Al restringir las actualizaciones al conjunto activo escaso, la arquitectura limita estructuralmente el enredamiento de pesos, asegurando que aprender un comportamiento no degrade necesariamente a otros.

Resultados Experimentales

Los autores evalúan la VN en cuatro benchmarks que abarcan señales 1D, decodificación espacial 2D, dinámica de N-cuerpos y MNIST composicional. En todos los casos, los modelos se entrenan in-distribution (ID) y se prueban en casos out-of-distribution (OOD) que involucran combinaciones novedosas de factores familiares.

• Composición Espacial: En una tarea que requiere la reconstrucción de picos gaussianos en posiciones no vistas, las CNN estándar y los VAE mostraron un error OOD significativo. La VN mantuvo un error uniformemente bajo en todo el dominio espacial, superando tanto a las líneas base densas como a los decodificadores factorizados a mano.
• Composición de Funciones: En tareas de reconstrucción de señales 1D y predicción enmascarada que involucran sumas y composiciones anidadas de funciones seno, coseno, polinómicas y gaussianas, la VN demostró una estabilidad superior. Mientras que modelos de secuencia potentes (Transformers, Mamba) funcionaron bien en ID y en reconstrucción OOD simple, degradaron significativamente en tareas de predicción enmascarada que requerían la recuperación de una estructura reutilizable. La VN logró la ventaja más clara en estas pruebas más estrictas.
• Dinámica de N-Cuerpos: En un benchmark de física que involucra campos de fuerza mixtos (gravedad, arrastre, Lorentz, resorte) y conteos variables de cuerpos, la VN mantuvo un error bajo bajo desplazamientos OOD complejos (múltiples fuerzas, reducción de cuerpos). Líneas base como MLP, GNN y Transformers mostraron grandes aumentos de error cuando se combinaban fuerzas o cambiaban los conteos de cuerpos, mientras que la VN permaneció robusta.
• Composición de Imágenes: En tareas de reconstrucción de dígitos MNIST y transformación dinámica (Rotación/Traslación/Escalado), la VN superó significativamente a los autoencodificadores en configuraciones OOD que involucraban mezclas aditivas, proyecciones máximas y composiciones complejas de transformaciones. La ventaja fue de aproximadamente un orden de magnitud en las condiciones OOD más fuertes.

En todos los benchmarks, la VN igualó a las líneas base fuertes en el rendimiento ID, pero logró un error OOD sustancialmente menor (a menudo en un orden de magnitud) cuando los factores familiares debían recombinarse de maneras novedosas.

Significado y Afirmaciones

El artículo argumenta que las Redes Vectoriales hacen de la generalización composicional una propiedad estructural de la arquitectura y el proceso de inferencia, en lugar de un subproducto frágil de ajustar muchos comportamientos en un sustrato denso compartido.

• Responsabilidad Explícita en el Espacio de Pesos: A diferencia de las redes estándar donde la responsabilidad es implícita y enredada, la VN infiere explícitamente qué átomos de peso son responsables de una muestra antes de actualizarlos. Esta división "recombinación rápida / almacenamiento lento" localiza la plasticidad.
• Composición a Nivel de Mecanismo: Los resultados sugieren que la VN aprende componentes reutilizables a nivel de mecanismo (por ejemplo, leyes de fuerza específicas o factores espaciales) que pueden recombinarse para explicar entradas novedosas, en lugar de simplemente interpolar dentro de la distribución de entrenamiento.
• Eficiencia y Escalabilidad: Los autores sugieren que una vez que se aprende una biblioteca de factores latentes, las nuevas entradas pueden manejarse mediante recomposición, ofreciendo una ruta natural hacia una mayor eficiencia de datos, particularmente en la "cola larga" de combinaciones no vistas.
• Limitaciones: El artículo reconoce que la implementación actual depende de una inferencia escasa recurrente, que es más lenta que un solo paso hacia adelante. Los autores señalan que esta inferencia podría potencialmente aproximarse mediante actualizaciones hacia adelante aprendidas en trabajos futuros, pero la forma actual prioriza la interpretabilidad y la modularidad.

En resumen, la Red Vectorial propone un cambio desde el enrutamiento de estados (como en los Transformers) hacia la responsabilidad en el espacio de pesos, donde el cálculo infiere primero una responsabilidad escasa sobre componentes de peso reutilizables, y el aprendizaje actúa luego selectivamente sobre esa estructura inferida. Este enfoque busca resolver el problema del enredamiento de pesos y permitir una generalización robusta a composiciones novedosas de factores familiares.