Resumen Técnico: Vinculación Recursiva con Presupuesto: Tallado de Subespacios en Memorias Tensoriales de Orden-$p$

1. Planteamiento del Problema

El artículo aborda la tensión fundamental en los sistemas de memoria neuro-simbólicos entre la fidelidad estructural y la eficiencia de memoria.

• Las Representaciones de Producto Tensorial (TPR) (Smolensky, 1990) ofrecen una vinculación matemáticamente rigurosa de "rellenos" (fillers, contenido) a "roles" (estructura) mediante productos exteriores, asegurando una ortogonalidad perfecta y una recuperación sin pérdidas; sin embargo, sufren un crecimiento exponencial de la dimensionalidad; una estructura de profundidad $k$ requiere un espacio tensorial de orden $d^k$, lo que hace que la vinculación recursiva profunda sea intratable incluso para dimensiones modestas.
• Las Arquitecturas de Vectores Simbólicos (VSA) (Kanerva, 2009) mantienen una dimensionalidad constante comprimiendo las vinculaciones de nuevo en el espacio vectorial original (por ejemplo, mediante convolución circular). Aunque son eficientes, esta compresión introduce ruido. A medida que aumenta el número de vinculaciones superpuestas, la relación señal-ruido (SNR) se degrada, lo que provoca interferencia y una recuperación poco fiable en regímenes de alta capacidad.

Las aproximaciones dispersas existentes de las TPR mitigan el escalado, pero sufren una degradación significativa del rendimiento en estructuras profundas. El desafío central es soportar estructuras recursivas profundas y una alta superposición dentro de una huella de memoria constante sin sacrificar la precisión de la recuperación.

2. Metodología: Tallado de Subespacios Ortogonales (OSC)

Los autores proponen la Arquitectura de Tallado de Subespacios Ortogonales (OSC), una arquitectura de memoria que desacopla el orden del tensor de la profundidad estructural mediante la imposición de la ortogonalidad geométrica a través de la proyección en lugar de la asignación explícita de coordenadas.

Principios Fundamentales

• Exclusión Geométrica: En lugar de asignar roles a dimensiones específicas, OSC define los contextos como subespacios "prohibidos". Las vinculaciones se colocan en el complemento ortogonal (espacio nulo) de estos contextos.
• Representación del Relleno (Filler): A diferencia de las VSA estándar donde los rellenos son vectores únicos, los rellenos de OSC son objetos estructurados: tuplas ordenadas de $p$ vectores, $f = (v_1, \dots, v_p) \in (\mathbb{R}^d)^p$.
• Definición de Contexto: Un contexto $C$ está asociado con un subespacio $S_C$ generado por $k$ direcciones mutuamente ortogonales. Los diferentes contextos no necesitan estar relacionados geométricamente, lo que permite una precisión local dentro de un contexto e independencia global entre contextos.

El Mecanismo de Vinculación

1. Tallado (Proyección): Para vincular un relleno a un contexto, el operador de tallado $P^\perp_C = I - B_C^T B_C$ proyecta cada vector componente $v_i$ sobre el espacio nulo de la base del contexto $B_C$. Esto elimina cualquier solapamiento con el subespacio del contexto.
2. Normalización y Fusión: Los componentes proyectados se normalizan y se fusionan mediante un producto tensorial de orden $p$:
   $$T_{bound} = \bigotimes_{i=1}^p \left( \frac{P^\perp_C v_i}{\|P^\perp_C v_i\|} \right)$$
   Esto resulta en un tensor de orden $p$ que reside enteramente en el complemento ortogonal del contexto.
3. Superposición: La memoria $M$ se forma mediante la suma simple (superposición) de estos tensores vinculados. Debido a que cada vinculación es ortogonal al subespacio de su contexto específico, y los contextos definen subespacios disjuntos, las vinculaciones se separan naturalmente en el espacio de la memoria sin interferencias.

El Proceso de Consulta mediante Reconocimiento

OSC desplaza el paradigma de recuperación de la desvinculación algebraica (reconstrucción de un vector) al reconocimiento discriminativo.

• Mecanismo: Para consultar, se construye un candidato de vinculación utilizando el mismo mecanismo de tallado. La puntuación de recuperación es el producto interno de Frobenius entre el tensor de la memoria y el tensor candidato.
• Búsqueda de Vocabulario: El sistema identifica el elemento almacenado seleccionando el candidato con la puntuación de similitud más alta. Este enfoque es compatible con los libros de código (codebooks) de memoria de limpieza (cleanup memory) estándar utilizados en las VSA.
• Garantía Teórica: El Teorema 4.6 establece que para $N$ vinculaciones independientes, el ruido de interferencia escala como $\sqrt{(N-1)/d^p}$. Al aumentar el orden del tensor $p$ o la dimensión $d$, el ruido puede suprimirse, permitiendo una recuperación robusta incluso con alta superposición.

Conexiones Teóricas

• Álgebra de Clifford: El artículo demuestra que la TPR es un caso especial de la vinculación en el álgebra de Clifford. OSC se formula como una extensión natural donde los roles y los rellenos son subespacios ortogonales en lugar de vectores base disjuntos, permitiendo una compresión del espacio de memoria de $d^{|C|+1}$ a $\binom{d}{|C|+1}$ manteniendo propiedades de recuperación exacta bajo restricciones de ortogonalidad específicas.
• Generación Procedural: Los contextos pueden generarse proceduralmente mediante el uso de hashing de etiquetas de rol para producir semillas aleatorias para los vectores de base. Esto desacopla el número de contextos representables de las restricciones de memoria, evitando los costes de almacenamiento exponenciales de las TPR.

3. Contribuciones Clave

1. Arquitectura OSC: Una novedosa arquitectura de memoria que utiliza la vinculación basada en proyecciones para desacoplar la dimensión del vector componente de la capacidad de la memoria.
2. Escalado Sublineal: Una reducción significativa en la huella de memoria para tareas de alta superposición. Los autores muestran que los vectores de componentes pueden ser órdenes de magnitud más pequeños que el tensor de la memoria manteniendo una recuperación robusta.
3. Recuperación Casi Sin Pérdidas: La capacidad de lograr una precisión casi sin pérdidas en regímenes de alta superposición mediante el aprovechamiento del escalado sublineal de los rellenos, permitiendo espacios de superposición más grandes dentro de una huella total menor comparada con las TPR.
4. Formulación de Clifford: Una demostración de que la TPR es un caso especial de la vinculación en el álgebra de Clifford y la provisión de una formulación de Clifford para OSC.

4. Resultados Experimentales

Los autores evaluaron OSC frente a 14 VSA existentes (incluyendo HRR, VTB, MAP, HLB) y TPR en benchmarks sintéticos y tareas de Clasificación Multietiqueta Extrema (XML).

• Escalabilidad y Eficiencia:
  • En pruebas sintéticas con 1,000 haces (bundles), OSC (con $d=200, p=2$) alcanzó una precisión de recuperación del 99.77%, superando a la mejor VSA con $d=4096$ (13.18% de precisión) y $d=8100$ (35.88% de precisión).
  • Con 10,000 haces, OSC ($d=80, p=3$) mantuvo un 99.85% de precisión. Para igualar esto, la mejor VSA (HLB) requirió $d=343,000$, lo que resultó en una huella de parámetros 1,178 veces mayor.
  • OSC exhibe un escalado logarítmico favorable con el tamaño del libro de código, similar a las VSA, pero con requisitos de memoria total significativamente menores debido al crecimiento sublineal de la dimensión del relleno.
• Comparación con TPR: Para una profundidad de rol 1, OSC logra un 99% de precisión con menos parámetros que las TPR una vez que los niveles de superposición exceden un pequeño umbral. La relación de compresión favorece cada vez más a OSC a medida que crece el número de haces.
• Aplicación de Descenso (XML): OSC se integró en un modelo neuro-simbólico para Clasificación Multietiqueta Extrema. Logró un rendimiento competitivo (ocupando el primer lugar en el 43.75% de los casos métricos a través de 8 conjuntos de datos) en comparación con VTB, MAP y HLB, confirmando su capacidad de aprendizaje en sistemas basados en gradientes.
• Velocidad de Inferencia: Aunque las operaciones por elemento de OSC son más complejas que las operaciones simples de VSA elemento a elemento, OSC se vuelve más rápida a escala porque el cuello de botella pasa de cómputo a ancho de banda de memoria. La menor huella de memoria de OSC reduce los tiempos de transferencia de datos, lo que conduce a menores tiempos de recuperación de tiempo de reloj en escenarios de alta superposición.

5. Significado y Reivindicaciones

El artículo afirma que OSC resuelve la "brecha neuro-simbólica" al proporcionar un mecanismo para la vinculación recursiva profunda que es tanto computacionalmente tratable como eficiente en memoria.

• Cambio de Paradigma: Al pasar de la reconstrucción al reconocimiento y utilizar la exclusión geométrica (tallado) en lugar de la expansión explícita de dimensiones, OSC evita el escalado exponencial de las TPR y la acumulación de ruido de las VSA.
• Practicidad: La capacidad de generar contextos proceduralmente y el escalado sublineal de las dimensiones de los rellenos hacen que OSC sea adecuada para aplicaciones que requieren vocabularios grandes y estructuras profundas sin costes de memoria prohibitivos.
• Limitaciones: Los autores señalan modestamente que OSC no soporta la desvinculación algebraica exacta (reconstrucción de vectores arbitrarios) sin iterar a través de un vocabulario, aunque argumentan que esto es un problema menor para los sistemas de razonamiento simbólico que dependen de la búsqueda en el libro de código de todos modos. También reconocen que, si bien OSC supera a las VSA en eficiencia de memoria total, las VSA pueden seguir teniendo una ligera ventaja cuando la restricción es estrictamente el tamaño de la memoria de superposición (no el almacenamiento total).

El trabajo se presenta como un paso hacia sistemas de memoria estructurada y escalable compatibles con la optimización moderna basada en gradientes, validado mediante una extensa verificación empírica frente a líneas base de vanguardia.