Resumen Técnico: Representaciones Jerárquicas y Composicionales Nativas con Incrustaciones de Subespacios

Declaración del Problema

Las tradicionales incrustaciones de vectores densos (embeddings), que representan conceptos como puntos únicos en un espacio euclidiano, enfrentan limitaciones geométricas fundamentales al modelar el lenguaje natural. Aunque son efectivas para capturar la similitud mediante productos internos, la estructura plana y simétrica del espacio euclidiano es inadecuada para las relaciones jerárquicas y asimétricas, tales como la implicación y la hiponimia. Las métricas estándar como la similitud de coseno no pueden distinguir relaciones direccionales (por ejemplo, "perro" implica "animal", pero "animal" no implica "perro"). Además, los espacios vectoriales carecen de operadores nativos para la conjunción lógica, la disyunción y la negación. En consecuencia, los modelos suelen recurrir a la composición aditiva (tratando las frases como sacos de palabras), lo que conduce a una "ceguera de negación" donde las incrustaciones no logran excluir conceptos, degradando el rendimiento en consultas que involucran la negación lógica. Las alternativas existentes, como las incrustaciones hiperbólicas o los modelos probabilísticos basados en regiones (por ejemplo, cajas o conos), ya sea imponen prioris estructurales rígidas, carecen de clausura bajo todas las operaciones lógicas, o sacrifican la compatibilidad con los canales eficientes de recuperación euclidianos.

Metodología

Los autores proponen las Incrustaciones de Subespacios (Subspace Embeddings), un marco donde los conceptos no se representan como puntos, sino como subespacios lineales (regiones) dentro de un espacio de alta dimensión $\mathbb{R}^d$.

Principios Geométricos Centrales

1. Representación: Un concepto se define como el span de un conjunto de vectores de base latentes $\mathbf{X} \in \mathbb{R}^{d \times n}$. El subespacio $\mathcal{S}$ se representa mediante su operador de proyección ortogonal $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$, donde $\mathbf{U}$ es una base ortonormal.
2. Jerarquía y Generalidad:
   • Dimensionalidad: La dimensión efectiva (rango) del subespacio codifica la generalidad semántica. Los conceptos más amplios (p. ej., "animal") ocupan subespacios de mayor dimensión, mientras que los conceptos más específicos (p. ej., "perro") ocupan subespacios de menor dimensión anidados dentro de ellos.
   • Inclusión: La jerarquía se modela mediante la inclusión de subespacios ($\mathcal{S}_A \subseteq \mathcal{S}_B$), cuantificada por una Puntuación de Inclusión Normalizada (NIS) derivada de la traza del producto de las matrices de proyección.
3. Operaciones Lógicas: Las relaciones lógicas se mapean directamente a operaciones de álgebra lineal sobre los subespacios:
   • Conjunción ($\land$): Intersección de subespacios ($\mathcal{S}_A \cap \mathcal{S}_B$).
   • Disyunción ($\lor$): Suma lineal (span) de subespacios ($\mathcal{S}_A + \mathcal{S}_B$).
   • Negación ($\neg$): Complemento ortogonal ($\mathcal{S}^\perp$).

Implementación Técnica: Subespacios Diferenciables

Un desafío principal es que el rango de un subespacio es discreto y no diferenciable. Para permitir el entrenamiento de extremo a extremo, los autores introducen Operadores de Proyección Suaves:

• Proyector Suave: En lugar de una proyección rígida, definen un proyector suave $\tilde{\mathbf{P}}$ utilizando la regularización de Tikhonov: $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$.
• Diferenciabilidad: El hiperparámetro $\lambda$ actúa como una temperatura, suavizando los autovalores del proyector en el rango $[0, 1)$. Esto permite que el modelo aprenda la dimensión efectiva de cada subespacio mediante el descenso de gradiente, permitiendo que el subespacio pueda "añadir o descartar" vectores de base dinámicamente.
• Cabezal de Proyección de Subespacio (SPH): Un módulo neuronal que convierte los estados ocultos del transformador en un conjunto de vectores latentes que abarcan un subespacio. Utiliza Atención de Cabezales Múltiples (MHA) para el agrupamiento (pooling), un MLP para la expansión del rango (rompiendo dependencias lineales para lograr rango completo) y el cálculo del proyector suave.

Estrategia de Entrenamiento

El marco se entrena de extremo a extremo utilizando objetivos estándar:

• Reconstrucción Jerárquica: Pérdida InfoNCE sobre la similitud de subespacios.
• Predicción de Enlaces: Pérdida de margen (margin loss) sobre la Puntuación de Inclusión Normalizada (NIS).
• Inferencia de Lenguaje Natural (NLI): Un enfoque híbrido que modela la implicación/contradicción mediante una distribución Beta sobre las puntuaciones NIS y la neutralidad mediante un clasificador MLP.

Contribuciones Clave

1. Aprendizaje de Subespacios Diferenciables: Un método novedoso para aprender representaciones de lenguaje como subespacios lineales con dimensionalidad dependiente de los datos y aprendible, superando la no diferenciabilidad del rango discreto.
2. Estructura Composicional Emergente: Demostración de que las operaciones lógicas (conjunción, disyunción, negación) surgen naturalmente de la geometría de las representaciones sin supervisión explícita para las reglas lógicas.
3. Escalabilidad y Compatibilidad: El enfoque preserva la compatibilidad con los canales de búsqueda de vectores euclidianos estándar (Búsqueda de Producto Interno Máximo), permitiendo una recuperación eficiente a gran escala, a diferencia de las alternativas no euclidianas.

Resultados Experimentales

Los autores validan el marco en tres ejes:

1. Modelado Jerárquico (WordNet):

   • Reconstrucción: Las incrustaciones de subespacios (SE) logran un rendimiento de vanguardia en la reconstrucción de WordNet, superando a los baselines euclidianos (R128) e hiperbólicos (Poincaré P10, Lorentz H10) en Precisión Media (mAP) y Rango Medio (MR).
   • Correlación de Especificidad: El rango efectivo aprendido de un subespacio muestra una fuerte correlación de Spearman ($\rho \approx 0.68$) con el rango taxonómico del concepto, confirmando que la dimensionalidad actúa como una medida emergente de la especificidad semántica.
   • Predicción de Enlaces: Los modelos SE superan significativamente a los baselines en entornos de supervisión dispersa (0%–25% de cobertura de aristas), alcanzando puntuaciones F1 de hasta el 95.9%.

2. Inferencia de Lenguaje Natural (SNI):

   • Las incrustaciones de subespacios igualan o superan ligeramente el rendimiento de los fuertes baselines de doble codificador (p. ej., all-MiniLM-L6-v2, mpnet-base-v2) en tareas estándar de clasificación de implicación de 2 y 3 vías.

3. Implicación Composicional (Zero-Shot):

   • Manejo de la Negación: Este es el hallazgo más crítico. Los baselines vectoriales estándar degradan su rendimiento a niveles cercanos al azar (49–69% AUC) en hipótesis que involucran negación. En contraste, las incrustaciones de subespacios mantienen un alto poder discriminativo (>90% AUC) en consultas negadas sin entrenamiento explícito en la lógica de la negación.
   • Comparación: Los subespacios superan a las Incrustaciones de Cajas (Box Embeddings) en tareas de negación, ya que el complemento de una caja no es una caja, mientras que el complemento ortogonal de un subespacio es un subespacio válido dentro del mismo espacio.

4. Eficiencia:

   • Velocidad de Recuperación: Al formular la puntuación de inclusión como un producto punto entre matrices de proyección vectorizadas, el método permite el uso de librerías de búsqueda aproximada rápida (p. ej., FAISS). SE128 es casi 8 veces más rápido que un baseline de Poincaré de 10 dimensiones mediante búsqueda de fuerza bruta.
   • Compresión: Los subespacios aprendidos exhiben una rápida caída espectral, lo que permite una compresión de 4x mediante SVD truncado con una pérdida de rendimiento insignificante.

Significado y Reivindicaciones

El artículo sostiene que las incrustaciones de subespacios ofrecen un modelo geométricamente fundamentado de la implicación que reconcilia la eficiencia de la recuperación de vectores con la estructura jerárquica y composicional del lenguaje.

• Lógica Nativa: A diferencia de otros métodos que requieren soluciones ad-hoc o fallan en la negación, las incestaciones de subespacios capturan la composición lógica de forma nativa mediante operaciones de álgebra lineal.
• Interpretabilidad: La dimensión efectiva de un subespacio sirve como una medida interpretable del contenido de información y la especificidad semántica, emergiendo directamente de la geometría del entrenamiento.
• Practicidad: El marco no sacrifica la escalabilidad; sigue siendo compatible con la infraestructura de búsqueda euclidiana estándar, lo que lo hace viable para aplicaciones a gran escala.

Los autores concluyen que este enfoque proporciona un camino prometedor hacia sistemas de aprendizaje de representación más expresivos e interpretables, particularmente para tareas que requieren razonar sobre conceptos jerárquicos y negados.