Geometry of Semantic Space: Comparative Study of Discrete and Continuous Models

Resumen Técnico: Geometría del Espacio Semántico – Estudio Comparativo de Modelos Discretos y Continuos

Planteamiento del Problema
El artículo aborda el desafío de evaluar la calidad de los modelos de Procesamiento de Lenguaje Natural (NLP) mediante el análisis de la consistencia geométrica de las estructuras semánticas que inducen. Aunque los embeddings vectoriales supervisados (por ejemplo, CamemBERT) logran un alto rendimiento, las geometrías que inducen suelen exhibir distribuciones insatisfactorias que pueden distorsionar la organización del significado. Por el contrario, los modelos basados en grafos que dependen de coocurrencias léxicas discretas ofrecen estructuras de vecindad más explícitas. Los autores plantean la hipótesis de que comparar las geometrías derivadas de estos dos paradigmas sobre un mismo corpus puede revelar sus respectivos límites y complementariedades, específicamente en cuanto a qué tan bien reflejan la organización del significado concebida por el ser humano.

Metodología
El estudio emplea un marco comparativo aplicado al corpus "Grand Débat National" (aproximadamente 10 millones de frases de la consulta pública francesa de 2019). Para asegurar una comparación justa, ambos modelos utilizan las mismas unidades lingüísticas: cliques de coocurrencia regular. Estas cliques son conjuntos de palabras que aparecen juntas con alta probabilidad (medida mediante Información Mutua de Punto por Punto, PMI), funcionando como unidades semánticas contextualizadas en lugar de palabras aisladas.

Se construyen dos modelos distintos:

1. Modelo de Grafo ($G_c$): Un grafo discreto donde los nodos son cliques de coocurrencia. Las aristas se definen mediante una función de similitud $s$ que combina el solapamiento léxico y la similitud contextual (ponderada por $\lambda$) utilizando PPMI (PMI Positivo).
2. Modelo Vectorial Supervisado ($G_b$): Un modelo continuo que utiliza CamemBERT (un Transformer basado en RoBERTa preentrenado en francés). Las cliques de coocurrencia se representan mediante el promedio de los embeddings contextuales de sus palabras constituyentes a través de las oraciones relevantes, lo que resulta en vectores de 768 dimensiones. Posteriormente, se deriva un grafo $G_b$ a partir de estos vectores basándose en la similitud de coseno o euclidiana.

Técnicas de Comparación
Los autores utilizan dos enfoques principales para comparar las geometrías semánticas:

• Embedding de Grafo: El grafo discreto $G_c$ se incrusta en espacios vectoriales utilizando cuatro métodos (Force-Directed, Spectral, Isomap, Node2Vec) para permitir una comparación geométrica directa con el espacio de CamemBERT.
• Análisis Estructural: El espacio vectorial se convierte en un grafo $G_b$, y tanto $G_c$ como $G_b$ se analizan mediante herramientas de la teoría de grafos, incluyendo:
  • Subárboles BFS: Para examinar los vecindarios semánticos locales.
  • Correlación Métrica: Comparación de las distancias basadas en grafos frente a las similitudes basadas en vectores.
  • Medidas de Centralidad: Análisis de las distribuciones de centralidad de grado y de intermediación (betweenness centrality).
  • Clustering: Uso del algoritmo Infomap para detectar comunidades y evaluar la homogeneidad de los clústeres y la coherencia semántica.
  • Confiabilidad (Trustworthiness, $T_w$): Medición de qué tan bien se preserva la estructura local del grafo en el espacio de embedding a medida que varía la dimensionalidad.

Resultos Clave

• Consistencia Local vs. Global: Los modelos muestran topologías locales similares; los embeddings de CamemBERT se alinean bien con la estructura del grafo discreto en el vecindario inmediato de una clique raíz. Sin embargo, esta correlación decae rápidamente (dentro de los 10–15 nodos), lo que indica que el modelo continuo no logra preservar la organización gradual y progresiva del significado que se encuentra en el grafo discreto.
• Distorsión Semántica en el Espacio Continuo: En el espacio de CamemBERT, las distinciones semánticas se "suavizan" y se promedian rápidamente. La distribución de las similitudes de coseno está centrada alrededor de 0.9 (en lugar de 0), lo que sugiere un "cono" de vectores concentrados y una falta de uso efectivo del espacio de alta dimensionalidad (una manifestación de la Maldición de la Dimensionalidad).
• Divergencia Estructural:
  • $G_b$ (derivado de vectores): Exhibe una estructura heterogénea con unos pocos nodos hiperconectados (grado hasta 100) y muchos nodos aislados. Carece de nodos con alta centralidad de intermediación, lo que significa que ningún clique actúa como un puente significativo entre campos léxicos.
  • $G_c$ (derivado de grafos): Presenta una estructura más homogénea con un grado máximo menor (25) y un rango más amplio de centralidad de intermediación. Ciertos cliques específicos (por ejemplo, los que vinculan la ecología y la agricultura) actúan como puentes estructurales, creando una geometría estratificada de proximidad léxica.
• Calidad de los Clústeres: El clustering mediante Infomap revela que $G_c$ produce clústeres más homogéneos con mayor coherencia semántica. En contraste, los clústeres de $G_b$ a menudo contienen cliques temáticamente no relacionados (por ejemplo, "energía eólica" y "conversación ruidosa").
• Dimensionalidad: El embedding de grafo de $G_c$ logra una alta confiabilidad (>0.7) con dimensiones inferiores a 100, lo que sugiere que la estructura semántica discreta puede representarse eficazmente en dimensiones menores comparadas con las 768 dimensiones utilizadas por CamemBERT.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los modelos profundos supervisados son efectivos para tareas de contexto local, sufren de limitaciones estructurales para representar la organización global del espacio semántico. El modelo de grafo discreto basado en cliques de coocurrencia demuestra:

1. Una mejor gradación de las distancias semánticas.
2. Una distribución más uniforme del espacio de embedding.
3. Una estructura de grafo más homogénea en cuanto a conectividad y coherencia de clústeres.

Los autores sugieren que estos hallazgos apuntan hacia una perspectiva complementaria: la integración de conocimientos estructurales basados en grafos podría guiar a las arquitecturas neuronales hacia una convergencia más estable e interpretable y, potencialmente, reducir la dimensionalidad efectiva requerida para la representación semántica. El estudio es modesto en su alcance, señalando que está limitado al idioma francés, a un único corpus y a un modelo específico, y hace un llamado a realizar más investigaciones para validar estos hallazgos en otros idiomas y arquitecturas.