Resumen Técnico: La Geometría Conceptual Jerárquica en Modelos de Lenguaje Emerge de la Co-ocurrencia de Palabras

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) y las incrustaciones de palabras exhiben estructuras geométricas donde las relaciones semánticas, como la hiperonimia (la relación "es-un"), parecen codificarse mediante direcciones o subespacios específicos. Trabajos anteriores, notablemente Park et al. [13], propusieron una "hipótesis de representación lineal" que sugiere que la geometría jerárquica surge de un mecanismo funcional donde los vectores de conceptos son ortogonales a sus padres, permitiendo una manipulación semántica limpia (por ejemplo, navegar de "ave" a "pez" sin perder la "animalidad"). Sin embargo, el origen de esta geometría sigue siendo debatido: ¿es el resultado de un diseño funcional explícito o una propiedad emergente de la distribución de los datos? Este artículo investiga si la geometría de división jerárquica observada en los LLM y en las incrustaciones de palabras es una consecuencia necesaria de las estadísticas de co-ocurrencia de palabras, en lugar de un mecanismo funcional específico de la jerarquía.

Metodología

Marco Teórico

Los autores proponen una teoría distribucional basada en la suposición de que las palabras más cercanas en el gráfico de hiperonimia de WordNet co-ocurren con mayor frecuencia en el texto.

1. Modelo de Co-ocurrencia: Definen una matriz de co-ocurrencia normalizada $M^\star$ (relacionada con la Información Mutua Puntual) donde las entradas dependen de la distancia semántica entre palabras. Asumen una función de núcleo $f(\text{dist}(i, j))$ que es positiva y estrictamente decreciente con la distancia.
2. Descomposición Espectral: El artículo analiza la descomposición en autovalores de $M^\star$ para palabras que forman un subárbol binario perfecto de WordNet. Utilizando una base de wavelets de Haar adaptada a la jerarquía, demuestran que los autovectores de $M^\star$ se organizan jerárquicamente:
   • El autovector principal (modo de escala) varía solo con la profundidad.
   • Los autovectores subsiguientes (modos wavelet) dividen los subárboles desde niveles gruesos hasta finos.
   • El espectro exhibe un ordenamiento "de grueso a fino", donde los modos no escalantes dominantes corresponden a divisiones taxonómicas de nivel superior antes que a las subramas más finas.
3. Modelo Paramétrico: Para hacer predicciones cuantitativas, los autores instan el núcleo con una función de decaimiento exponencial $f(d) = \alpha e^{-\beta d}$, ajustando los parámetros a datos empíricos de co-ocurrencia.

Validación Empírica

La teoría se pone a prueba contra dos tipos de representaciones:

1. Incrustaciones Word2vec: Los autores construyen incrustaciones word2vec directamente a partir de los principales autovectores de la matriz de co-ocurrencia empírica derivada del corpus de Wikipedia. Muestrean subárboles binarios perfectos de profundidad $L=3$ de la jerarquía de WordNet.
2. Representaciones de LLM: Analizan los vectores de desincrustación (unembedding) del modelo Gemma 2B (y las activaciones del flujo residual de Llama 3.2-1B para robustez). Los vectores se centran y blanquean para reducir la anisotropía global.

Métricas:

• Alineación del Espacio Propio Top-k: Dado que los autovectores teóricos para subespacios degenerados están definidos solo hasta una rotación, los autores comparan la alineación de los espacios propios top-$k$ entre las matrices de Gram empíricas y las matrices de Gram teóricas derivadas del núcleo ajustado.
• Ortogonalidad del Vector de Concepto: Replican el diagnóstico de Park et al. [13], midiendo la similitud del coseno entre los vectores padres y los vectores de "innovación" (hijo menos padre) para probar la ortogonalidad aproximada.

Contribuciones Clave

1. Origen Distribucional de la Jerarquía: El artículo proporciona un mecanismo estadístico simple que demuestra que la geometría de división jerárquica emerge naturalmente de las estadísticas de co-ocurrencia de palabras por pares, sin requerir restricciones funcionales explícitas ni objetivos de entrenamiento específicos de la jerarquía.
2. Organización Espectral de Grueso a Fino: Los autores prueban y verifican que los principales autovectores de la matriz de Gram de co-ocurrencia se organizan jerárquicamente, separando primero ramas taxonómicas amplias (por ejemplo, plantas vs. animales) y luego subramas progresivamente más finas (por ejemplo, aves vs. peces).
3. Extensión a LLM: El estudio demuestra que esta firma espectral específica se extiende de manera notable a las desincrustaciones de LLM (Gemma 2B), lo que sugiere que la geometría jerárquica en los LLM puede ser un subproducto de las mismas estadísticas de co-ocurrencia que impulsan a word2vec.
4. Reinterpretación de los Vectores de Concepto: Al mostrar que un modelo impulsado puramente por co-ocurrencia reproduce el patrón de "innovación ortogonal" observado por Park et al., el artículo argumenta que esta característica geométrica no implica necesariamente un mecanismo funcional para el razonamiento jerárquico, sino que puede surgir de la estructura espectral de las estadísticas por pares.

Resultados

• Alineación Teórica vs. Empírica: Tanto en las incrustaciones word2vec como en las desincrustaciones de Gemma 2B, los espacios propios top-$k$ de las matrices de Gram empíricas se alinean significativamente mejor con las predicciones teóricas (basadas en el núcleo exponencial ajustado) que con las líneas base de etiquetas aleatorias. Esta alineación se mantiene a través de diversas jerarquías semánticas (por ejemplo, organismos, cognición).
• Confirmación Visual: Las proyecciones de los nodos taxonómicos sobre las componentes principales (PC) revelan la división jerárquica predicha. Por ejemplo, en la taxonomía de organismos, la PC2 separa plantas de animales, mientras que las PC degeneradas 3–4 separan aves de peces y flores de árboles.
• Robustez: Los resultados persisten a través de diferentes parametrizaciones de núcleo (exponencial vs. ley de potencia), diferentes profundidades de árbol ($L=2$ y $L=3$) y diferentes tipos de representación (desincrustaciones blanqueadas, incrustaciones no blanqueadas centradas y activaciones internas del flujo residual).
• Diagnósticos del Vector de Concepto: El modelo de co-ocurrencia reproduce la casi ortogonalidad de las innovaciones padre-hijo encontradas en los LLM, confirmando que este patrón es consistente con un origen puramente estadístico.

Significado y Afirmaciones

El artículo afirma refinar la imagen funcional de la geometría jerárquica en los espacios de representación. Si bien la geometría es real y robusta, los autores argumentan que no necesita surgir de direcciones de conceptos ortogonales exactas impulsadas por un mecanismo funcional específico de la jerarquía. En cambio, la ortogonalidad aproximada observada en la práctica es una consecuencia de la estructura espectral inducida por las estadísticas de palabras por pares.

El trabajo apoya una visión más amplia donde las incrustaciones de palabras se caracterizan por atributos discretos, continuos y jerárquicos. Las palabras con atributos similares co-ocurren con más frecuencia, y esta regularidad estadística por sí sola da lugar a la elegante organización geométrica de las incrustaciones. Si bien dicha organización puede ser útil para la función, el artículo postula que no es impulsada por ella. Los hallazgos sugieren que la estructura jerárquica en los LLM es una propiedad emergente de la distribución de los datos y no una necesidad funcional aprendida.