Linear Representations of Hierarchical Concepts in Language Models

1. Problema de Investigación

El trabajo aborda la cuestión de cómo y hasta qué punto las Relaciones Jerárquicas (por ejemplo, Tokio ⊂ Asia Oriental ⊂ Asia) están codificadas en las representaciones internas de los Modelos de Lenguaje (LM).

Aunque trabajos anteriores han identificado representaciones geométricas de conceptos (colores, ubicación, tiempo) y relaciones, el entendimiento de las jerarquías conceptuales sigue siendo limitado debido a dos restricciones principales en la literatura previa (como Park et al., 2025):

1. Capas limitadas: Los estudios se centraban principalmente en la capa de unembedding (salida), ignorando las representaciones en las capas intermedias donde ocurren gran parte de los cálculos del modelo.
2. Entidades de un solo token: Los métodos existentes no podían manejar entidades compuestas por múltiples tokens (ej. "Babe Ruth" o "Baseball Player"), limitando el análisis a palabras individuales.

El objetivo es investigar cómo los LM representan jerarquías que involucran entidades diversas y compuestas a través de sus capas intermedias.

2. Metodología: Codificación Jerárquica Lineal (LHE)

Los autores proponen un marco llamado Linear Hierarchical Encoding (LHE), basado en el concepto de Linear Relational Concepts (LRC).

• Construcción de Datos: Se creó un dataset de jerarquías conceptuales en cinco dominios específicos: Ubicaciones, Personas, Organizaciones, Organismos y Temas de Investigación. Estos datos incluyen entidades de múltiples tokens y se filtraron para asegurar que el modelo conociera las relaciones (mediante preguntas de opción múltiple con pocos ejemplos).
• Enfoque de Aprendizaje:
  • Se modela la jerarquía como una serie de transiciones de nodos hijos a padres en diferentes profundidades (depths).
  • Se aprenden transformaciones lineales específicas para cada profundidad jerárquica y dominio.
  • Dada una relación jerárquica (ej. "Osaka es parte de"), el modelo aprende una transformación lineal $R_r$ que mapea la representación del nodo hijo (en una capa intermedia $\ell_s$) a la representación del nodo padre (en una capa $\ell_o$).
  • La transformación se define como $R_r(s) = W_r s + b_r$, donde $W_r$ se estima utilizando el promedio de la Jacobiana sobre las muestras de entrenamiento.
  • Se utiliza una pseudo-inversa de bajo rango ($W_r^\dagger$) para definir el mapeo inverso y extraer vectores de concepto ($v_{r,c}$) que actúan como direcciones prototipo en el espacio de representación.

3. Contribuciones Clave

1. Marco LHE: Un nuevo método para analizar representaciones jerárquicas en capas intermedias de LM, capaz de manejar entidades de múltiples tokens.
2. Análisis Multidominio y Multicapa: La primera evaluación exhaustiva de la codificación jerárquica a través de múltiples dominios semánticos y capas de profundidad en modelos modernos (Llama 3, Qwen3).
3. Descubrimiento de Subespacios: Identificación de que la información jerárquica reside en subespacios de baja dimensión y que, aunque estos subespacios son específicos del dominio, comparten una estructura topológica similar.

4. Resultados Principales

Los experimentos se realizaron en cuatro modelos (Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B, Qwen3 14B) y cinco dominios.

• Recuperabilidad Lineal y Causalidad:
  • Precisión (Accuracy): Las relaciones padre-hijo pueden recuperarse linealmente con alta precisión (hasta 0.96 en Organizaciones para Llama 3.1 8B), superando significativamente a baselines como SVM o promedios de entrada.
  • Causalidad: Las intervenciones basadas en los vectores de concepto aprendidos alteran causalmente las predicciones del modelo. Por ejemplo, al restar el vector "parte de: India" y sumar "parte de: Japón" en la representación oculta de una ciudad, el modelo cambia su predicción de siguiente token correctamente.
• Dimensión del Subespacio:
  • La información jerárquica se concentra en un subespacio de baja dimensión (aproximadamente 150–250 dimensiones) dentro de espacios de estado oculto mucho más grandes (3000–5000 dimensiones). La precisión y causalidad alcanzan su pico en este rango de rango (rank) de la matriz pseudo-inversa.
• Especificidad del Dominio vs. Estructura Compartida:
  • Especificidad: Los subespacios que codifican la jerarquía son específicos del dominio. Una transformación entrenada en "Ubicaciones" tiene baja causalidad cuando se aplica a "Personas", aunque la precisión de decodificación se mantenga moderadamente alta.
  • Similitud Estructural: A pesar de la especificidad del dominio, el estructura interna de estas representaciones es altamente similar entre dominios. El análisis mediante Topological Data Analysis (TDA) (homología persistente) muestra que la forma geométrica de las representaciones jerárquicas es consistente, independientemente del dominio semántico.

5. Significado e Implicaciones

• Interpretabilidad: Demuestra que los LM codifican jerarquías complejas de manera altamente interpretable y lineal, lo que valida la hipótesis de representaciones lineales para estructuras conceptuales complejas.
• Arquitectura de Conocimiento: Sugiere que los modelos desarrollan una organización general para las jerarquías (estructura compartida), pero la implementan en subespacios especializados por dominio para evitar interferencias.
• Aplicaciones Prácticas: La capacidad de intervenir causalmente en las representaciones internas para modificar el comportamiento del modelo abre nuevas vías para la ingeniería de representaciones, la corrección de alucinaciones y la mejora de la coherencia lógica en tareas de razonamiento.

En resumen, el paper establece que los modelos de lenguaje modernos no solo "saben" jerarquías, sino que las representan geométricamente en subespacios lineales específicos pero estructuralmente isomórficos a través de sus capas intermedias.