Cell-Based Representation of Relational Binding in Language Models

Resumen Técnico: Representación de Vinculación Relacional Basada en Células (CBR)

1. El Problema

La comprensión del discurso requiere rastrear entidades y las relaciones que las vinculan a medida que avanza el texto. Aunque los Modelos de Lenguaje Grandes (LLMs) demuestran un buen rendimiento en el razonamiento relacional, el mecanismo interno mediante el cual "vinculan" entidades, relaciones y atributos sigue siendo un misterio.

• Limitaciones de trabajos previos: La investigación anterior se ha centrado principalmente en textos muy cortos (una o dos oraciones) con pocas entidades.
• La brecha: No se ha explorado suficientemente cómo los LLMs manejan la vinculación relacional a nivel de discurso (múltiples oraciones), donde deben mantener múltiples relaciones por entidad e integrar información a través de párrafos complejos.

2. Metodología

Los autores proponen e investigan una estructura llamada Representación de Vinculación Basada en Células (CBR, por sus siglas en inglés).

• Concepto Central (CBR): Los LLMs codifican la vinculación relacional en un subespacio lineal de baja dimensión dentro del espacio de activaciones. En este subespacio, la información se organiza en una estructura de "células" en forma de cuadrícula. Cada "célula" corresponde a un par único de índices: (índice de entidad $e_i$, índice de relación $r_i$).
• Esquema de Indexación Relacional (IRS): Para probar esta hipótesis, los autores diseñaron un esquema de anotación que abstrae el discurso en índices discretos en lugar de símbolos léxicos. Cada token de atributo (ej. "Australia") se asocia con un par $(e_i, r_i)$ específico.
• Datos y Modelos:
  • Se generaron discursos controlados de múltiples oraciones con múltiples entidades y tipos de relaciones.
  • Se utilizaron cinco dominios semánticos (países, ciudades, trabajos, objetos, relaciones) y dos familias de modelos: Llama3-8B-Instruct y Qwen3-8B.
• Técnicas de Análisis:
  1. Detección del Subespacio: Se utilizó Regresión de Mínimos Cuadrados Parciales (PLS) para mapear las activaciones de los tokens de atributo hacia sus índices de entidad y relación.
  2. Intervenciones Causales (Activation Patching): Se manipularon las activaciones dentro del subespacio CBR para observar cambios en las predicciones del modelo.
  3. Steering (Dirigido): Se aplicaron vectores de dirección para modificar índices específicos (entidad o relación) en tokens de consulta y observar cómo cambiaba la respuesta.
  4. Análisis de Robustez: Se probaron perturbaciones como la eliminación de atributos (ablation), el cambio de orden (shuffling) y la variación de la distancia de referencia.

3. Contribuciones Clave

1. Descubrimiento de la CBR: Se identifica y visualiza un subespacio lineal de baja dimensión donde la vinculación relacional se organiza geométricamente como una cuadrícula de células, donde cada celda representa un par único (entidad, relación).
2. Decodibilidad Lineal: Se demuestra que los índices de entidad y relación son linealmente decodificables desde las activaciones del modelo (especialmente en las capas intermedias, alrededor de la capa 15).
3. Evidencia Causal: Mediante activation patching, se prueba que manipular este subespacio altera sistemáticamente las predicciones del modelo, confirmando que el CBR no es solo una correlación, sino un mecanismo causal para la recuperación de información.
4. Generalidad y Transferencia: Se demuestra que, aunque la posición exacta del subespacio varía según el contexto, existe una estructura de segundo orden consistente. Las representaciones específicas del contexto están relacionadas por vectores de traducción en el espacio de activaciones, permitiendo la transferencia entre contextos.
5. Independencia de la Superficie: La estructura CBR es robusta frente a cambios en el orden superficial de las palabras o la distancia entre menciones de entidades, indicando que codifica la estructura relacional subyacente y no solo pistas superficiales.

4. Resultados Principales

• Geometría de Cuadrícula: Al proyectar las activaciones en los dos componentes principales de PLS, los puntos forman una distribución en forma de cuadrícula clara, separada por ejes de índice de entidad ($e_i$) e índice de relación ($r_i$).
• Rendimiento de Decodificación: Los modelos PLS logran un ajuste casi perfecto ($R^2 \approx 0.95-0.99$) con muy pocos componentes (2-5), validando la naturaleza de baja dimensión del subespacio.
• Intervenciones Causales:
  • Perturbar las activaciones a lo largo del subespacio CBR degrada significativamente la precisión de predicción de atributos, mientras que perturbar en direcciones aleatorias no tiene efecto.
  • El "steering" (dirigir) de los índices en la consulta (ej. cambiar el índice de relación de 1 a 2) hace que el modelo cambie su respuesta al atributo correspondiente en el contexto, demostrando un mecanismo de recuperación activo.
• Transferencia entre Contextos: Un subespacio aprendido en un dominio (ej. "países") puede predecir índices en otro dominio (ej. "ciudades") si se aplica un vector de traducción, lo que sugiere una estructura compartida subyacente.
• Robustez: La estructura CBR se mantiene estable incluso cuando se eliminan relaciones o se cambia el orden de las oraciones, y persiste en conjuntos de datos del mundo real (Re-DocRED) cuando el contexto es similar al de entrenamiento.

5. Significado e Impacto

• Interpretabilidad: Este trabajo proporciona una de las primeras explicaciones mecánicas detalladas de cómo los LLMs realizan la vinculación de entidades a nivel de discurso, yendo más allá de la vinculación par a par en oraciones individuales.
• Hipótesis de Representación Lineal: Extiende la Hipótesis de Representación Lineal (LRH) a estructuras relacionales complejas, mostrando que el conocimiento estructural del discurso se codifica de manera composicional y lineal.
• Aplicaciones Prácticas:
  • Extracción de Relaciones (RE): El subespacio CBR podría utilizarse para mejorar la extracción de relaciones en documentos largos.
  • Mitigación de Sesgos: Al poder monitorear y manipular las vinculaciones internas, se abre la puerta a técnicas para corregir asociaciones erróneas o estereotipadas (ej. vincular "CEO" con "mujer" en lugar de "hombre" cuando el contexto lo requiere).
  • Depuración de Modelos: Permite identificar qué cabezas de atención (attention heads) son críticas para la vinculación relacional, facilitando la depuración de fallos de razonamiento.

En conclusión, el artículo establece que los LLMs no solo rastrean entidades, sino que utilizan una geometría de células estructurada y causal para mantener y recuperar relaciones complejas a través de discursos extensos, ofreciendo una nueva ventana para entender y controlar el razonamiento de los modelos de lenguaje.