Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

Resumen Técnico: Células de Entidad en Modelos de Lenguaje

1. El Problema

Aunque los modelos de lenguaje (LLMs) pueden responder preguntas fácticas centradas en entidades (ej. "¿Quién es el presidente de X?"), sigue siendo un misterio cómo y dónde se almacena y recupera este conocimiento dentro de la arquitectura interna del modelo.

• Hipótesis de la "Célula de la Abuela": En neurociencia, esta hipótesis sugiere que conceptos complejos pueden ser representados por neuronas individuales altamente específicas. El artículo investiga si existe un análogo en los LLMs: células de entidad (neuronas MLP dispersas y selectivas) que actúan como puntos de acceso estables para recuperar la identidad de una entidad y sus hechos asociados.
• La pregunta central: ¿El modelo construye el significado de una entidad gradualmente a través de muchas capas, o recupera una representación compacta a través de puntos de acceso localizados en capas tempranas?

2. Metodología

Los autores proponen una tubería de localización e intervención a nivel de neurona para probar la existencia y causalidad de estas células.

• Localización Basada en Estabilidad:

  • Se utilizan prompts planteados (ej. "El origen de [Entidad]", "El rol de [Entidad]") para cada una de las 200 entidades populares seleccionadas de PopQA.
  • Se extraen las activaciones de las neuronas MLP en la posición del token final de la mención de la entidad.
  • Se calcula una puntuación de estabilidad ($S_{\ell j}$) que prioriza neuronas que se activan fuertemente y consistentemente a través de diferentes plantillas para la misma entidad, penalizando la variabilidad relativa.
  • Se selecciona la neurona con mayor puntuación como la "candidata a célula de entidad".

• Intervenciones Causales:
  Una vez localizadas las neuronas candidatas, se realizan dos tipos de intervenciones para verificar su causalidad:

  1. Ablación Negativa: Se escala la activación de la neurona candidata por un factor negativo ($\alpha < 0$). Si la neurona es causalmente necesaria, el modelo debería sufrir una "amnesia específica de la entidad" (no poder recordar hechos sobre esa entidad), mientras que otras entidades permanecen estables.
  2. Inyección Controlada: Se reemplaza la mención de la entidad en el prompt por un marcador de posición ($X$) y se inyecta la activación de la neurona candidata en ese token. Si la neurona es suficiente, el modelo debería recuperar los hechos correctos sobre la entidad.

• Evaluación:

  • Se mide la probabilidad del primer token de la respuesta correcta (pass@k).
  • Se prueba la robustez frente a variaciones de superficie: alias, acrónimos, errores ortográficos y formas multilingües.

3. Resultados Clave

Los experimentos se realizaron en 7 modelos de diferentes familias (Qwen, OLMo, Llama, Mistral, OpenLLaMA), con un enfoque principal en Qwen2.5-7B base.

• Concentración en Capas Tempranas (Hallazgo 1):

  • Las células de entidad localizadas se concentran masivamente en las capas tempranas (0-5). En Qwen2.5-7B, el 99% de las entidades tienen su neurona principal en estas capas. Esto sugiere que la identidad de la entidad se "canoniza" o consolida al principio del proceso de inferencia.

• Necesidad Causal: Amnesia Específica (Hallazgo 2):

  • La ablación negativa de la neurona localizable induce una amnesia específica de la entidad. Por ejemplo, al suprimir la neurona de "Obama", el modelo deja de recordar hechos sobre Obama, pero sigue funcionando fluidamente y recordando hechos sobre "Trump" (entidad de control).
  • De 200 entidades, 131 mostraron este efecto causal confiable, definiendo un subconjunto "confiable" para pruebas posteriores.

• Suficiencia Causal: Recuperación con una Neurona (Hallazgo 3):

  • La inyección de la activación de una sola neurona localizable en un token de marcador de posición es suficiente para recuperar el conocimiento de la entidad en el 63.3% de los casos (pass@5), superando significativamente a los controles (inicialización media o neurona de la entidad incorrecta).
  • Para la mayoría de las entidades, una sola neurona es suficiente; usar top-k no mejora significativamente los resultados.

• Robustez a la Forma de Superficie (Hallazgo 4):

  • La misma neurona localizable se recupera consistentemente cuando la entidad se escribe con errores ortográficos, como acrónimos (ej. "FBI" vs "Federal Bureau of Investigation") o en diferentes idiomas (ej. "París" en hebreo, chino, árabe).
  • Esto indica que la neurona no detecta una cadena de tokens específica, sino una representación canónica de la identidad de la entidad.

• Generalización entre Modelos:

  • El fenómeno es más fuerte y consistente en la familia Qwen (especialmente Qwen2.5-7B base e Instruct).
  • En otros modelos (Llama, Mistral, OLMo), aunque se pueden localizar candidatos, la validación causal es más débil y la robustez de la forma es menor, sugiriendo que las "células de entidad" son un fenómeno reproducible pero dependiente del modelo.

4. Contribuciones Principales

1. Validación de la Hipótesis de la Célula de la Abuela: Demuestran empíricamente que, para un subconjunto sustancial de entidades, el acceso a conocimientos fácticos está mediado por neuronas MLP dispersas y estables, análogas a las "células de la abuela".
2. Método de Localización y Validación: Presentan un pipeline que combina puntuación de estabilidad con intervenciones causales (ablación e inyección) para distinguir correlación de causalidad.
3. Caracterización de Propiedades: Identifican que estas células actúan como un "vocabulario latente" de entidades, proporcionando acceso a la identidad de la entidad independientemente de la forma superficial (idioma, ortografía).
4. Puntos de Acceso Accionables: Muestran que es posible modular el comportamiento fáctico del modelo manipulando una sola neurona, lo que tiene implicaciones para la edición de modelos y la interpretabilidad.

5. Significado e Implicaciones

• Interpretabilidad Mecánica: El trabajo proporciona una explicación causal de dónde y cómo se accede a los hechos en la inferencia, sugiriendo que no todo es un proceso gradual de enriquecimiento, sino que existen "anclajes" esparsos.
• Edición y Control de Modelos: La capacidad de inducir amnesia o recuperar hechos manipulando una sola neurona abre nuevas vías para la edición precisa de modelos sin reentrenamiento masivo (a diferencia de métodos como ROME o MEMIT que modifican pesos).
• Robustez y Seguridad: La comprensión de cómo se representan las identidades ayuda a entender la vulnerabilidad de los modelos ante ataques de inyección o cómo mantener la consistencia factual.
• Limitaciones: El efecto no es universal (no todas las entidades tienen una "célula" única confiable) y la cobertura es mayor para entidades populares. Además, la visibilidad del mecanismo parece depender de la distribución de los datos de preentrenamiento del modelo.

En conclusión, el artículo establece que los LLMs modernos poseen puntos de acceso causales, dispersos y tempranos para la recuperación de entidades, ofreciendo una visión más granular y accionable de la memoria fáctica en la inteligencia artificial.