Resumen Técnico: La recuperación de hechos en los LLM es un proceso redundante, distribuido y no contiguo

Planteamiento del problema

Aunque los Grandes Modelos de Lenguaje (LLM) demuestran almacenar y recuperar conocimiento factual (por ejemplo, prediciendo "alemán" para "La lengua materna de Angela Merkel es"), el mecanismo preciso mediante el cual las representaciones de las entidades se transforman para permitir la recuperación de atributos específicos sigue sin explorarse adecuadamente. La literatura existente postula que la recuperación de hechos ocurre en la posición del token de la entidad final e involucra un proceso de tres etapas: consolidación de la entidad, enriquecimiento de la entidad (carga de atributos mediante MLPs) y extracción de atributos. Sin embargo, las computaciones causales específicas requeridas para transformar una representación de entidad en un estado suficiente para la recuperación de atributos permanecen mayormente sin mapear. Es ambiguo si la recuperación es una acumulación continua de información a través de las capas o un estado discreto alcanzado en un punto específico, y si el proceso depende de un circuito único y localizado o de un mecanismo distribuido.

Metodología

Los autores proponen un marco centrado en la ruta de computación de atributos: una secuencia de pasos computacionales (capas del transformador) sobre una representación de entidad requerida para provocar un atributo objetivo. El objetivo central es identificar una ruta de computación de atributos mínima —un subconjunto de capas que sea tanto suficiente como necesario para la computación, donde la eliminación de cualquier capa interrumpe la salida.

Para lograr esto, los autores introducen un novedoso protocolo de parcheo de activación iterativo que involucra tres etapas principales:

1. Localización del punto de terminación ($\ell_{attr}$):
   Utilizando una operación llamada lock (bloqueo), los autores parchean la representación de la entidad desde una capa $\ell$ hacia todas las capas subsiguientes. Identifican la capa más temprana $\ell_{attr}$ tal que bloquear la representación en este punto preserva la predicción correcta del atributo. Esto establece un límite superior para la ruta mínima, confirmando que no se requiere más procesamiento más allá de esta capa para que el atributo esté plenamente disponible.

2. Identificación de la ruta mínima (Búsqueda codiciosa iterativa):
   Partiendo desde el embedding de la entidad, el algoritmo realiza una búsqueda codiciosa (greedy search) para encontrar la secuencia mínima de capas. Utiliza prompts contrafácticos (por ejemplo, cambiar "Angela Merkel" por "Bill Gates") para definir una operación isolate (aislar). En esta operación:

   • La primera capa de la ruta candidata recibe el embedding limpio de la entidad.
   • Las capas subsiguientes en la ruta reciben la salida computada de la capa anterior de la ruta.
   • Todas las capas intermedias entre las capas de la ruta reciben las activaciones de la ejecución contrafáctica.
     El algoritmo extiende iterativamente la ruta saltándose tantas capas como sea posible mientras mantiene la validez de la predicción (es decir, el modelo sigue emitiendo el atributo correcto). Esto asegura que la ruta resultante sea mínima y no contigua.

3. Descubrimiento de rutas alternativas:
   Al relajar la restricción de que la ruta debe terminar en $\ell_{attr}$ y permitir que la búsqueda se extienda a capas más profundas, los autores identifican rutas mínimas alternativas. Estas rutas son funcionalmente equivalentes a la ruta primaria, pero difieren en longitud, profundidad y composición de capas.

El método se aplicó a LLaMA 3.1 8B (32 capas) y Qwen3 8B (36 capas) utilizando 2,000 prompts del conjunto de datos CounterFact.

Resultados Clave

1. No contigüidad y dispersión

Las rutas de computación de atributos mínimos son frecuentemente no contiguas. Los modelos a menudo omiten capas intermedias por completo durante el proceso de recuperación.

• LLaMA: 33.1% de las rutas omiten al menos una capa (tamaño de salto promedio: 0.7).
• Qwen: 78.6% de las rutas omiten al menos una capa (tamaño de salto promedio: 2.0).
  Esto indica que la recuperación de conocimiento factual no requiere un flujo continuo a través de cada capa; más bien, un subconjunto disperso de capas realiza las transformaciones necesarias.

2. Procesamiento distribuido y de múltiples pasos

Contrario a la hipótesis de que una sola capa o un rango estrecho de capas es responsable de la recuperación, las rutas mínimas involucran consistentemente múltiples capas (longitud de ruta promedio: ~5.9 para LLaMA, ~7.9 para Qwen). La representación de la entidad debe someterse a varias transformaciones distintas antes de que el atributo esté plenamente disponible.

3. Redundancia y rutas alternativas

El estudio revela un alto grado de redundancia. Para la mayoría de los hechos explorados:

• LLaMA: 80.1% de los casos tienen al menos una ruta alternativa funcionalmente equivalente.
• Qwen: 82.7% de los casos tienen rutas alternativas.
  Estas rutas alternativas son típicamente más profundas y largas que las rutas primarias utilizadas en las pasadas hacia adelante (forward passes) estándar. Dependen de saltos masivos no secuenciales y reclutan conjuntos distintos y más profundos de módulos, eludiendo efectivamente los centros de procesamiento primarios.

4. Roles funcionales de las capas

• Profundidad de terminación: Las computaciones de atributos suelen completarse en capas tempranas o medias ( $\ell_{attr}$ promedio: 4.61 para LLaMA, 7.97 para Qwen).
• Suficiencia de la representación: La representación en $\ell_{attr}$ es estrictamente necesaria (eliminarla interrumpe >94% de las predicciones). Sin embargo, a menudo no es suficiente por sí sola; las capas de la ruta intermedia son requeridas para impulsar las capas superiores del modelo en una parte significativa de los casos (tasa de fallo del 44% para las rutas primarias de LLaMA cuando solo se inyecta $\ell_{attr}$).
• Propagación: Las rutas más largas y no estándar dependen más de la propagación de información entre tokens mediante mecanismos de atención en comparación con las rutas primarias.

5. Flexibilidad modular

Los autores demostraron que las rutas "híbridas" —construidas concatenando prefijos de rutas primarias con sufijos de rutas alternativas— pueden restaurar con éxito las predicciones de atributos. Esto confirma que diferentes secuencias de capas pueden realizar transformaciones funcionalmente equivalentes, y que los roles de las capas no son estrictamente uno a uno entre los circuitos primarios y de respaldo.

6. Resolución de Entidad vs. Recuperación de Atributos

El estudio encontró una fuerte disociación entre la Resolución de Entidad (ER) (la capacidad de reconstruir el nombre de la entidad) y la suficiencia del atributo. Los pasos de ER detectables ocurrieron en una minoría de las rutas primarias (12.9% para LLaMA) e incluso menos en las rutas alternativas, lo que sugiere que la recuperación de atributos a menudo ocurre de forma implícita sin un "estado de identidad" distinguible accesible a los métodos de sondeo (probing).

Significado y Reivindicaciones

El artículo afirma proporcionar una nueva perspectiva sobre el subproceso de enriquecimiento de entidades, desafiando la "visión popular" de que los hechos se almacenan en capas MLP específicas y localizadas. En su lugar, los autores argumentan que:

1. El conocimiento está distribuido: La información factual se almacena y procesa de manera distribuida a través de múltiples capas, requiriendo una secuencia específica y no contigua de transformaciones para su recuperación.
2. El conocimiento es redundante: Los modelos poseen múltiples rutas computacionales funcionalmente equivalentes para el mismo hecho, lo que explica el "efecto hidra" donde los modelos se reparan a sí mismos cuando los circuitos primarios son ablados.
3. Desajuste de Localización-Edición: Los hallazgos ofrecen una explicación de por qué la edición del conocimiento suele tener éxito en ubicaciones diferentes de donde el conocimiento está localizado. Dado que la computación de atributos requiere múltiples transformaciones, la edición tiene éxito al intervenir en una etapa de transformación necesaria en lugar de en un lugar de almacenamiento específico.

Los autores concluyen que el mecanismo de recuperación de hechos es mucho más complejo y elaborado de lo que se entendía anteriormente, caracterizado por una alta redundancia y computación distribuida en lugar de un circuito de recuperación lineal y único. El trabajo proporciona una visión precisa de cómo el conocimiento factual enriquece las representaciones de las entidades a través de un novedoso protocolo de parcheo de activación.