Resumen Técnico: Donde el conocimiento colisiona: Un estudio mecanicista del conflicto de conocimiento intra-memoria en modelos de lenguaje

Definición del Problema

Los Grandes Modelos de Lenguaje (LLMs) enfrentan un desafío crítico de fiabilidad conocido como conflicto de conocimiento intra-memoria. Esto ocurre cuando información inconsistente sobre un mismo sujeto se codifica dentro del conocimiento paramétrico del modelo, lo que conduce a representaciones internas inestables donde diferentes prompts elicitan asociaciones fácticas contradictorias. Si bien investigaciones previas han abordado extensamente los conflictos contexto-memoria (resolviendo tensiones entre el conocimiento interno y el contexto externo mediante el ajuste fino o la edición de conocimiento), los mecanismos que gobiernan los conflictos internos permanecen en gran medida inexplorados. Específicamente, se desconoce dónde dentro de la arquitectura del modelo surgen estos conflictos, qué componentes son responsables de resolverlos y con qué eficacia las intervenciones dirigidas pueden alterar el comportamiento del modelo para resolver dichos conflictos.

Metodología

Los autores proponen un marco de interpretabilidad mecanicista para localizar e intervenir causalmente en los conflictos de intra-memoria. El estudio utiliza un flujo de trabajo de tres etapas:

1. Construcción del Conjunto de Datos:

   • Datos Sintéticos (SynWikiBio): Un conjunto de datos curado de biografías de estilo Wikipedia para entidades sintéticas. Los autores generaron 2,000 individuos únicos, creando 1,000 pares de biografías conflictivas (por ejemplo, diferencias en universidades o empresas) y 1,000 biografías libres de conflictos. Esto permite una experimentación controlada donde la verdad fundamental y los hechos conflictivos están precisamente definidos.
   • Datos del Mundo Real (DynamicQA): Para probar la generalizabilidad, los autores utilizaron el conjunto de datos DynamicQA, que contiene hechos estáticos, temporales y disputables. Construyeron contextos conflictivos reemplazando el conocimiento fáctico con contrafácticos proporcionados en el conjunto de datos.

2. Entrenamiento del Modelo:

   • Se evaluaron cuatro LLMs de diversas arquitecturas y escalas: GPT-2 XL (1.5B), Llama-3.2-1B, OPT-2.7B y Qwen3-4B.
   • $\ell_{mix}$: Los modelos fueron sometidos a un pre-entrenamiento continuo en el conjunto de datos mixto ($B_{mix}$) que contiene tanto biografías conflictivas como libres de conflictos, resultando en modelos con conflictos de conocimiento interno.
   • $\ell_{clean}$: Los modelos fueron sometidos a un pre-entrenamiento continuo en un subconjunto libre de conflictos ($B_{clean}$), sirviendo como referencia para representaciones paramétricas no conflictivas.

3. Sondeo Causal e Intervención:

   • Logit Lens: Utilizado para inspeccionar las representaciones del flujo residual en cada capa para localizar dónde se codifica el conocimiento conflictivo y cómo evoluciona la confianza en la predicción.
   • Activation Patching (Parcheo de Activación): Un método de rastreo causal donde las activaciones de un prompt "fuente" (libre de conflictos) se parchean en un prompt "objetivo" (conflictivo) para medir la contribución causal de componentes específicos (capas o cabezales) al resultado del modelo.
   • Cross-Model Activation Patching (CMAP): Una variante avanzada donde las activaciones se obtienen del modelo limpio ($\ell_{clean}$) y se inyectan en el modelo conflictivo ($\ell_{mix}$). Esto mitiga los problemas donde encontrar un prompt fuente no conflictivo dentro del mismo conjunto de datos es difícil o propenso al entrelazamiento.
   • Técnicas de Intervención: El estudio empleó Activation Patching, Zero Ablation (anulación de activaciones) y JUICE (amplificación de activaciones de cabezales específicos) para probar la capacidad de dirigir las predicciones del modelo lejos de los hechos conflictivos.

Resultados Clave

1. Localización del Conflicto

En los cuatro modelos probados, los conflictos de intra-memoria surgen y se resuelven consistentemente en las últimas capas de la red.

• Evolución de la Confianza: El análisis de la entropía y la divergencia KL revela que los modelos con y sin conocimiento conflictivo convergen de manera similar a través de las capas medias. La divergencia ocurre solo en las capas finales (por ejemplo, capas 40–47 en GPT-2 XL), donde el modelo conflictivo exhibe una creciente incertidumbre mientras que el modelo no conflictivo continúa convergiendo hacia una predicción confiable.
• Especificidad de los Componentes: Los componentes de atención muestran contribuciones agregadas más fuertes a la resolución de conflictos que los componentes MLP.

2. Efectividad de las Intervenciones

• Nivel de Cabezal vs. Nivel de Capa: Las intervenciones dirigidas a nivel de cabezal de atención (attention-head) superan significativamente a las intervenciones por capa.
• Brecha entre Sintético y Mundo Real: Las intervenciones son notablemente más efectes en el conjunto de datos sintético SynWikiBio que en el de DynamicQA del mundo real.
  • Por ejemplo, en GPT-2 XL, la Tasa de Éxito de Dirección (SSR) para el parcheo por capa cayó de 0.214 (sintético) a 0.141 (mundo real).
  • El análisis de filtrado sugiere que esta brecha existe porque los conflictos sintéticos suelen depender de cabezales especializados en un único hecho competidor, mientras que los conflictos del mundo real involucran cabezales de toma de decisiones más complejos y menos especializados debido a distribuciones de datos no controladas.
• Rendimiento de los Métodos:
  • JUICE emergió como el método de intervención más robusto en todos los modelos y conjuntos de datos.
  • CMAP funcionó de manera comparable al Activation Patching estándar en datos sintéticos y ofreció una configuración más práctica para conflictos del mundo real donde encontrar prompts fuente "limpios" es difícil.

3. Dependencias de Escala de Modelo y Arquitectura

• Anomalía de GPT-2 XL: GPT-2 XL mostró tasas de éxito de intervención inicialmente más bajas. Un análisis posterior reveló que esto se debió a su mayor número total de cabezales de atención (1,200). Cuando el número de cabezales intervenidos se escaló proporcionalmente, su rendimiento se alineó con otros modelos, sugiriendo que las señales relevantes para la tarea están distribuidas en un conjunto más amplio de cabezales en GPT-2 XL en comparación con modelos como OPT-2.7B o Qwen3-4B.
• Sin Circuito Universal: El estudio no encontró evidencia de un único circuito universal dedicado a manejar el conflicto de conocimiento en todos los modelos o sujetos. En su lugar, distintos circuitos parecen codificar diferentes piezas de conocimiento paramétrico, y la predicción final depende de qué señal del circuito sea activada más fuertemente por el prompt de entrada.

Significado y Reivindicaciones

El artículo afirma proporcionar el primer relato mecanicista de la resolución de conflictos de conocimiento de intra-memoria en los LM. Sus principales contribuciones son:

1. Localización: Establecer que los conflictos internos no están distribuidos uniformemente, sino que se localizan en las últimas capas y en cabezales de atención específicos.
2. Jerarquía de Intervención: Demostrar que las intervenciones finas a nivel de cabezal son superiores a las intervenciones gruesas a nivel de capa, particularmente cuando se dirigen a cabezales especializados.
3. Avance Metodológico: Validar el Cross-Model Activation Patching (CMAP) como una alternativa viable y, a menudo, necesaria al Activation Patching estándar para estudiar conflictos de conocimiento del mundo real.
4. Brecha Sintético-Real: Destacar una brecha de rendimiento sustancial entre los entornos sintéticos y los del mundo real, subrayando que, si bien los conjuntos de datos sintéticos son útiles para el descubrimiento mecanicista, la complejidad de los datos del mundo real (sesgo, ruido, distribución de entidades) complica significativamente la resolución de conflictos.

Los autores concluyen que los LM no dependen de un único módulo de "resolución de conflictos", sino más bien de una competencia entre distintos circuitos que codifican diferentes hechos. Esto sugiere que dirigir el comportamiento del modelo requiere amplificar las señales deseadas o suprimir las señales competidoras en el nivel de cabezal específico, en lugar de aplicar cambios arquitectónicos amplios. El estudio reconoce limitaciones, incluyendo la dependencia de las proyecciones de Logit Lens (que son menos fiables en las capas iniciales) y el uso de conflictos sintéticos que pueden no reflejar perfectamente las propiedades estadísticas de los conflictos de pre-entrenamiento naturales.