Resumen Técnico: Conocimiento Correcto, Respuesta Incorrecta: Dirección en Tiempo de Inferencia para Conflictos de Hechos Temporales en Modelos de Pesos Abiertos

1. Definición del Problema: Conflicto Temporal Paramétrico (PTC)

Los Grandes Modelos de Lenguaje (LLMs) entrenados en corpus que abarcan múltiples años a menudo codifican tanto hechos desactualizados como sus contrapartes más recientes dentro de su memoria paramétrica. Surge un modo de fallo distintivo cuando un modelo posee el hecho actualizado internamente (recuperable mediante claves temporales) pero por defecto opta por la respuesta desactualizada bajo un prompting estándar. Los autores formalizan esto como Conflicto Temporal Paramétrico (PTC).

A diferencia de la simple ausencia de conocimiento (donde el modelo carece totalmente del hecho) o la degradación genérica de la recuperación temporal, el PTC se define por dos condiciones:

1. Preferencia Desactualizada: $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ bajo prompting estándar.
2. Recuperabilidad: $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$ cuando se proporciona una clave temporal (por ejemplo, "A partir de 2024...").

Los enfoques existentes, como el aprendizaje continuo (actualización de pesos) o la generación aumentada por recuperación (RAG), no abordan este escenario específico de selección entre versiones coexistentes de un hecho en el momento de la inferencia sin modificar los pesos o utilizar recuperación externa.

2. Metodología: Dirección de Atractor Temporal (TAS)

El artículo introduce la Dirección de Atractor Temporal (TAS), un marco de trabajo en tres etapas, sin recuperación y sin entrenamiento, diseñado para detectar, localizar y resolver el PTC mediante la manipulación de las activaciones del flujo residual (residual-stream).

Etapa 1: Detección

Una sonda lineal ligera califica si una consulta es probable que exhiba un PTC. La sonda es entrenada con positivos de PTC verificados y negativos de no-conflicto emparejados. Si la puntuación supera un umbral $\tau$, la consulta procede a la etapa de dirección; de lo contrario, se procesa normalmente para preservar el comportamiento en consultas sin conflicto.

Etapa 2: Localización del Conflicto

Utilizando el parcheo de activación causal (causal activation patching), el método identifica una capa crítica de conflicto ($\ell^*$). Al parchar los estados ocultos de una pasada hacia adelante con un "prompt temporal" en una pasada hacia adelante con un "prompt estándar", los autores determinan qué capa, al ser intervenida, maximiza la Tasa de Cambio de Respuesta (AFR). Los resultados empíricos muestran que, para todos los modelos probados, esta capa crítica reside en la mitad superior de la red (por ejemplo, capas 23–31 en modelos de 28–32 capas).

Etapa 3: Dirección (Steering)

En la capa identificada $\ell^*$, el estado oculto se perturba hacia la representación del hecho más reciente utilizando un vector de dirección precalculado $\Delta$:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
donde $\alpha$ controla la fuerza de la intervención y $c$ es la puntuación del detector. El vector de dirección $\Delta$ se construye promediando la diferencia entre los estados ocultos bajo claves temporales y prompts estándar ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$). Los autores proponen tres variantes para la granularidad del promedio: global (V1), por relación (V2) y por dominio (V3). Se encontró que la V2 (por relación) es la más efectiva, evitando la dilución de señales fuertes de relaciones específicas (como "Jefe de Estado") por parte de relaciones de alto volumen más ruidosas.

3. Contribuciones Clave

1. Formalización y Filtrado: El artículo define el PTC e introduce un filtro de recuperación de conocimiento para distinguir conflictos reales de la ausencia de conocimiento. Esto asegura que la evaluación se centre solo en casos donde el modelo puede recuperar el nuevo hecho pero falla en hacerlo por defecto.
2. Dirección de Atractor Temporal (TAS): Un nuevo marco que opera sobre las activaciones del flujo residual para sobrescribir selectivamente el conocimiento paramétrico desactualizado sin reentrenamiento ni recuperación externa. El análisis teórico proporciona condiciones suficientes (Separabilidad Local, Dirección Acotada) bajo las cuales TAS logra cambiar con éxito la desigualdad de preferencia.
3. Evaluación Verificada Multimodelo: Los autores construyen un benchmark verificado de 8,746 registros que abarca cinco relaciones de Wikidata (por ejemplo, CEO, Jefe de Estado) y evalúan cuatro modelos de pesos abiertos (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Resultados Experimentales

La evaluación se realizó en el benchmark de 8,746 registros a través de tres familias de modelos.

• Prevalencia de PTC: Las tasas de PTC filtradas escalan monótonamente con la capacidad del modelo, variando desde el 4.1% (Qwen-1.5B) hasta el 10.3% (Llama-3.1-8B). La tasa de preferencia desactualizada (OPR) es relativamente invariante entre familias (~53–54%).
• Localización: El parcheo de activación de una sola capa logra Tasas de Cambio de Respuesta (AFR) de 0.72–0.85 en todos los modelos, confirmando que los circuitos de resolución de conflictos están localizados en capas superiores específicas.
• Rendimiento de Extremo a Extremo: TAS recupera entre el 29% y el 57% de los casos de PTC verificados, manteniendo una precisión del 85–99% en consultas sin conflicto (Precisión de Preservación).
  • Mejor Rendimiento: Qwen-2.5-7B logró una tasa de recuperación del 56.9% con un 94.8% de preservación.
  • Comparación con el Baseline: TAS supera a un baseline de ITI (Intervención en Tiempo de Inferencia) emparejado en tres de los cuatro modelos. Específicamente, TAS gana +0.142 a +0.152 en recuperación en los modelos Qwen comparado con ITI, debido a la construcción del vector de dirección a partir de instancias de conflicto verificadas en lugar de contrastes de comportamiento generales.
• Análisis Cross-Model: Los casos de PTC no están perfectamente alineados entre modelos. Curiosamente, el solapamiento entre Mistral y Llama (familias diferentes) es mayor que el solapamiento entre los dos modelos Qwen (misma familia), lo que sugiere que la recencia de los datos de entrenamiento es un predictor de alineación de PTC más fuerte que el linaje arquitectónico.

5. Significado y Reivindicaciones

El artículo afirma proporcionar un relato basado en mecanismos y sin recuperación de cómo el conocimiento paramétrico desactualizado puede ser sobrescrito selectivamente durante la inferencia.

• Utilidad Diagnóstica: El filtro de recuperación de conocimiento ofrece un diagnóstico económico para determinar si un modelo posee nuevos hechos recuperables antes de intentar la intervención.
• Estabilidad: La capa crítica de conflicto es específica de cada familia pero estable, lo que permite reutilizarla una vez identificada para una familia de modelos determinada.
• Eficacia de la Intervención: Los resultados demuestran que los conflictos temporales son medibles, localizables y resolubles. El artículo afirma modestamente que, si bien la dirección de conflicto verificado (TAS) generalmente supera a la dirección de contraste conductual (ITI), la construcción óptima del vector de dirección puede variar según la arquitectura del modelo (por ejemplo, ITI funcionó mejor en Mistral-7B-v0.3).

Este trabajo establece que el PTC es un modo de fallo distinto y separable de la ausencia de conocimiento, y que la dirección de activación dirigida puede resolver eficazmente estos conflictos sin el costo computacional del reentrenamiento o la latencia de la recuperación externa.