Resumen Técnico: La Geometría del Olvido

Declaración del Problema

Los modelos de lenguaje grandes (LLM) producen con frecuencia respuestas desactualizadas con la misma fluidez y confianza que las correctas. Cuando se les pregunta sobre hechos que han cambiado desde el corte de entrenamiento del modelo (por ejemplo, líderes gubernamentales actuales o entrenadores deportivos), los modelos pueden recuperar un hecho obsoleto, nombrar a un titular anterior al entrenamiento o fabricar uno nuevo. Los métodos de detección existentes, que dependen de estadísticas a nivel de salida (por ejemplo, entropía de tokens, entropía semántica) o sondas de estado oculto entrenadas para la corrección general o la incertidumbre, no logran distinguir entre estos modos de fallo. Específicamente, no pueden diferenciar el Recuerdo Obsoleto (recuperar un hecho que era correcto en el momento del entrenamiento pero que ahora está desactualizado) de la Confabulación (fabricar un hecho que nunca existió). Esta opacidad deja a las implementaciones incapaces de distinguir errores recuperables del momento del entrenamiento de las alucinaciones.

Los autores argumentan que esto no es un fallo de ingeniería, sino uno estructural: la deriva temporal (si un hecho almacenado ha cambiado desde el entrenamiento) está codificada en la corriente residual del modelo como un eje representacional que es geométricamente ortogonal tanto a la corrección como a la incertidumbre. En consecuencia, cualquier método que opere únicamente sobre señales de corrección o incertidumbre es estructuralmente ciego a la deriva por construcción.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos de 3.511 consultas que abarcan 1.342 hechos únicos a través de cuatro relaciones (jefe_de_gobierno, entrenador_principal, presidente_de, propiedad_de) con precisión de tenencia a nivel de día derivada de una instantánea congelada de Wikidata (abril de 2026).

• Estados de Conocimiento Temporal: Cada par (muestra, modelo) se clasifica en uno de cinco estados basados en la salida del modelo en relación con la línea temporal del hecho y el corte de entrenamiento del modelo ($\tau_\theta$):
  1. Estable-Correcto: Respuesta correcta, sin deriva.
  2. Anacronismo: Respuesta incorrecta (titular del pasado), sin deriva (el hecho nunca cambió).
  3. Recuerdo-Obsoleto: Respuesta incorrecta (titular del pasado), derivada (el hecho cambió después del entrenamiento).
  4. Obsoleto-Actual: Respuesta incorrecta (titular actual en el entrenamiento, reemplazado posteriormente), derivada.
  5. Confabulación: Respuesta incorrecta (fabricada), derivada.
• Evaluación Controlada: Para evitar que los modelos simplemente detecten el año de la consulta (un factor de confusión), la evaluación se restringe a años de consulta $\ge \tau_\theta + 1$.

Sondeo y Análisis

El estudio evalúa seis modelos ajustados con instrucciones (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) a través de cuatro familias de arquitecturas.

1. Sondas Lineales: Se entrenan sondas lineales regularizadas L1 sobre las activaciones de la corriente residual ($h^{(\ell)}$) para predecir la etiqueta is_drifted. Los autores recorren todas las capas para identificar la capa de máximo rendimiento.
2. Pruebas de Independencia Geométrica: Para verificar que el eje de deriva es independiente de la corrección y la incertidumbre, se emplean cinco medidas complementarias:
   • Cosenos de Pesos: Medición del ángulo entre los vectores de peso de las sondas de deriva, corrección e incertidumbre.
   • Correlaciones de Puntuaciones: Correlaciones de Pearson entre las puntuaciones de las sondas.
   • Proyección Bidireccional al Espacio Nulo: Proyectar la corriente residual sobre el subespacio ortogonal a las direcciones de molestia (corrección/incertidumbre) y reentrenar la sonda objetivo.
   • Proyección Iterativa al Espacio Nulo (INLP): Eliminar iterativamente direcciones asociadas con variables de molestia para probar la dependencia distribuida.
   • Disociación de Desplazamiento de Medias: Comparar sondas entrenadas contra direcciones de diferencia de medias (DoM) no entrenadas para descartar artefactos de optimización.
3. Intervenciones Mecanísticas:
   • Parcheo de Activaciones: Reemplazar estados ocultos corruptos con otros limpios para localizar el procesamiento temporal.
   • Atribución Directa de Logits (DLA): Descomponer los logits de salida para comparar las trayectorias de la MLP para el Recuerdo Obsoleto frente a la Confabulación.
   • Dirigido Causal: Amplificar o suprimir la dirección de deriva para observar cambios en los logits de titular.

Resultados Clave

1. Decodificabilidad Lineal de la Deriva

Una sonda lineal entrenada directamente sobre etiquetas de deriva logra un AUROC de 0,83–0,95 en los seis modelos. En contraste, las líneas base existentes (Entropía de Tokens, Entropía Semántica, SEP, SAPLMA, CCS) permanecen cerca del azar (0,49–0,57). Esto confirma que la deriva es una señal decodificable linealmente en la corriente residual, pero es invisible para los métodos no entrenados explícitamente sobre la deriva.

2. Ortogonalidad Geométrica

Cinco pruebas confirman que el eje de deriva es geométricamente independiente del subespacio corrección-incertidumbre:

• Cosenos de Pesos: $|\cos| \le 0,14$ entre la deriva y ambos vectores de corrección/incertidumbre.
• Correlaciones de Puntuaciones: $|r| \le 0,20$ entre las puntuaciones de deriva y las puntuaciones de corrección/incertidumbre.
• Proyección al Espacio Nulo: Eliminar las direcciones de corrección e incertidumbre resulta en una degradación de AUROC negligente ($|\Delta| \le 0,008$), confirmando que la deriva no reside en su rango.
• INLP: Eliminar 10 direcciones para cada variable de molestia aún deja la deriva detectable.
• Disociación de Desplazamiento de Medias: Las sondas entrenadas son casi ortogonales incluso cuando las direcciones de desplazamiento de medias no entrenadas están altamente correlacionadas, indicando que la independencia es estructural, no un artefacto de la dispersión.

3. Especificidad del Modelo e Independencia de la Entrada

En un experimento de corte cruzado utilizando entradas idénticas en bytes, la sonda de deriva se activa en el modelo cuyo corte de entrenamiento precede a la transición del hecho y permanece silenciosa en el modelo de corte posterior. La probabilidad $P(A > B)$ oscila entre 0,975 y 0,998 en los pares de modelos. Esto demuestra que la sonda detecta el estado de conocimiento interno del modelo, no propiedades de entrada como la familiaridad de la entidad o el año de la consulta.

4. Explicación Mecanística

• Dinámicas de Recuperación Idénticas: La Atribución Directa de Logits revela que el circuito de recuperación de la MLP produce trayectorias casi idénticas para el Recuerdo Obsoleto y la Confabulación ($r > 0,81$). Ambos modos de fallo alcanzan su punto máximo en la misma capa, lo que explica por qué la confianza de salida (que refleja la fuerza de recuperación) no puede separarlos.
• Latente pero Activable: El dirigido causal muestra que la dirección de deriva es latente bajo inferencia normal (suprimirla no causa cambio en la salida), pero, cuando se amplifica, reestructura los logits de titular, activando selectivamente el circuito de recuperación temporal.

Significado y Afirmaciones

El artículo afirma que la deriva temporal es una propiedad representacional distinta de los LLM, estructuralmente ortogonal a la corrección y la incertidumbre. Esta independencia geométrica explica por qué:

1. Los métodos existentes de detección de alucinaciones fallan con hechos obsoletos.
2. Los modelos pueden estar equivocados con confianza (alta confianza, baja incertidumbre) en hechos derivados porque están realizando una recuperación genuina de datos de entrenamiento desactualizados.
3. Detectar la deriva temporal requiere sondas entrenadas directamente sobre etiquetas de deriva; reaprovechar sondas de corrección o incertidumbre es insuficiente.

Los autores concluyen que los sistemas desplegados deberían leer este eje de deriva específico para identificar conocimiento obsoleto, en lugar de esperar errores a nivel superficial o depender de estimaciones de incertidumbre. El trabajo proporciona una cuenta mecanística de cómo los modelos codifican la validez temporal y demuestra que esta señal es accesible mediante sondas lineales, ofreciendo un camino hacia una verificación de hechos temporal más robusta en aplicaciones de LLM.