Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

Resumen Técnico: Localización Predictiva de la Memoria (PML)

Planteamiento del Problema
El direccionamiento de activaciones (activation steering) permite a los investigadores controlar el comportamiento de los modelos de lenguaje mediante la inyección de representaciones internas localizadas en capas específicas. Sin embargo, la literatura sugiere una brecha crítica: si bien la localización identifica dónde reside la información, no garantiza que una dirección específica admita un "régimen operativo selectivo". Una dirección puede lograr desplazar un comportamiento objetivo en un nivel de intervención determinado y, simultáneamente, dañar vecinos semánticos o capacidades no relacionadas en otro nivel, o bien puede no producir un efecto limpio en ningún nivel. Los métodos actuales suelen depender de evidencia de localización estática o intervenciones de fuerza fija, los cuales no logran predecir si existe un coeficiente selectivo utilizable para un registro, dirección y capa dados. El problema central es distinguir las direcciones que ofrecen apalancamiento de aquellas que causan daños colaterales a lo largo de una trayectoria de intervención medida.

Metodología
Los autores introducen la Localización Predictiva de la Memoria (PML), un marco que trata la trayectoria de intervención en una cuadrícula medida como el objeto predictivo de la localización de la memoria.

1. Trayectorias de Intervención en Cuadrícula Medida:
   PML define una trayectoria condicionada por registro a través de una cuadrícula preespecificada de intensidades de intervención ($\alpha$). Para cada registro $i$, dirección $v$ y capa $\ell$, el sistema mide:

   • Movimiento del Objetivo ($\Delta T$): Cambios en el margen de respuesta para los comportamientos deseados.
   • Daño Colateral: Cambios en los márgenes de vecinos semánticos ($\Delta N$) y de capacidad general ($\Delta C$).
   • Calibración Aleatoria: Se establecen umbrales de percentil 95 separados ($\tau_T, \tau_N, \tau_C$) utilizando direcciones gaussianas aleatorias para definir qué constituye un efecto objetivo significativo o un daño.
   • Resultados: El sistema registra cuatro eventos binarios en coeficientes más fuertes retenidos (held-out): Target-any (cualquier objetivo), Neighbor Damage (daño al vecino), Capability Damage (daño a la capacidad) y Clean-any (efecto objetivo sin daño).

2. Señales Predictivas:
   PML pronostica estos resultados utilizando una jerarquía de evidencia:

   • Línea Base y Metadatos ($B+M$): Propiedades del registro y configuración del modelo.
   • Localización Estática ($L$): Características derivadas de la separación de clases, proyección y saliencia sin intervención.
   • Geometría Supervisada ($G$): Características de Máquinas de Características Recursivas (RFM) y Producto Exterior de Gradiente Promedio (AGOP), incluyendo concentración espectral y alineación.
   • Respuesta de Baja Dosis ($R$): Una medición causal "disjunta de la fuerza" tomada en una intensidad de intervención débil ($|\alpha| = 0.1$). Esto sirve como un diagnóstico dinámico económico.

3. Política de Decisión:
   Un selector consciente del riesgo utiliza estos pronósticos para elegir un coeficiente específico o abstenerse. La función de utilidad recompensa el movimiento del objetivo y penaliza las disminuciones del margen colateral. La política busca maximizar la utilidad evitando escaneos densos de la cuadrícula de coeficientes.

Contribuciones Clave

• Definición de una Trayectoria Calibrada Aleatoriamente: El artículo define una trayectoria medida en cuadrícula que registra conjuntamente el apalancamiento del objetivo, el daño al vecino semántico, el daño a la capacidad y los coeficientes limpios para cada combinación de registro-dirección-capa.
• Separación de Señales Estáticas vs. Causales: El estudio demuestra que la localización estática y la geometría supervisada son descriptores predictivos débiles. En contraste, una respuesta de baja dosis ($R$) disjunta de la fuerza en $|\alpha|=0.1$ proporciona la señal dominante para pronosticar resultados en fuerzas más fuertes y disjuntas.
  ం
• Pronóstico Accionable: PML conecta el pronóstico con la acción mediante una política de retención consciente del daño colateral. Esta política selecciona un coeficiente o se abstiene, proporcionando una prueba de concepto para reducir el costo computacional de las evaluaciones densas de intervención.

Resultados Experimentales
El estudio evalúa 3,000 registros congelados a través de nueve conjuntos de datos y catorce dominios, generando 30,000 trayectorias distintas. Los resultados se confirman en tres modelos base con norma residual emparejada (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• Desempeño de la Dirección: Las direcciones aprendidas (específicamente RFM/AGOP en la capa 7) superan significativamente a los controles aleatorios. En el estudio principal, RFM/AGOP logró una incidencia de 13.1% en Target-any y 12.3% en Clean-any, superando las líneas base aleatorias en 3.6 y 3.4 puntos porcentuales, respectivamente.
• Jerarquía Predictiva: Las características de localización estática aportan poco valor predictivo más allá de los metadatos de la línea base. La respuesta de baja dosis ($R$) en $|\alpha|=0.1$ es el predictor más fuerte para los resultados en $|\alpha| \in \{0.25, 0.5\}$.
• Robustez del Modelo: La jerarquía predictiva (Baja dosis > Estática) se replica en los tres modelos base, con puntuaciones macro AUROC de registro retenido que oscilan entre 0.801 y 0.828.
• Utilidad de Decisión: Un selector impulsado por predictores mejora la utilidad y reduce significativamente el daño al vecino semántico en comparación con una política de fuerza fija. Reduce la necesidad de evaluación de un escaneo denso (26 coeficientes) a aproximadamente 2.55 evaluaciones (dos sondas débiles más una acción final).

Significancia y Reivindicaciones
El artículo afirma que PML transforma la localización de la memoria de una afirmación estática en un pronóstico falsable de resultados selectivos a nivel de margen. El hallazgo central es que una pequeña respuesta causal es un pronóstico más útil del comportamiento selectivo posterior que la geometría de localización estática por sí sola.

Los autores enfatizan que la localización no implica automáticamente la controlabilidad; una dirección puede estar bien localizada y, aun así, carecer de un régimen operativo selectivo. Al emparejar la localización con una medición causal económica, PML identifica qué direcciones admiten coeficientes utilizables y cuáles requieren abstención. El trabajo no pretende resolver la edición de modelos en general ni garantizar la seguridad frente a todos los efectos secundarios descendentes, sino que proporciona un marco rigurooso y consciente del riesgo para seleccionar intensidades de intervención basadas en la topología de la trayectoria medida.