Interpretability-Guided Layer Selection over Subspace Projection: SAEs as Stethoscopes, Not Scalpels, for Raw Task Vector Model Editing

Resumen Técnico: Selección de Capas Guiada por Interpretabilidad sobre Proyección en Subespacio

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) requieren cada vez más una edición de modelos "quirúrgica" para mejorar capacidades específicas de dominio sin el costo computacional o el olvido catastrófico asociados al ajuste fino completo. Dos hilos de investigación principales abordan esto: Aritmética de Tareas, que trata las diferencias de pesos entre modelos ajustados y modelos base como "vectores de tarea" aditivos en el espacio de pesos, y Interpretabilidad Mecanicista (IM), que utiliza Autoencoders Dispersos (SAE) para descomponer el espacio de activaciones en características interpretables para su intervención.

La hipótesis predominante sugiere un pipeline sinérgico: utilizar SAE para identificar características relevantes del dominio y luego inyectar vectores de tarea solo a través de esas características específicas (proyección en subespacio). Este artículo evalúa rigurosamente esta hipótesis en tareas de razonamiento matemático utilizando Gemma-3-4B-IT y descubre un modo de fallo fundamental en este enfoque.

Metodología
El artículo contrasta dos pipelines para la edición de modelos guiada por SAE (ilustrados en la Figura 1):

1. El Enfoque Fallido (Proyección SAE):

   • Proceso: Los vectores de tarea ($\Delta W$) se proyectan sobre el subespacio generado por los vectores decodificadores de SAE específicos del dominio antes de su inyección.
   • Mecanismo: Esto intenta filtrar las modificaciones en el espacio de pesos a través de direcciones en el espacio de activaciones.
   • Resultado: Esto actúa como un cuello de botella severo de información, descartando aproximadamente el 97% de la energía de modificación. Los autores atribuyen esto a una desalineación geométrica: los vectores decodificadores de SAE abarcan la variedad de activaciones (capturando regularidades estadísticas de las representaciones), mientras que los vectores de tarea existen en el espacio de pesos (codificando cambios computacionales). Proyectar modificaciones del espacio de pesos a través de direcciones del espacio de activaciones confunde dos estructuras geométricas distintas, resultando en una pérdida casi total de la señal funcional.

2. El Enfoque Propuesto (SAE como Estetoscopio, no como Bisturí):

   • Proceso: Los SAE se utilizan estrictamente para diagnóstico (selección de capas), no para intervención (filtrado).
   • Paso 1 (Extracción del Vector de Tarea): Se extrae un vector de tarea mediante ajuste fino LoRA en un conjunto de datos específico del dominio (por ejemplo, Teoría de Números).
   • Paso 2 (Selección de Capas Guiada por SAE): Se calcula una Puntuación de Especificidad (SP) por capa. Para cada capa $l$, la puntuación es la especificidad máxima de sus características SAE, donde la especificidad es la relación entre la activación media en entradas del dominio objetivo frente a otros dominios. Se seleccionan las capas con $SP(l) \geq \tau_{SP}$ (por ejemplo, 4.0).
   • Paso 3 (Inyección Selectiva en Bruto): El vector de tarea sin filtrar y en bruto ($\Delta W$) se inyecta solo en las capas seleccionadas, escalado por un parámetro global $\alpha$. No se aplica proyección ni enmascaramiento al vector en sí.
   • Insight Clave: Esto preserva el 100% de la energía de modificación mientras confina las ediciones a regiones relevantes para el dominio. Los autores observan una ley de conservación empírica: a medida que disminuye el número de capas seleccionadas, el parámetro de escalado óptimo $\alpha$ aumenta proporcionalmente ($n_{capas} \times \alpha_{opt} \approx 11.2$).

Resultados Clave
Evaluado en la referencia Minerva Math (7 materias, incluyendo Teoría de Números, Conteo y Probabilidad, Álgebra, etc.) utilizando Gemma-3-4B-IT:

• Fallo de la Proyección: El método de proyección SAE (inyectar vectores proyectados en capas seleccionadas) no produjo mejoras estadísticamente significativas en ninguna de las siete materias matemáticas, incluso al aumentar el ancho de características SAE de 16K a 262K. Solo retuvo ~2–3.5% de la energía de modificación.
• Éxito de la Inyección en Bruto: El método propuesto (inyectar vectores en bruto en capas seleccionadas por SAE) mejoró significativamente el rendimiento:
  • Teoría de Números: La precisión aumentó del 29.6% al 39.4% ($z = +3.41, p = 0.0007$).
  • General: 5 de 7 materias mostraron mejoras estadísticamente significativas; ninguna se degradó significativamente.
  • Comparación: La fusión completa de LoRA (aplicar $\Delta W$ a las 34 capas) degradó el rendimiento en varias materias debido a interferencias.
• Robustez: El método es robusto al parámetro de escalado $\alpha$ dentro de un amplio rango (0.70–1.10) y es totalmente determinista con precisión float64.

Contribuciones Clave

1. Marco Metodológico: Propone "Selección de Capas Guiada por SAE con Inyección de Vector de Tarea en Bruto", demostrando que los SAE son efectivos para identificar dónde editar (diagnóstico) pero ineficaces para filtrar qué inyectar (intervención).
2. Resultado Negativo Sustantivo: Documenta que proyectar vectores de tarea sobre subespacios de características SAE descarta ~97% de la energía de modificación y no produce ganancias. Esto se presenta como la contribución científica central, desafiando la suposición intuitiva de que la selección de características en el espacio de activaciones puede filtrar directamente las actualizaciones en el espacio de pesos.
3. Evidencia Empírica de Desajuste Geométrico: Proporciona evidencia sólida de que las direcciones SAE en el espacio de activaciones y los vectores de tarea en el espacio de pesos no son intercambiables, apoyando literatura reciente que cuestiona la fiabilidad de los SAE como herramientas de intervención más allá de la exploración.
4. Ablación Extensa: Incluye más de 30 configuraciones que prueban anchos de características, umbrales de selección de capas, fuentes de vectores de tarea y parámetros de escalado.

Significado y Afirmaciones
El artículo afirma que la distinción entre el espacio de activaciones y el espacio de pesos es un "eje estructural" del problema de edición de modelos. El significado principal radica en redefinir el papel de las herramientas de interpretabilidad:

• SAE como Estetoscopios: Son valiosos para diagnosticar la especialización de dominio a nivel de capa.
• Los SAE no son Bisturíes: No deben utilizarse para filtrar quirúrgicamente las modificaciones en el espacio de pesos mediante proyección.

Los autores concluyen que la edición quirúrgica efectiva requiere una separación de roles: utilizar SAE para identificar las capas objetivo, pero inyectar el vector de tarea en bruto y sin filtrar para preservar la señal funcional. Este enfoque ofrece un marco principiado, sin entrenamiento (post-entrenamiento) y determinista para mejorar las capacidades de dominio sin olvido catastrófico. Los hallazgos sugieren que la eficacia de esta selección diagnóstica depende de la "nitidez" del propio vector de tarea, requiriendo datos de entrenamiento de dominio enfocados.