Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Resumen Técnico: Intervenciones Causales sobre Variables Continuas en Vectores de Dirección

Enunciado del Problema
Los métodos de interpretabilidad causal para Modelos de Lenguaje Grandes (LLM) se han centrado predominantemente en características discretas, como el número gramatical o los límites sintácticos. Sin embargo, muchos aspectos críticos del procesamiento del lenguaje y del conocimiento conceptual son inherentemente graduales (continuos). El artículo aborda la brecha en la aplicación de técnicas de intervención causal a variables continuas. Específicamente, los autores investigan si las características psicolingüísticas continuas, como el sesgo verbal (la preferencia gradual de un verbo por una estructura sintáctica sobre otra, por ejemplo, Objeto Doble frente a Dativo Preposicional), están representadas causalmente en las activaciones internas de los LLM y si estas representaciones pueden manipularse para alterar el comportamiento posterior. Además, el estudio explora la relación entre estas representaciones continuas y el Aprendizaje en Contexto (ICL), particularmente los mecanismos de actualización impulsados por errores que se hipotetiza que subyacen al priming estructural.

Metodología
Los autores proponen un marco para la intervención causal sobre variables continuas dentro de los vectores de activación, aplicado específicamente a los vectores de dirección (vectores de tarea) extraídos de demostraciones en contexto.

1. Extracción de Vectores de Dirección: Siguiendo a Hendel et al. (2023), los autores extraen estados ocultos de los LLM (Llama-2-13B, Llama-3-1B, Llama-3-8B) en la posición del verbo objetivo durante secuencias en contexto. Estas secuencias consisten en $n-1$ oraciones primas (demostraciones) seguidas de una oración objetivo. Los estados ocultos se promedian para crear un vector de dirección $\bar{\theta}_{\langle v,s \rangle}$ que representa la "tarea" de producir una estructura $s$ influenciada por el verbo $v$.
2. Localización de Variables Continuas: Para intervenir sobre una variable continua (por ejemplo, el sesgo verbal $b_v \in (0,1)$), los autores:
   • Proyectan los vectores de activación de alta dimensión en un espacio de menor dimensión utilizando Análisis de Componentes Principales (PCA).
   • Normalizan las coordenadas del PCA.
   • Ajustan un modelo de regresión (regresión Beta para variables acotadas como el sesgo verbal; MCO para variables con signo) para predecir la variable continua objetivo a partir de las coordenadas normalizadas. Esto identifica un vector de dirección de baja dimensión $\beta$ correspondiente a la variable.
3. Edición Contrafactual: Para editar un vector $h_i$ hacia un valor objetivo contrafactual $y^*_i$, los autores calculan una actualización mínima de norma $L_2$, $\Delta \tilde{z}_i$, a lo largo de la dirección identificada $\beta$. La actualización se define como:
   $$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$$
   donde $S$ representa el subconjunto de componentes principales seleccionados para la edición (típicamente los 5 superiores por magnitud del coeficiente). El vector editado se mapea luego de nuevo al espacio original e inyecta en el modelo para observar los efectos posteriores.
4. Condiciones Experimentales: El estudio prueba cuatro condiciones de intervención:
   • Sin Cambios: Control (sesgo original).
   • Inversión: Invertir el sesgo ($b_v \to 1 - b_v$).
   • Totalmente Sesgado: Saturar el sesgo a 0 (totalmente sesgado hacia OD) o 1 (totalmente sesgado hacia DP).
   • Edición de Señal de Error: Una señal de error con signo $e = b_v - s$ (donde $s$ es la estructura observada) se edita de manera similar para probar comportamientos de actualización impulsados por errores.

Resultados Clave

• Los Vectores de Dirección Inducen Priming: Los vectores de dirección extraídos de oraciones primas inducen con éxito efectos de priming estructural en capas medias a tardías (Capa 15+). Inyectar un vector prima de DP aumenta la preferencia del modelo por estructuras DP, y viceversa.
• Papel Causal del Sesgo Verbal: El sesgo verbal continuo es predecible linealmente a partir de los vectores de dirección. La edición contrafactual de este sesgo modula causalmente la magnitud del efecto de priming.
  • Condición de Inversión: Invertir el sesgo verbal en el vector de dirección invierte la correlación entre el sesgo original del verbo y la magnitud del priming.
  • Condición Totalmente Sesgada: Saturar el sesgo elimina la variación en la magnitud del priming entre diferentes verbos, confirmando que el subespacio identificado determina causalmente la naturaleza gradual del efecto.
• Presencia vs. Uso de la Señal de Error:
  • Presencia: Una variable similar a una señal de error (que combina el sesgo verbal y la estructura observada) está presente en los vectores de dirección y puede editarse causalmente para producir desplazamientos graduales en las preferencias posteriores.
  • Limitación: A pesar de la presencia de esta señal, los vectores de dirección sin editar no reproducen el Efecto de Frecuencia Inversa (IFE) —el fenómeno donde las estructuras primas inesperadas inducen un priming más fuerte—. La inyección estándar del vector de dirección produce una pendiente positiva (que coincide con el sesgo del verbo) en lugar de la pendiente negativa predicha por las teorías de aprendizaje impulsado por errores.
  • Dinámicas por Capas: Mientras que el sesgo verbal es accesible en las capas tempranas, la integración del sesgo y la estructura en una señal de error manipulable que impulsa actualizaciones graduales solo emerge en capas medias a tardías (Capa 15+).

Significado y Afirmaciones
El artículo hace cuatro contribuciones principales:

1. Extensión Metodológica: Demuestra un método viable para realizar intervenciones causales sobre variables continuas, avanzando más allá de las características discretas que han dominado la interpretabilidad causal.
2. Verificación Causal: Establece que el sesgo verbal no está meramente correlacionado, sino que está representado causalmente en los vectores de dirección, ya que las ediciones contrafactuales alteran sistemáticamente las preferencias estructurales posteriores.
3. Análisis del Mecanismo de ICL: Proporciona una visión matizada de los vectores de dirección como mecanismo para el ICL. Si bien capturan con éxito el componente de activación transitoria del priming estructural (desplazando preferencias basadas en el contexto), no logran capturar la dinámica completa de actualización impulsada por errores (específicamente el IFE). Esto sugiere que los vectores de dirección aditivos aproximan el estado representacional inducido por el contexto, pero no replican completamente la regla de actualización computacional del ICL.
4. Mapeo Teórico: Los autores proponen un mapeo entre teorías psicolingüísticas y mecanismos de LLM: los vectores de dirección se alinean con las teorías de "activación transitoria" del priming, mientras que el componente impulsado por errores que falta podría requerir mecanismos mejor caracterizados como actualizaciones de pesos de bajo rango o procesos de aprendizaje implícito en lugar de una simple adición de vectores.

Los autores concluyen que, si bien la intervención sobre variables continuas es una herramienta diagnóstica y causal poderosa, conectar estas representaciones continuas con la dinámica completa del aprendizaje en contexto sigue siendo un desafío, ya que el enfoque actual de vectores de dirección captura el "qué" (el estado de preferencia) pero no el "cómo" completo (el proceso de adaptación impulsado por errores) del ICL.