Addressing divergent representations from causal interventions on neural networks

1. Problema: La Divergencia de Representaciones en la Interpretabilidad Mecanística

El objetivo central de la interpretabilidad mecanística es comprender qué codifican las representaciones internas de las redes neuronales (NN) y cómo esto da lugar a su comportamiento. La herramienta más potente para esto son las intervenciones causales (como el patching de activaciones o la Búsqueda de Alineación Distribuida - DAS), donde se manipulan representaciones internas para probar hipótesis sobre la causalidad.

El problema identificado:
Existe una suposición fundamental no probada: que los estados contrafactuales creados por estas intervenciones son realistas para el modelo objetivo. Los autores demuestran que, a menudo, las intervenciones generan representaciones divergentes (fuera de distribución o out-of-distribution, OOD). Es decir, las representaciones manipuladas se alejan significativamente de la distribución natural de los datos del modelo.

Esto plantea una preocupación crítica: ¿Son las explicaciones derivadas de estas intervenciones fieles al modelo en su estado natural, o están activando mecanismos ocultos que no existen en la operación normal del modelo?

2. Metodología y Enfoque Teórico

Los autores combinan análisis teórico, experimentos empíricos y propuestas de mitigación:

A. Demostración de la Divergencia (Teoría y Empírica)

• Teoría: Demuestran que, en la mayoría de las variedades (manifolds) geométricas (excepto hiperrectángulos alineados a los ejes), el patching de coordenadas garantiza la creación de puntos fuera de la variedad natural. Si se toma un vector de origen y otro de destino y se mezclan sus coordenadas, el resultado suele caer fuera del radio de la clase natural.
• Empírica: Evalúan tres métodos populares de intervención en modelos de lenguaje (Llama-3-8B):
  1. Patching de vectores de diferencia media.
  2. Proyecciones de Autoencoders Dispersos (SAE).
  3. Búsqueda de Alineación Distribuida (DAS).
  • Hallazgo: Todas estas técnicas producen representaciones intervenidas que divergen de la distribución natural, cuantificado mediante la Distancia del Movimiento de la Tierra (EMD) y otras métricas de distancia.

B. Clasificación de la Divergencia: Inofensiva vs. Perniciosa

No toda divergencia es mala. Los autores distinguen dos casos:

1. Divergencias Inofensivas ("Harmless"): Ocurren en el espacio nulo conductual (behavioral null-space) de las capas de la red. Si la desviación ocurre en direcciones que las matrices de pesos siguientes mapean a cero (o no afectan la salida), la intervención no altera el comportamiento ni revela mecanismos falsos.
2. Divergencias Perniciosas ("Pernicious"): Ocurren cuando la representación intervenida:
   • Activa caminos ocultos (hidden pathways) que están inactivos en la distribución natural (ej. activando una unidad ReLU que nunca se activa con datos reales).
   • Provoca cambios conductuales latentes (dormant behavioral changes): La intervención parece segura en un contexto, pero en otro contexto (o con un ligero cambio de parámetros) desencadena un cambio de comportamiento drástico y no esperado.

C. Solución Propuesta: Pérdida de Latente Contrafactual (CL Loss)

Para mitigar las divergencias perniciosas, proponen modificar el entrenamiento de las intervenciones utilizando la Pérdida de Latente Contrafactual (CL Loss) introducida previamente por Grant (2025).

• Mecanismo: En lugar de solo optimizar para que la intervención cambie el comportamiento deseado (pérdida conductual), se añade una pérdida auxiliar que fuerza a la representación intervenida ($\hat{h}$) a permanecer cerca de un vector latente contrafactual natural ($h_{CL}$).
• Vector $h_{CL}$: Se define como el promedio de representaciones naturales que poseen los mismos valores de variables causales que la intervención pretende lograr.
• Objetivo: Minimizar la distancia $L2$ y la distancia coseno entre la representación intervenida y la distribución natural, restringiendo la intervención a la variedad natural.

3. Contribuciones Clave

1. Evidencia de Divergencia Común: Demostración teórica y empírica de que la divergencia es un fenómeno inherente y común en los métodos de intervención causal actuales.
2. Marco Teórico de Daño: Definición formal de cuándo la divergencia es inofensiva (espacio nulo) y cuándo es pernicioso (activación de caminos ocultos o cambios latentes), mostrando que no son mutuamente excluyentes.
3. Ejemplos Sintéticos de Fallos: Casos donde el patching de diferencia media activa unidades silenciosas, cruzando fronteras de decisión mediante mecanismos no naturales, lo que invalida las conclusiones mecanísticas.
4. Método de Mitigación (CL Loss):
   • Aplicación exitosa de la pérdida CL al DAS en un modelo LLM (Llama 7B), reduciendo la divergencia sin sacrificar la precisión de la intervención.
   • Introducción de una versión modificada de la CL Loss que se enfoca exclusivamente en subespacios causales, mejorando el rendimiento en tareas sintéticas fuera de distribución (OOD).

4. Resultados Principales

• Reducción de Divergencia: En el experimento con DAS en Llama-3-8B, la adición de la pérdida CL redujo significativamente la EMD (distancia de distribución) entre las representaciones naturales e intervenidas, manteniendo la Precisión de Intervención de Intercambio (IIA) alta.
• Mejora en Generalización OOD: En entornos sintéticos, los alineamientos entrenados con la pérdida CL (o combinada) mostraron una correlación negativa fuerte entre la divergencia (EMD) y el rendimiento en tareas OOD. Es decir, menor divergencia se tradujo en una mejor capacidad de generalización de las intervenciones a nuevos contextos.
• Validación de Hipótesis: Se confirmó que las intervenciones que divergen activan circuitos ocultos que pueden dar falsas confirmaciones de hipótesis mecanísticas.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de la interpretabilidad mecanística por varias razones:

• Cuestiona la Fielesdad (Faithfulness): Alerta a la comunidad de que muchas conclusiones sobre "circuitos" neuronales podrían ser artefactos de representaciones fuera de distribución que activan comportamientos latentes, en lugar de revelar la mecánica real del modelo.
• Nueva Dirección Metodológica: Propone que las intervenciones causales deben ser evaluadas no solo por su capacidad de cambiar el comportamiento, sino también por su fidelidad representacional (qué tan cerca están de la distribución natural).
• Herramienta Práctica: Ofrece una solución técnica inmediata (la pérdida CL) que los investigadores pueden integrar en sus pipelines de DAS o patching para obtener explicaciones más robustas y fiables.
• Visión de Futuro: Sugiere que para lograr una comprensión mecanística completa, es necesario desarrollar métodos que garanticen que las intervenciones permanezcan dentro de la variedad natural del modelo, evitando la activación de "caminos fantasma".

En resumen, el artículo establece que la divergencia representacional es un riesgo sistémico en la interpretabilidad causal y propone un marco teórico y una solución práctica para mitigar sus efectos perniciosos, avanzando hacia métodos de interpretación más fiables.