Resumen Técnico: Explicador Adaptativo a la Geometría para la Interpretabilidad Basada en Diccionarios Fiel bajo Desplazamiento de Distribución

Declaración del Problema

La interpretabilidad mecanicista se basa en explicadores basados en diccionarios, como Autoencoders Escasos (SAE) y Transcodificadores, para descomponer las activaciones ocultas de las redes neuronales en direcciones de características escasas e interpretables. Un requisito crítico para estas explicaciones es la fidelidad: el explicador debe reflejar con precisión los cálculos que el modelo realiza realmente.

Sin embargo, los explicadores existentes suelen entrenarse con datos dentro de la distribución (ID). Cuando un modelo encuentra entradas fuera de la distribución (OOD), la estructura geométrica de sus activaciones ocultas cambia. El artículo identifica que el desplazamiento de distribución rota el subespacio activo OOD (las direcciones que el modelo utiliza activamente) lejos del subespacio del explicador entrenado en ID. Este desalineamiento, denominado brecha de fidelidad, provoca que los diccionarios entrenados en ID fallen al reconstruir fielmente las activaciones OOD. Trabajos anteriores han abordado esto mediante reentrenamiento heurístico o módulos residuales, pero carecen de un diagnóstico principista del desalineamiento geométrico subyacente o de un método para corregirlo sin un reentrenamiento completo.

Metodología: Explicador Adaptativo a la Geometría (GAE)

Los autores proponen el Explicador Adaptativo a la Geometría (GAE), un método de forma cerrada y post-hoc que realinea un explicador entrenado en ID con el subespacio activo OOD utilizando únicamente activaciones OOD no etiquetadas. GAE opera sin actualizaciones de gradiente ni entrenamiento iterativo.

Fundamento Teórico

El artículo formaliza el problema utilizando la matriz de segundo momento de las activaciones ocultas, $M_e = \mathbb{E}[h(X)h(X)^\top]$.

1. Brecha de Fidelidad ($\Delta$): Definida como la distancia de Frobenius entre el subespacio del explicador ($\Pi_{dec}$) y el subespacio activo OOD ($\Pi_{OOD}$).
2. Mecanismo Geométrico: Los autores demuestran (Proposición 1) que la brecha de fidelidad de un explicador entrenado en ID está acotada superiormente por la magnitud del desplazamiento del segundo momento ($\|M_{OOD} - M_{ID}\|_F$).
3. Control de la Degradación: Además, demuestran (Proposición 2) que el componente dependiente del explicador de la pérdida de fidelidad OOD está estrictamente controlado por el cuadrado de la brecha de fidelidad. Por lo tanto, reducir la brecha es necesario y suficiente para mejorar la fidelidad OOD.

Algoritmo

GAE adapta el diccionario en dos pasos:

1. Paso 1: Rotación del Subespacio (Procrustes Ortogonal):
   El diccionario entrenado en ID $W_{dec}^{ID}$ se rota para alinear su espacio de columnas con el subespacio activo OOD estimado $\hat{\Pi}_{OOD}$ (derivado de los $r$ autovectores principales de la matriz de segundo momento OOD). La matriz de rotación $T^\star$ se elige para minimizar la distancia al diccionario original, preservando la estructura de características original tanto como sea posible. Este paso elimina la brecha de fidelidad ($\Delta = 0$) por construcción.
2. Paso 2: Reajuste del Decodificador con Restricciones:
   Mientras que el Paso 1 alinea el subespacio, no optimiza la reconstrucción a nivel de muestra. El Paso 2 reajusta los pesos del decodificador mediante una regresión ridge con restricciones de forma cerrada. Este paso minimiza el error de reconstrucción en las activaciones OOD mientras penaliza las desviaciones del diccionario rotado en el Paso 1 y asegura que el decodificador permanezca dentro del subespacio activo OOD.

Toda la cadena es analítica, sin requerir retropropagación.

Contribuciones Clave

1. Diagnóstico Geométrico: El artículo identifica la brecha de fidelidad como el mecanismo geométrico que impulsa la degradación de la fidelidad OOD en explicadores basados en diccionarios. Proporciona límites teóricos que muestran que esta brecha crece con el desplazamiento del segundo momento y controla directamente la parte reducible de la pérdida de fidelidad OOD.
2. Algoritmo GAE: Un método de forma cerrada y sin entrenamiento que realinea el diccionario del explicador con el subespacio activo OOD. Ofrece una garantía teórica (Teorema 1) de que el explicador adaptado mejora estrictamente sobre el explicador ID no adaptado, con una mejora que crece cuadráticamente con el desalineamiento inicial.
3. Superioridad Empírica: GAE iguala o supera a todas las líneas base basadas en entrenamiento (incluyendo el reentrenamiento completo desde cero y el ajuste fino) en fidelidad causal a través de múltiples modelos y configuraciones OOD, a pesar de requerir cero cálculos de gradiente y solo $\sim2,000$ muestras OOD no etiquetadas.

Resultados Experimentales

Los autores evaluaron GAE en GPT-2 Small y Pythia-1.4B utilizando tanto Transcodificadores como SAEs Top-K. La evaluación cubrió tres tipos de desplazamientos de distribución:

• Temporal: Texto web recopilado después del corte de preentrenamiento del modelo (FineWeb).
• Dominio: Presentaciones financieras con vocabulario especializado (Edgar).
• Adversarial: Prompts que inducen alucinaciones (HaluEval).

Métricas de Rendimiento:

• Fidelidad Causal: Medida mediante AOPC Normalizado (nAOPC) y Comprensividad Normalizada (nComp).
• Calidad de Reconstrucción: Medida mediante Entropía Cruzada Delta ($|\Delta CE|$).

Hallazgos Clave:

• GAE vs. Líneas Base Basadas en Entrenamiento: GAE superó a métodos como Retrain (entrenamiento desde cero con datos OOD) y Finetune (ajuste fino con inicio en caliente) en la mayoría de las configuraciones. Por ejemplo, en Transcodificadores GPT-2 bajo desplazamiento adversarial, GAE mejoró el nComp en un 4.6% sobre la línea base más fuerte (SAEBoost) y redujo el error de reconstrucción ($|\Delta CE|$) en un 93%.
• Eficiencia: Mientras que las líneas base basadas en entrenamiento requirieron procesar millones de tokens y horas de tiempo de GPU, GAE completó la adaptación en menos de 3 segundos (0.5s para GPT-2, 2.9s para Pythia-1.4B) utilizando únicamente un solo paso forward sobre 2,048 muestras.
• Validación del Mecanismo: Estudios de ablación confirmaron que el Paso 1 (rotación del subespacio) cerró exitosamente la brecha de fidelidad, mientras que el Paso 2 fue necesario para restaurar la coherencia causal (atribución de características) sin sacrificar la alineación geométrica.
• Estudios de Caso: En tareas de atribución de circuitos (por ejemplo, predecir "Americano" o "Henry"), GAE corrigió la direccionalidad del decodificador, asegurando que las características identificadas empujaran al modelo hacia la clase semántica correcta, mientras que el explicador ID fijo a menudo apuntaba lejos de la clase objetivo.

Significado y Afirmaciones

El artículo afirma que GAE proporciona una solución principista, eficiente y teóricamente fundamentada al problema de la fidelidad OOD en la interpretabilidad mecanicista. Al enmarcar el problema como un desalineamiento geométrico en lugar de un problema de cobertura de datos, los autores demuestran que las explicaciones fieles pueden restaurarse sin el costo computacional del reentrenamiento.

Los autores señalan que GAE es particularmente significativo para escenarios de adaptación sobre la marcha donde las distribuciones de despliegue cambian dinámicamente y el reentrenamiento es inviable. Reconocen modestamente las limitaciones, específicamente que el método depende de una truncación SVD top-$r$ (descartando información de características residual) y aún no ha sido evaluado en modelos a mayor escala. Sin embargo, los resultados sugieren que el realineamiento geométrico es una palanca poderosa y subutilizada para mantener la robustez de la interpretabilidad.