Resumen Técnico: Agrupación de las Manzanas Buenas

Enunciado del Problema

La abstracción causal es un marco riguroso para la interpretabilidad mecánica que evalúa si un modelo causal de alto nivel ($H$) abstrae con precisión una red neuronal de bajo nivel ($L$) bajo intervenciones contrafactuales. Esta evaluación depende típicamente de la Precisión de Intervención de Intercambio (IIA), una métrica escalar que resume el acuerdo entre el comportamiento del modelo de bajo nivel bajo intervención y las predicciones del modelo de alto nivel.

El artículo identifica una limitación crítica en el estado actual del arte: la IIA es una estadística de resumen global. Aunque indica si una hipótesis es generalmente fiel, no revela dónde en el espacio de entrada la hipótesis tiene éxito o falla. Las puntuaciones intermedias de IIA son particularmente difíciles de interpretar, ofreciendo poca orientación sobre cómo refinar una hipótesis que es parcialmente correcta. Además, los flujos de trabajo existentes son en gran medida evaluativos en lugar de constructivos; pueden diagnosticar que una hipótesis es imperfecta, pero no proporcionan un mecanismo para mejorarla o descubrir variables intermedias faltantes.

Metodología

Los autores proponen una tubería de diagnóstico de cuatro pasos que desplaza la unidad de análisis de una puntuación global a la estructura del espacio de entrada. La idea central es particionar el espacio de entrada en regiones "bien interpretadas" (cubos objetivo) y regiones "mal interpretadas" basándose en el comportamiento de intervención de intercambio por pares.

1. Formalización: Subconjuntos Consistentes con el Intercambio

El método formaliza el concepto de un Par Consistente con el Intercambio: dos entradas $i_1, i_2$ son consistentes si intercambiar sus representaciones internas produce salidas que coinciden con las predicciones contrafactuales de alto nivel en ambas direcciones.

• Grafo de Intercambiabilidad: El espacio de entrada se modela como un grafo donde los vértices son entradas y las aristas conectan pares consistentes con el intercambio.
• Cubos Objetivo: Un subconjunto de entradas se considera un "cubo objetivo" si forma un clique (o un $\gamma$-cuasiclique de alta densidad) en este grafo. Dentro de estos cubos, la abstracción es casi perfecta; entre cubos, falla.

2. La Tubería de Diagnóstico de Cuatro Pasos

Los autores instancian este marco en una receta práctica:

1. Especificar Tarea y Espacio de Entrada: Definir una tarea donde el modelo de bajo nivel $L$ funcione de manera fiable. El análisis se restringe al subconjunto de predicciones correctas ($I_{correct}$) para aislar los fallos de interpretabilidad de los fallos de la tarea.
2. Encontrar una Alineación Candidata: Identificar una alineación candidata $\Pi$ entre una variable de alto nivel y una característica de bajo nivel utilizando métodos estándar (por ejemplo, Búsqueda de Alineación Distribuida (DAS), parcheo de vectores completos). Este paso a menudo produce puntuaciones de IIA intermedias que motivan un diagnóstico posterior.
3. Agrupar el Espacio de Entrada: Construir el grafo de intercambiabilidad sobre $I_{correct}$. Buscar cuasicliques densos (cubos objetivo) donde se mantenga la abstracción. El resto del espacio forma el "otro cubo". Este paso localiza modos de fallo específicos.
4. Generalizar y Caracterizar: Entrenar un clasificador para predecir la pertenencia al cubo para entradas no vistas. El clasificador utiliza características etiquetadas manualmente o características internas del modelo (por ejemplo, activaciones de Autoencoder Escaso (SAE)) para determinar si la partición descubierta refleja un límite estructural estable en lugar de un artefacto de la muestra finita.

Contribuciones Clave

• Cambio Diagnóstico: El artículo desplaza la abstracción causal de una evaluación puramente global a una herramienta diagnóstica que revela dónde funciona una interpretación y dónde falla.
• Refinamiento Constructivo: Al analizar la estructura de las regiones bien interpretadas frente a las mal interpretadas, el método proporciona heurísticas para mejorar las interpretaciones. Puede identificar distinciones faltantes en una hipótesis de alto nivel, descubrir variables intermedias no modeladas y combinar interpretaciones parciales.
• Descubrimiento Recursivo de Hipótesis: La tubería soporta un proceso iterativo donde una hipótesis gruesa se refina en un modelo causal más granular aplicando recursivamente el procedimiento de agrupación a los nuevos modos de fallo descubiertos.

Resultados Experimentales

Los autores validan el método en tres escenarios de complejidad creciente:

1. Tarea de Lógica de Juguete:

   • Configuración: Un modelo GPT-2-small ajustado finamente resuelve una tarea de lógica $o_5 = (o_1 \land o_2) \lor o_3$.
   • Resultado: Comenzando con una hipótesis que contenía solo la variable de salida $o_5$, la tubería identificó una alineación con IIA intermedia. La agrupación reveló que la alineación era fiel solo cuando $o_1 \land o_2$ era falso.
   • Refinamiento: Al promover la variable intermedia faltante $o_4 = o_1 \land o_2$ y volver a ejecutar el diagnóstico, los autores recuperaron recursivamente la jerarquía causal de alto nivel completa ($o_1, o_2, o_3 \to o_4 \to o_5$), demostrando que el modelo utiliza la factorización pretendida en lugar de una alternativa extensionalmente equivalente.

2. Tarea de Vinculación de Entidades:

   • Configuración: Utilizando Gemma-2-2B-Instruct, la tarea implica recuperar entidades de grupos planteados basándose en una posición de grupo consultada ($q_{group}$).
   • Resultado: Una hipótesis posicional mostró una curva de alineación en forma de U (alta fidelidad en los bordes de la secuencia, baja en el medio). La agrupación aisló automáticamente estas regiones sin inspección manual.
   • Generalización: Los clasificadores entrenados en características internas de SAE generalizaron con éxito este límite a entradas no vistas, logrando un 98% de IIA en el cubo objetivo, confirmando que la distinción está codificada en las representaciones del modelo.

3. Recuerdo de Hechos Entrelazados (Benchmark RAVEL):

   • Configuración: Aislar el atributo LANGUAGE de atributos entrelazados (por ejemplo, COUNTRY, TIMEZONE) en Llama-3.1-8B utilizando DAS de múltiples tareas (MDAS).
   • Resultado: A pesar de que MDAS está diseñado para la desentrelazación, la IIA global fue baja (14.3%). La agrupación reveló que el subespacio aprendido no era una abstracción general de "idioma", sino que colapsaba el espacio de entrada en racimos gruesos específicos del idioma (por ejemplo, cubos de inglés y español con alta IIA, pero baja IIA entre idiomas).
   • Perspectiva: Esto expuso una discrepancia estructural donde la representación preservaba la estructura dentro del idioma pero fallaba en la intercambiabilidad entre idiomas.

Significado y Afirmaciones

El artículo afirma que particionar el espacio de entrada es un paso crucial hacia una interpretabilidad mecánica más precisa, constructiva y escalable.

• De la Evaluación a la Construcción: El método transforma las abstracciones "imperfectas" en objetos diagnósticos accionables, permitiendo a los investigadores pasar de la evaluación a posteriori al descubrimiento constructivo de hipótesis de alto nivel.
• Escalabilidad: Se demuestra que el enfoque es ampliamente útil en diferentes tamaños de modelos (ajustados finamente y preentrenados) y métodos de alineación (DAS, MDAS, parcheo).
• Limitaciones: Los autores notan modestamente que el método depende de una construcción previa de la tarea y una abstracción candidata (es una búsqueda de programas estructurada, no una interpretación automática sin restricciones) y se centra actualmente en hipótesis de variable única. Sugieren que el trabajo futuro debería abordar las interacciones de múltiples variables y espacios de entrada más grandes.

El artículo concluye que al "agrupar las manzanas buenas", los investigadores pueden identificar las condiciones específicas bajo las cuales se mantienen las abstracciones causales, convirtiendo así los fallos de abstracción en evidencia para refinar y descubrir los mecanismos subyacentes de las redes neuronales.