Resumen Técnico: Fidelidad Intervencional Certificada (CIF)

Declaración del Problema

La interpretabilidad mecanicista depende cada vez más de las evaluaciones intervencionales para validar afirmaciones causales sobre las redes neuronales. Estos experimentos consisten en modificar estados internos (por ejemplo, parcheo de activación, ablación, intercambio de estados ocultos) para probar si una explicación propuesta (como un modelo comprimido, un circuito o un conjunto de neuronas) reproduce fielmente el comportamiento del modelo original.

Las prácticas de evaluación actuales sufren de una falta de rigor estadístico. Típicamente, los investigadores toman una muestra de un número fijo de entradas e intervenciones, computan un estimador puntual (por ejemplo, la precisión de la intervención de intercambio o la recuperación de parcheo) y lo reportan como una afirmación definitiva. Sin embargo, los flujos de trabajo de interpretabilidad son inherentemente secuenciales y adaptativos: los investigadores monitorean los resultados, ajustan los conjuntos de evaluación, buscan contraejemplos y se detienen cuando la evidencia parece sólida. Sin una cuantificación de la incertidumbre adecuada que contemple esta adaptividad, las fidelidades reportadas pueden ser artefactos de un muestreo finito o producto del "p-hacking" (parada dependiente de los datos), lo que conduce a afirmaciones sobredimensionadas o métodos mal clasificados.

Metodología: Fidelidad Intervencional Certificada (CIF)

Los autores proponen la Fidelidad Intervencional Certificada (CIF), un marco estadístico que transforma las evaluaciones de interpretabilidad intervencional en problemas de inferencia causal formal con garantías de validez en cualquier momento (anytime-valid). CIF está diseñado para ser una "capa estadística" que puede envolver los flujos de trabajo de evaluación existentes.

1. Formalización como Estimandos Causales

CIF requiere que cada métrica reportada sea definida explícitamente como un estimando causal acotado.

• Objetivo: Una esperanza $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$, donde:
  • $\mathcal{D}$ es una distribución de entrada declarada.
  • $\Pi$ es una distribución de intervención declarada.
  • $Y$ es una puntuación acotada (típicamente $Y \in [0, 1]$), como un indicador de discrepancia o una puntuación de recuperación normalizada.
• Clases de Afirmaciones:
  • Fidelidad de Abstracción/Reducción: Mide la discrepancia entre un modelo de alto nivel $M_H$ y el modelo original $M_L$ bajo las intervenciones correspondientes.
  • Efecto de Componente/Recuperación: Mide la medida en que la restauración de un componente específico (por ejemplo, mediante parcheo) recupera el comportamiento original.

2. Secuencias de Confianza (CS) con Validez en Cualquier Momento

Para abordar el problema del monitoreo y la parada adaptativa, CIF utiliza Secuencias de Confianza (Confidence Sequences - CS) en lugar de intervalos de confianza de muestra fija. Una secuencia de intervalos $(C_n)_{n \ge 1}$ es válida si $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. Esto permite a los evaluadores verificar los resultados en cualquier momento y detenerse prematuramente sin inflar las tasas de error de Tipo I.

• CS de estilo Hoeffding: Proporciona límites simples y transparentes basados en el rango de la puntuación y el tamaño de la muestra $n$.
• CS basadas en Apuestas (Betting-based): Utiliza un enfoque de proceso de capital (martingala) (específicamente la estrategia de Paso de Newton en Línea - Online Newton Step) que se adapta a la varianza empírica de las puntuaciones observadas. Este método reduce significativamente el número de muestras requeridas para la certificación en comparación con los límites de Hoeffding.

3. Muestreo Adaptativo con Ponderación de Importancia Acotada

CIF soporta el muestreo adaptativo dirigido al fallo, donde la distribución de intervención $\Pi$ se modifica con el tiempo para enfocarse en fallos probables o componentes de alto impacto.

• Mecanismo: Para preservar la validez del estimando objetivo $\theta$ a pesar del cambio en la distribución de muestreo, CIF emplea ponderación de importancia de mezcla. En cada paso $t$, el muestreador extrae de una mezcla $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$, donde $\tilde{q}_t$ es una propuesta adaptativa basada en el historial.
• Garantía: Los pesos de importancia $w_t = \Pi(I_t)/q_t(I_t)$ están acotados por $W_{max} = 1/(1-\alpha)$. El marco utiliza estimadores de estilo Horvitz-Thompson y límites de martingala para asegurar que las secuencias de confianza sigan siendo válidas para el $\Pi$ original, incluso cuando el muestreo es adaptativo.

4. Comparaciones Múltiples y Selección

Al escanear múltiples componentes o circuitos, CIF aborda el problema del sesgo de selección recomendando:

• Corrección de Bonferroni (asignando $\delta/K$ por componente).
• "Pelado" secuencial (detener el muestreo para candidatos claramente subóptimos).
• Métodos de control de la Tasa de Falsos Descubrimientos (FDR) con validez en cualquier momento.

Contribuciones Clave

1. Reformulación: El artículo reformula las métricas de interpretabilidad intervencional como problemas de inferencia causal secuencial, separando la pregunta científica (el estimando) del procedimiento de muestreo.
2. Garantías Estadísticas: Proporciona secuencias de confianza de muestra finita y válidas en cualquier momento para estos estimandos, válidas bajo monitoreo arbitrario y parada dependiente de los datos.
3. Eficiencia Adaptativa: Introduce la CIF adaptativa mediante la ponderación de importancia de mezcla acotada, permitiendo la minería de fallos eficiente mientras mantiene la validez estadística.
4. Apuestas Adaptativas a la Varianza: Demuestra que las secuencias de confianza basadas en apuestas pueden reducir los costos de certificación en 10–30× en comparación con los límites estándar de Hoeffding al aprovechar la varianza empírica.
5. Herramientas Prácticas: Los autores proporcionan algoritmos para la certificación, comparaciones pareadas y muestreo adaptativo, junto con una lista de verificación de reporte para aplicar CIF a nuevas evaluaciones.

Resultados Experimentales

Los autores evaluaron CIF en dos benchmarks principales:

1. Abstracciones Neuronales de MNIST:

   • Configuración: Evaluó la fidelidad de abstracción (Precisión de Intervención de Intercambio) para varios métodos de poda y compresión en un MLP de 3 capas.
   • Hallazgos: Bajo una intervención agresiva ($p=0.5$), ningún método pudo ser certificado como de alta fidelidad ($F \ge 0.90$), un resultado negativo que los estimantes puntuales por sí solos podrían haber ocultado. Bajo intervenciones más leves ($p=0.1$), las CS basadas en apuestas certificaron afirmaciones de alta fidelidad con drásticamente menos pasadas hacia adelante (por ejemplo, 64 muestras frente a 1,141 para Hoeffding). Se encontró que el muestreo adaptativo era más efectivo para encontrar fallos que para certificar fidelidades ya altas.

2. Circuitos IOI de GPT-2 Small:

   • Configuración: Evaluó las puntuaciones de recuperación de parcheo para circuitos descubiertos mediante ACDC, parcheo de atribución y métodos identificados manualmente en la tarea de Identificación de Objeto Indirecto (IOI).
   • Hallazgos: Todos los circuitos mostraron estimantes puntuales altos ($\hat{\mu} \in [0.959, 0.972]$). Sin embargo, los límites de Hoeffding eran demasiado amplios para certificar umbrales altos dentro del presupuesto de 2,000 muestras. Las CS basadas en apuestas lograron certificar $\mu \ge 0.95$ para el circuito completo de 13 cabezales en solo 357 muestras, mientras que Hoeffding requería más de 2,000 muestras.

3. Sensibilidad y Cobertura:

   • El análisis de sensibilidad mostró que, ante niveles altos de perturbación, la elección de la métrica de discrepancia (por ejemplo, pérdida 0-1 frente a divergencia KL) podía conducir a intervalos de confianza que no se solapan, haciendo que la elección de la métrica fuera un factor crítico en las conclusiones cualitativas.
   • La validación de cobertura confirmó que tanto las CS de Hoeffding como las de apuestas lograron una cobertura empírica igual o superior al nivel nominal (por ejemplo, 95%) incluso bajo protocolos de observación (peeking) agresivos.

Significado y Reivindicaciones

El artículo posiciona a CIF no como un nuevo método para descubrir circuitos o abstracciones, sino como una capa de verificación para el lado de la estimación de la interpretabilidad mecanicista.

• Abordar la "Pieza Faltante": Los autores argumentan que, si bien el encuadre causal de la interpretabilidad está establecido, la práctica estadística suele ser informal. CIF llena este vacío proporcionando una cuantificación de la incertidumbre rigurosa que sobrevive a la naturaleza adaptativa de la investigación en interpretabilidad.
• Reducción de Costos: Una reivindicación práctica clave es que la elección de la construcción estadística (Hoeffding vs. Apuestas) puede cambiar el costo de la certificación en un orden de magnitud, haciendo que la evaluación rigurosa sea factible para modelos costosos como GPT-2.
• Transparencia: CIF obliga a los investigadores a declarar explícitamente las distribuciones de entrada e intervención, haciendo que el alcance de la afirmación sea explícito y exponiendo la sensibilidad a estas elecciones de diseño.
• Limitaciones: Los autores declaran explícitamente que CIF no resuelve el problema de identificación (es decir, si una abstracción elegida captura realmente la estructura causal de interés); solo resuelve el problema de estimación (estimar de manera confiable la fidelidad de una afirmación propuesta dado un métrica y distribución específicos). También asume puntuaciones acotadas, aunque variantes de sub-Gaussiana o de recorte pueden extender esto.

En resumen, CIF proporciona un marco para convertir los "estimantes puntuales" en "afirmaciones certificadas", asegurando que las conclusiones sobre las explicaciones mecanicistas sean robustas al muestreo finito, al monitoreo y a las estrategias de búsqueda adaptativa.