Resumen Técnico: Circuitos Certificados

Planteamiento del Problema

La interpretabilidad mecanística busca identificar "circuitos": subredes mínimas dentro de las redes neuronales responsables de comportos o conceptos específicos. Sin embargo, los métodos actuales de descubrimiento de circuitos sufren de una falta crítica de robustez. Los circuitos descubiertos son altamente sensibles a la elección específica de los ejemplos para el conjunto de datos del concepto; añadir, eliminar o sustituir ejemplos semánticamente equivalentes puede provocar cambios impredecibles en la estructura del circuito. Además, estos circuitos suelen fallar al generalizar a datos fuera de la distribución (OOD, por sus siglas en inglés). Esta inestabilidad plantea una pregunta fundamental: ¿capturan los métodos actuales la verdadera representación mecanística de un concepto, o simplemente se están sobreajustando a pistas espurias y artefactos específicos del conjunto de datos?

Metodología: Circuitos Certificados

Los autores proponen Circuitos Certificados, un marco que proporciona garantías de estabilidad probables y agnósticas al algoritmo para el descubrimiento de circuitos. La idea central es tratar el descubrimiento de circuitos como un mapeo de un conjunto de datos de un concepto hacia un subgrafo, y certificar que este mapeo permanece invariante bajo ediciones acotadas al conjunto de datos.

Marco Central

1. Submuestreo Aleatorio (Suavizado): El marco envuelve cualquier algoritmo de descubrimiento de circuitos de caja negra $\mathcal{A}$. Genera múltiples submuestras aleatorias del conjunto de datos del concepto $D$ aplicando un mecanismo de perturbación basado en la eliminación. Específicamente, muestrea una máscara binaria donde cada ejemplo se retiene con una probabilidad $1 - p_{del}$ y se elimina con una probabilidad $p_{del}$.
2. Agregación: El algoritmo base $\mathcal{A}$ se ejecuta en cada conjunto de datos submuestreado para producir circuitos candidatos. El marco luego agrega los resultados para calcular la probabilidad de inclusión suavizada ($p_u$) para cada componente del circuito (neurona o arista). Esta probabilidad representa la frecuencia con la que un componente es seleccionado a través de las eliminaciones aleatorias.
3. Regla de Decisión Certificada: Se aplica un umbral de confianza $\tau$ a $p_u$ para tomar una decisión para cada componente:
   • Certificado Incluido (In): Si $p_u > \tau$, el componente se incluye de forma robusta.
   • Certificado Excluido (Out): Si $1 - p_u > \tau$, el componente se excluye de forma robusta.
   • Abstención (Abstain): Si no se cumple ninguna condición, el componente se excluye del circuito final. Esta escasez adaptativa elimina los componentes cuya inclusión es inestable bajo las perturbaciones del conjunto de datos.

Garantía Teórica

El método aprovecha el Suavizado por Eliminación de Conjunto de Datos (RS-Del) para derivar una garantía formal. El Teorema 3.1 establece que, con alta confianza ($1-\alpha$), cualquier componente certificado como "incluido" o "excluido" permanece invariante para cualquier conjunto de datos de concepto $D'$ dentro de una distancia de edición $r$ específica del conjunto de datos original $D$. El radio certificado $r$ es una función de la probabilidad de eliminación $p_{del}$ y el umbral $\tau$. Los componentes asignados a "abstención" son excluidos, asegurando que el circuito final consista únicamente en elementos demostrablemente estables.

Contribuciones Clave

1. Primer Marco de Estabilidad Probable: El artículo introduce el primer marco que proporciona garantías de robustez probables y agnósticas al algoritmo para el descubrimiento de circuitos, asegurando que la estructura del circuito sea invariante ante ediciones acotadas del conjunto de datos.
2. Límites Teóricos: Los autores derivan límites probables para los radios certificados y caracterizan su dependencia de la probabilidad de umbral y la probabilidad de eliminación.
3. Validación Empírica: El marco es validado a través de tres arquitecturas (ResNet, ViT, GPT-2), dos modalidades (visión y lenguaje) y cuatro algoritmos de descubrimiento.

Resultados Experimentales

Los autores evaluaron los Circuitos Certificados frente a líneas base estándar (por ejemplo, Top-K relevance, EAP-IG) en ImageNet y varios benchmarks OOD (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) para visión, y tareas de IOI/IOI-Hard/Greater-Than para lenguaje.

• Suficiencia y Compacidad: Los circuitos certificados logran una mayor precisión (suficiencia) con significativamente menos componentes (compacidad).
  • Visión: En ImageNet, los circuitos certificados lograron un 95% de precisión (frente al 83% de la línea base) utilizando un 52% menos de neuronas. En conjuntos de datos OOD como ImageNet-A, la precisión mejoró hasta un 56% (alcanzando el 94%) con una reducción del 15% en el tamaño.
  • Lenguaje: Los circuitos certificados igualaron o superaron la precisión máxima de la línea base utilizando hasta un 80% menos de aristas (por ejemplo, una reducción del 75% en la tarea Greater-Than).
• Análisis de Características: La visualización de las neuronas "abstencionistas" (aquellas incluidas en las líneas base pero excluidas por la certificación) reveló que a menudo se activan ante señales co-ocurrentes pero no específicas de la clase (por ejemplo, manos/muñecas para la clase "reloj"), mientras que las neuronas "certificadas como incluidas" respondieron consistentemente a características que definen la clase.
• Generalización OOD: Los circuitos descubiertos en distribuciones de dentro de la distribución (in-distribution) mantuvieron una precisión significativamente mayor en desplazamientos OOD en comparación con las líneas base, lo que sugiere que capturan estructuras mecanísticas transferibles en lugar de artefactos del conjunto de datos.
• Estabilidad Estructural: Cuando se redescubrieron los circuitos en distribuciones desplazadas, los circuitos certificados mostraron una mayor Intersección sobre Unión (IoU) con la estructura original, lo que indica la convergencia hacia un núcleo invariante.

Significado y Reivindicaciones

El artículo afirma que Circuitos Certificados sitúa el descubrimiento de circuitos en un fundamento formal al producir explicaciones mecanísticas que son demostrablemente estables y están mejor alineadas con el concepto objetivo. Al eliminar sistemáticamente los componentes inestables mediante la abstención adaptativa, el método produce circuitos que no solo son más compactos y precisos, sino también robustos a las variaciones del conjunto de datos y a los desplazamientos de distribución.

Los autores enfatizan que este trabajo aborda la "ilusión de interpretabilidad", donde las explicaciones parecen fieles en la distribución de descubrimiento pero fallan al generalizar. Al proporcionar un modelo de amenaza basado en ediciones acotadas del conjunto de datos, Circuitos Certificados ofrece una herramienta fiable para la depuración, auditoría y comprensión de las redes neuronales, cerrando la brecha entre la interpretabilidad y la confiabilidad. El marco está diseñado para ser agnóstico a la arquitectura del modelo subyacente y al algoritmo específico de descubrimiento de circuitos, lo que lo convierte en una solución generalizable para el campo.