🤖 machine learning

Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees

Este trabajo propone un marco de interpretabilidad mecanística formal que utiliza algoritmos automatizados basados en verificación neuronal para descubrir circuitos con garantías demostrables de robustez en el dominio de entrada, alineación bajo parches y minimalidad, superando así las limitaciones heurísticas de los métodos anteriores.

Autores originales: Itamar Hadad, Guy Katz, Shahaf Bassan

Publicado 2026-02-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Itamar Hadad, Guy Katz, Shahaf Bassan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que una red neuronal (como las que usan los coches autónomos o las apps de reconocimiento de imágenes) es como una gigantesca cocina industrial llena de miles de chefs, ingredientes y máquinas. A veces, la cocina hace un plato delicioso, pero nadie sabe exactamente qué chefs, qué cuchillos o qué hornos fueron los verdaderamente responsables de ese sabor.

Este paper, titulado "Interpretabilidad Mecánica Formal: Descubrimiento Automático de Circuitos con Garantías Demostrables", es como un equipo de detectives científicos que quiere responder a dos preguntas:

¿Qué parte exacta de la cocina hizo el plato?
¿Podemos estar 100% seguros de que esa parte funcionará bien si alguien cambia un poco la receta o si entra un chef nuevo?

Aquí tienes la explicación sencilla, con analogías:

1. El Problema: Los Detectives "Adivinos"

Antes de este trabajo, los investigadores usaban métodos "heuristicos" (basados en conjeturas).

La analogía: Imagina que intentas averiguar qué ingrediente es esencial para un pastel. Pruebas quitando un poco de harina en una receta, luego en otra, y luego en otra. Si el pastel sale bien, dices: "¡Ah! La harina no es importante".
El fallo: Pero, ¿qué pasa si quitas la harina en una receta con un poco más de azúcar? ¡El pastel se arruina! Los métodos antiguos solo miraban casos específicos (puntos discretos). Si el mundo real cambia un poquito (una perturbación), su explicación deja de funcionar. Es como decir "este puente es seguro" porque lo probaste con un coche, pero no con un camión.

2. La Solución: Los Detectives "Matemáticos"

Los autores proponen usar herramientas de verificación formal (matemáticas rigurosas) para encontrar los "circuitos" (los chefs y herramientas clave) con garantías demostrables.

No solo dicen "creemos que esto funciona", sino que demuestran matemáticamente que funcionará bajo cualquier condición dentro de un rango seguro.

3. Las Tres Garantías Mágicas

El paper introduce tres tipos de "certificados de seguridad" para estos circuitos:

A. Robustez de Entrada (El "Escudo contra el Clima")

Qué es: Asegurar que el circuito funciona bien no solo con una foto perfecta, sino con cualquier foto que se parezca un poco (con un poco de lluvia, sombra o ruido).
La analogía: Es como probar que tu coche autónomo ve un semáforo rojo no solo cuando está perfectamente iluminado, sino también si hay niebla, si el sol brilla fuerte o si alguien pinta una mancha en el vidrio. El método del paper garantiza que el circuito verá el rojo en todas esas situaciones, no solo en la que probaste.

B. Robustez de Parche (El "Chef de Repuesto Infalible")

Qué es: En la cocina, a veces "parcheamos" (sustituimos) a los chefs que no son importantes para ver si el plato sigue saliendo igual. Los métodos antiguos usaban ingredientes "promedio" o "cero" (como si el chef estuviera dormido).
La analogía: Imagina que quitas al chef de la salsa y pones a alguien que no sabe cocinar nada (cero) o a alguien que cocina "promedio". El paper dice: "¡Espera! ¿Y si el chef de repuesto tiene un día raro y salta un poco de sal? ¿O si el ingrediente cambia de temperatura?".
La innovación: Su método verifica que el circuito principal funcione bien sin importar qué chef de repuesto (dentro de un rango realista) entre a trabajar en la zona no importante. Es como decir: "El plato saldrá perfecto aunque el chef de la ensalada tenga un día de locura, siempre que esté dentro de lo normal".

C. Minimalidad (El "Equipo de Elite")

Qué es: Encontrar el grupo de chefs más pequeño posible que aún pueda hacer el plato.
La analogía: A veces decimos "necesitamos a 10 personas para hacer esto", pero en realidad bastan 3. El paper no solo busca cualquier grupo pequeño, sino que usa matemáticas para encontrar el grupo más pequeño posible (o muy cerca de él) que sea realmente necesario.
El truco: Usan un concepto llamado "dualidad de bloqueo". Imagina que en lugar de buscar quiénes sí hacen el trabajo, buscan quiénes bloquean el trabajo si se van. Si quitas a cualquiera de esos "bloqueadores", el plato se arruina. Esto les ayuda a encontrar el equipo mínimo de forma más eficiente.

4. ¿Cómo lo hacen? (La Máquina de la Verdad)

Usan una técnica llamada Codificación Siamesa.

La analogía: Imagina que pones dos cocinas idénticas una al lado de la otra.
- En la Cocina A (el modelo completo), cocinas con todos los chefs.
- En la Cocina B (el circuito candidato), quitas a los chefs que no crees que importan y los reemplazas por "fantasmas" (parches).
- Luego, usas un "juez matemático" (un verificador) que mira ambas cocinas al mismo tiempo y grita: "¡Si la Cocina B produce el mismo sabor que la A en cualquier situación posible, entonces es un circuito válido!".

5. Los Resultados: ¿Funciona de verdad?

Probaron esto en modelos de visión por computadora (como reconocer gatos, señales de tráfico o aviones).

El resultado: Los métodos antiguos (los "adivinos") fallaban a menudo. Si cambiabas un píxel en la imagen, su explicación se rompía.
La victoria: El método nuevo siempre encontró circuitos que funcionaban al 100% en todas las situaciones probadas. Sí, tardó un poco más en calcularlo (porque es muy riguroso), pero la seguridad que ofrece es incomparable.

En Resumen

Este paper es como pasar de decir "Creo que este motor es seguro porque lo probé en seco" a decir "Aquí está el certificado matemático que demuestra que este motor funcionará en lluvia, nieve, arena y con cualquier tipo de combustible, y además, te garantizo que es el motor más pequeño y eficiente posible para hacerlo".

Es un gran paso para hacer que la Inteligencia Artificial sea más transparente, confiable y segura, especialmente en situaciones críticas donde un error no es una opción.

1. El Problema

La interpretabilidad mecánica (MI) busca descomponer las redes neuronales en componentes y módulos funcionales comprensibles para humanos, conocidos como circuitos. Un desafío central en este campo es el descubrimiento de circuitos: identificar subgrafos dentro de la red que impulsen comportamientos específicos.

Sin embargo, los métodos actuales presentan limitaciones críticas:

Dependencia de heurísticas: La mayoría de los algoritmos se basan en aproximaciones o métodos de muestreo (como el "patching" o parcheo de activaciones en un conjunto discreto de puntos).
Falta de garantías: Estos métodos no ofrecen garantías rigurosas sobre la fidelidad del circuito en dominios continuos. Pequeñas perturbaciones en la entrada o en el esquema de parcheo pueden romper la fidelidad del circuito descubierto, lo cual es inaceptable para aplicaciones de seguridad y confianza.
Minimidad ambigua: No existe una definición formal unificada de "minimalidad" (qué tan pequeño debe ser un circuito), y los algoritmos existentes a menudo se quedan atrapados en mínimos locales subóptimos.

2. Metodología

Los autores proponen un marco algorítmico que integra el descubrimiento de circuitos con los avances recientes en la verificación formal de redes neuronales. En lugar de muestrear puntos, utilizan verificadores formales (como $\alpha$ - $\beta$ -CROWN) para certificar propiedades sobre regiones continuas infinitas.

A. Garantías Probadas

El marco define tres tipos de garantías que deben cumplirse estrictamente sobre dominios continuos:

Robustez de Dominio de Entrada: El circuito debe producir la misma salida que el modelo completo para todas las entradas dentro de una región continua (ej. una bola $\ell_p$ alrededor de un punto), no solo para puntos discretos.
Robustez de Dominio de Parcheo (Patching): El circuito debe mantener su fidelidad incluso cuando las activaciones de los componentes no pertenecientes al circuito (el complemento) se perturban dentro de un rango continuo de valores factibles, en lugar de fijarse a un valor constante (como cero o la media).
Minimidad: Formalización de cuatro nociones de minimalidad, desde la más débil (cuasi-minimalidad) hasta la más fuerte (minimalidad cardinal), basándose en qué subconjuntos de componentes son esenciales para la fidelidad.

B. Codificación Siamesa (Siamese Encoding)

Para verificar estas propiedades, los autores introducen una técnica novedosa de codificación siamesa:

Para Robustez de Entrada: Se duplica el circuito y se apila con el modelo completo ( $G \sqcup C'$ ) compartiendo la capa de entrada. Esto permite al verificador comparar directamente las salidas del modelo y del circuito bajo la misma entrada perturbada.
Para Robustez de Parcheo: Se utiliza una red siamesa con dominios de entrada disjuntos. Una rama procesa la entrada original, mientras que la otra procesa una entrada perturbada para generar las activaciones de parcheo. Estas activaciones se transfieren al circuito, permitiendo verificar la fidelidad sobre todo el rango de perturbaciones posibles.

C. Algoritmos y Propiedad de Monotonía

El papel establece una conexión teórica crucial: la monotonía del predicado de fidelidad ( $\Phi$ ).

Si $\Phi$ es monótono (añadir componentes nunca rompe la fidelidad), los algoritmos de búsqueda greedy convergen a circuitos subconjunto-minimales.
Se demuestra que la combinación de robustez de entrada y parcheo (con dominios adecuados) garantiza la monotonía.
Para lograr la minimalidad cardinal (el circuito más pequeño posible), proponen un algoritmo basado en la dualidad entre circuitos y "conjuntos de bloqueo" (blocking sets). Utilizan el problema del Conjunto de Golpeo Mínimo (MHS) para aproximar o encontrar exactamente el circuito minimal cardinal de manera más eficiente que la búsqueda exhaustiva.

3. Contribuciones Clave

Marco Teórico Formal: Definición rigurosa de garantías de robustez en dominios continuos (entrada y parcheo) y un espectro formal de minimalidad (cuasi, local, subconjunto y cardinal).
Conexiones Teóricas: Demostración de que la robustez de parcheo y entrada implica la monotonía del predicado de fidelidad, lo cual es esencial para la convergencia de algoritmos hacia circuitos minimalistas fuertes.
Algoritmos Automatizados:
- Algoritmos iterativos y de búsqueda binaria para minimalidad débil.
- Un algoritmo basado en MHS (Minimum Hitting Set) para aproximar circuitos cardinamente mínimos utilizando la dualidad de conjuntos de bloqueo.
Codificación Siamesa: Una técnica técnica para transformar problemas de descubrimiento de circuitos en problemas de verificación de redes neuronales estándar.

4. Resultados Experimentales

Los autores evaluaron su método en modelos de visión estándar (MNIST, CIFAR-10, GTSRB, TaxiNet) utilizando el verificador de última generación $\alpha$ - $\beta$ -CROWN.

Robustez:
- Los métodos basados en muestreo (estándar) lograron tasas de robustez bajas (ej. 19% - 46% en CIFAR-10), fallando ante perturbaciones infinitesimales.
- El método provable alcanzó 100% de robustez en todos los dominios continuos probados, garantizando que el circuito funciona correctamente en toda la región de perturbación.
Tamaño del Circuito:
- A pesar de la mayor carga computacional (debido a las consultas de verificación), los circuitos descubiertos provablemente robustos tienen tamaños comparables a los de los métodos basados en muestreo.
Minimidad:
- Los experimentos mostraron que el algoritmo basado en MHS (Algoritmo 2) converge progresivamente hacia el tamaño óptimo (cardinalmente mínimo), superando a los métodos greedy que a menudo se quedan en soluciones subóptimas.
- Se observó una compensación (trade-off) clara: la búsqueda binaria es rápida pero produce circuitos más grandes (minimalidad débil), mientras que la búsqueda MHS es más lenta pero ofrece garantías de minimalidad más fuertes.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la interpretabilidad mecánica:

De Heurístico a Formal: Transforma el descubrimiento de circuitos de un proceso basado en intuición y muestreo a uno con garantías matemáticas demostrables.
Seguridad y Confianza: Al garantizar que los circuitos son robustos frente a perturbaciones continuas, se aborda una de las principales preocupaciones de seguridad en IA, asegurando que las explicaciones no son frágiles.
Fundamento Teórico: Establece una base teórica sólida conectando la verificación formal, la teoría de la complejidad (MHS) y la interpretabilidad, abriendo la puerta a futuras investigaciones sobre explicaciones formales y verificables en modelos de IA más grandes y complejos.

En resumen, el artículo demuestra que es posible descubrir circuitos neuronales que no solo son interpretables, sino que son matemáticamente garantizados para ser robustos y minimalistas, superando las limitaciones fundamentales de los enfoques actuales.