🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

Este artículo introduce la Activación-Desactivación (AD), un nuevo marco de explicabilidad post-hoc que reemplaza las perturbaciones de entrada por la desactivación interna del modelo para generar explicaciones más robustas y transferibles sin requerir entrenamiento adicional.

Autores originales: Akchunya Chanchal, David A. Kelly, Hana Chockler

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Akchunya Chanchal, David A. Kelly, Hana Chockler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente pero misterioso que mira imágenes y te dice qué ve (como "¡Eso es un íbice!" o "¡Eso es un ornitorrinco!"). El problema es que el robot es una "caja negra": no puedes ver cómo piensa. Quieres saber: ¿Qué partes de la imagen hicieron que el robot dijera "íbice"?

Este es el problema de la IA Explicable (XAI). El artículo presenta una nueva forma de responder a esta pregunta llamada Activación-Desactivación (AD), y una herramienta específica para ello llamada convad.

Así es como funciona, usando analogías sencillas:

La forma antigua: El problema del "Mal Vecino"

Actualmente, la mayoría de los métodos intentan explicar la decisión del robot mutando la imagen.

La Analogía: Imagina que quieres saber si la famosa sopa de un chef sabe bien gracias a las zanahorias. Para probarlo, tomas una cucharada de la sopa y reemplazas las zanahorias con... papel higiénico, arena o pintura azul.
El Problema: Si pones papel higiénico en la sopa, la sopa ya no es "sopa". Es un desastre extraño y fuera de distribución. Si el chef dice: "No me gusta esto", no sabes si es porque faltaban las zanahorias o simplemente porque arruinaste la sopa con papel higiénico.
En el Artículo: Esto se llama usar "mutantes fuera de distribución". Los métodos antiguos enmascaran partes de la imagen con valores aleatorios (como cero, gris o ruido). Dependiendo de con qué enmascares, obtendrás respuestas diferentes y a menudo confusas. A veces el robot piensa que una foto de un muñeco de nieve es una oveja solo porque enmascaraste la nieve con el color equivocado.

La nueva forma: El "Interruptor Silencioso" (Activación-Desactivación)

Los autores dicen: "¿Por qué cambiar los ingredientes? Simplemente dile al robot que los ignore".

La Analogía: En lugar de reemplazar las zanahorias con papel higiénico, imagina que simplemente apagas las luces en la sección de la cocina donde están las zanahorias. Las zanahorias siguen ahí, pero los ojos del chef (los sensores del robot) no pueden verlas. El resto de la sopa permanece perfectamente normal.
Cómo funciona: La herramienta convad no cambia la imagen en absoluto. En su lugar, entra en el cerebro del robot (la red neuronal) y mueve interruptores. Si una parte de la imagen debe ser "enmascarada", la herramienta evita que la información de esa parte de la imagen viaje a través del cerebro del robot. Efectivamente dice: "Pretende que esta parte de la imagen no existe", sin cambiar realmente los datos de la imagen.

¿Por qué es mejor?

Sin juego de adivinanzas: Los métodos antiguos requieren que adivines: "¿Debería enmascarar con negro? ¿Gris? ¿Blanco?". El artículo muestra que la respuesta cambia completamente dependiendo de tu suposición. convad no necesita suposiciones. Simplemente apaga la señal.
Estabilidad: Como no introduce píxeles extraños de "papel higiénico", la reacción del robot es mucho más fiable. El artículo probó esto en muchos tipos diferentes de robots (modelos) e imágenes (conjuntos de datos).
La zona "Goldilocks" (Punto justo): Los investigadores descubrieron que las explicaciones de convad son "justo lo que se necesita". No son demasiado grandes (desperdiciando espacio en píxeles irrelevantes), no son demasiado ruidosas (confusas) y son muy robustas (siguen funcionando incluso si pones la imagen contra un fondo liso).

Los Resultados

El artículo probó convad contra los mejores métodos actuales (como LayerMask, LIME y Grad-CAM).

Robustez: convad fue entre un 30% y un 40% mejor en dar explicaciones en las que el robot realmente confiaba, incluso cuando el fondo cambiaba.
Transferibilidad: Si encuentras las "partes importantes" de una imagen usando convad en un tipo de robot, esas mismas partes suelen funcionar para un tipo de robot diferente. Otros métodos a menudo fallan en esto.
Sin necesidad de entrenamiento: Puedes tomar cualquier robot que ya esté entrenado, conectar convad y funciona de inmediato. No tienes que volver a enseñar nada al robot.

El Problema (Limitaciones)

Acceso Interno: Para usar convad, necesitas poder abrir el cerebro del robot y tocar los cables (acceder a las capas internas del modelo). No puedes usarlo en un robot cuyo interior no puedas ver (una verdadera "caja negra").
Fuga: A veces, si el interruptor de "apagado" no es perfecto, una pequeña cantidad de información podría "filtrarse", como una luz que brilla por debajo de una puerta. Los autores reconocen esto, pero dicen que es un caso extremo poco común.

Resumen

El artículo propone una nueva forma de entender las decisiones de la IA. En lugar de estropear la imagen de entrada con valores extraños (como el "papel higiénico" en la sopa), convad simplemente le dice a la IA que ignore partes específicas de la imagen cortando la señal dentro del modelo. Esto conduce a explicaciones más claras, fiables y dignas de confianza sobre por qué una IA tomó una decisión.

Resumen Técnico: Activación-Desactivación (AD) para una IA Explicable Post-hoc Robusta

1. Planteamiento del Problema

Los métodos actuales de IA explicable (XAI) basados en perturbaciones, como LIME, SHAP y REX, dependen de la creación de "mutantes" de los datos de entrada mediante el enmascaramiento u oclusión de características específicas. Estos métodos típicamente reemplazan los píxeles enmascarados con valores predefinidos (por ejemplo, cero, la media, desenfoque gaussiano o ruido aleatorio). Los autores argumentan que este enfoque genera entradas fuera de la distribución (o.o.d.), lo que pone en duda la fidelidad de las explicaciones resultantes.

La elección del valor de enmascaramiento impacta significativamente en la calidad de la explicación. Como demuestra el artículo, diferentes valores de enmascaramiento (por ejemplo, cero frente a máximo) pueden conducir a conjuntos de píxeles mínimos suficientes (MSPS) muy distintos, algunos de los cuales pueden no alinearse con la intuición humana o los límites de decisión reales del modelo. Además, los métodos existentes suelen requerir adaptaciones específicas del dominio o conocimiento experto para seleccionar el "valor de enmascaramiento correcto", lo que introduce subjetividad e inconsistencia.

2. Metodología: Activación-Desactivación (AD)

El artículo presenta la Activación-Desactivación (AD), un nuevo paradigma de paso hacia adelante (forward-pass) que elimina por completo la necesidad de la perturbación de la entrada. En lugar de modificar la imagen de entrada, AD modifica el estado interno del modelo durante la inferencia.

Mecanismo Central:

Concepto: AD "apaga" partes del modelo correspondientes a las perturbaciones previstas. Restringe la propagación de las activaciones asociadas con las características de entrada ocluidas, forzando efectivamente al modelo a ignorar esas regiones sin alterar la distribución de la entrada.
Implementación (convad): Los autores implementan AD para Redes Neuronales Convolucionales (CNN) a través de un algoritmo llamado convad.
- Puntos de control (Checkpoints): El algoritmo inserta puntos de control en capas específicas (por ejemplo, antes de operaciones que alteran la dimensionalidad o entre capas convolucionales).
- Atribución de posición: Utiliza una función de atribución de posición, $\Phi_i$ , para calcular la proporción de características enmascaradas frente a las no enmascaradas que contribuyen a una activación específica.
- Umbralización: Un hiperparámetro $\tau$ determina el umbral para la desactivación. Si la proporción de características enmascaradas supera $\tau$ , la activación correspondiente se establece en cero.
- Propagación de la máscara: La máscara se actualiza y se propaga a través de la red. Para operaciones que preservan la forma, se utiliza una convolución de kernel de valor medio para actualizar la máscara. Para operaciones que alteran la dimensionalidad, la máscara se ajusta basándose en la operación específica (por ejemplo, relleno con 1s o 0s).

Garantías Teóricas:
El artículo demuestra que si la máscara de entrada es "vacía" (todos unos), el modelo instrumentado con convad $N'$ se comporta de manera idéntica al modelo original $N$ . Esto asegura que el marco de trabajo no altera el comportamiento base del modelo cuando no hay características ocluidas, una garantía que los autores señalan que falta en herramientas similares como LayerMask.

3. Contribuciones Clave

Nuevo Paradigma: Introducción de AD, que reemplaza la perturbación de la entrada por la desactivación de la activación interna, manteniendo así las características de entrada del modelo estrictamente dentro de la distribución.
Implementación del Algoritmo: Desarrollo de convad, un mecanismo de "inserción directa" (drop-in) para CNN entrenadas que no requiere entrenamiento adicional, ajuste fino (fine-tuning) ni conocimiento específico del dominio sobre los valores de enmascaramiento.
Marco Teórico: Definiciones formales para funciones de posición y funciones de atribución de posición dentro del marco de AD, junto con demostraciones de equivalencia de comportamiento con el modelo original bajo condiciones no enmascaradas.
Evaluación Exhaustiva: Una comparación rigurosa contra métodos de caja negra y caja blanca de última generación (SOTA) (LIME, Grad-CAM, REX) y la herramienta LayerMask a través de múltiples arquitecturas (ResNet-50, RegNetY-12GF, EfficientNet-V2) y conjuntos de datos (ImageNet-1k, ImageNet-v2, PASCAL-VOC).

4. Resultados Experimentales

Los autores evaluaron la calidad de la explicación basándose en la robustez, transferibilidad, tamaño, redundancia y solapamiento.

Robustez: convad superó consistentemente a todas las estrategias basadas en enmascaramiento. En fondos de color sólido, las explicaciones de convad retuvieron la clasificación correcta con mucha más frecuencia. En fondos de la misma distribución (i.i.d.), convad mostró aproximadamente un 20% de robustez en umbrales de confianza altos, superando a otros métodos por un 30–40% de media.
Transferibilidad: Los MSPS generados por convad demostraron hasta un 22% mejor transferibilidad entre diferentes arquitecturas de modelos en comparación con otros métodos, lo que sugiere que dependen de características verdaderamente discriminativas en lugar de atajos (shortcuts).
Zona Goldilocks: El análisis de la relación entre robustez, tamaño de la explicación y ruido reveló que las explicaciones de convad ocupan una zona "Goldilocks": son altamente robustas, tienen bajo ruido (redundancia) y son compactas en tamaño. Otros métodos tendieron a fallar en al menos una de estas dimensiones.
Independencia de los Valores de Enmascaramiento: A diferencia de los métodos de perturbación donde los resultados varían drásticamente según el valor de enmascaramiento elegido (por ejemplo, Cero frente a Máximo), convad produjo resultados consistentes sin requerir una elección de valor de oclusión.

5. Significación y Reivindicaciones

El artículo afirma que AD aborda el fallo fundamental de la XAI basada en perturbaciones: la generación de entradas fuera de la distribución. Al desactivar las activaciones en lugar de mutar las entradas, convad proporciona explicaciones que son:

Más Robustas: Menos sensibles a la elección específica de la estrategia de perturbación.
Más Transferibles: Las características identificadas como importantes son consistentes a través de diferentes arquitecturas de modelos.
Agnóstica al Modelo (dentro de la arquitectura): El algoritmo es el mismo para todos los modelos de la misma arquitectura (CNN), sin requerir reentrenamiento.
Fiel: Las explicaciones se adhieren estrictamente a los umbrales de confianza y la lógica de decisión del modelo sin introducir artefactos artificiales mediante valores de enmascaramiento.

Los autores concluyen que, aunque la implementación actual está limitada a las CNN y requiere acceso de caja blanca para modificar las capas internas, el marco de trabajo AD ofrece una alternativa fundamentada al enmascaramiento que mejora significativamente la fiabilidad de las explicaciones post-hoc. Se planea que el trabajo futuro extienda este marco a los modelos de transformadores (transformers) y basados en atención.