Causal Explanations from the Geometric Properties of ReLU Neural Networks

Resumen Técnico: Explicaciones Causales a partir de las Propiedades Geométricas de las Redes Neuronales ReLU

Enunciado del Problema

Las redes neuronales, particularmente aquellas utilizadas para aprender políticas de control en sistemas autónomos mediante Aprendizaje por Refuerzo (RL), funcionan como "cajas negras". Esta falta de interpretabilidad obstaculiza la garantía de seguridad y la confianza del usuario. Aunque campos como la Inteligencia Artificial Explicable (XAI) y el Aprendizaje por Refuerzo Explicable (XRL) buscan proporcionar explicaciones de "por qué" y "por qué no", los métodos actuales del estado del arte a menudo dependen de modelos destilados (surrogados simplificados). Aunque estas políticas destiladas son interpretables, sufren una degradación significativa del rendimiento en comparación con el modelo original y no garantizan una reflexión precisa de los procesos de toma de decisiones del modelo original. En consecuencia, no pueden utilizarse para garantizar formalmente la seguridad del sistema original. Existe una necesidad de métodos que generen explicaciones causales exactas directamente desde la red neuronal original, sin aproximación ni pérdida de rendimiento.

Metodología

Los autores proponen un método para generar Explicaciones Mínimamente Completas (MCE) para redes neuronales compuestas por capas lineales y funciones de activación de Unidad Lineal Rectificada (ReLU). El enfoque aprovecha la propiedad geométrica de que una red ReLU corresponde a una función lineal a trozos dividida en regiones definidas por politopos convexos de $n$ dimensiones.

La metodología central involucra dos algoritmos principales:

1. Representación Geométrica:

   • La red se visualiza dividiendo el espacio de entrada en regiones distintas (politopos). Dentro de cada politopo, el comportamiento de la red para cada neurona de salida es una única transformación lineal.
   • La activación de cada neurona (cero o no cero) se representa mediante un vector de bits. Una combinación específica de activaciones define un politopo único $P$ en el espacio de entrada, descrito por un sistema de desigualdades lineales (Representación-H).

2. Explicaciones "Por Qué" (Factuales):

   • Entrada: Una entrada $x$ y la red $N$.
   • Proceso: El algoritmo realiza un paso hacia adelante para recopilar la firma de activación (vector de bits) para $x$. Construye el politopo $P$ correspondiente a esta firma.
   • Refinamiento: Define un politopo subconjunto $P_{Output} \subset P$ donde la clase de salida real $c$ es máxima. Para lograr minimalidad, el algoritmo resuelve una serie de programas lineales para identificar y eliminar restricciones redundantes del sistema de desigualdades que define $P_{Output}$.
   • Salida: Un conjunto simplificado de desigualdades lineales ($H'$) que definen exactamente la región donde la red produce la decisión observada.

3. Explicaciones "Por Qué No" (Contrafactuales):

   • Entrada: Una entrada $x$, la salida real $c$ y una salida contrafactual $c'$.
   • Proceso: El algoritmo verifica primero si la clase contrafactual $c'$ es factible dentro del politopo actual $P$. Si es factible, la explicación es la desigualdad lineal que distingue las clases dentro de $P$.
   • Búsqueda: Si $c'$ no es factible en $P$, el algoritmo emplea Marcha de Politopos Adyacentes. Iterativamente invierte bits en la firma de activación (aumentando la distancia de Hamming) para explorar politopos adyacentes hasta encontrar una región $P'$ donde $c'$ sea factible.
   • Salida: La explicación consiste en las restricciones específicas (los bits/desigualdades que difieren) que distinguen el politopo factual $P$ del politopo contrafactual $P'$.

4. Representaciones:

   • Representación-H: Un sistema de desigualdades lineales. Es exacta y escala linealmente con el número de neuronas, pero puede ser compleja para entradas de alta dimensión.
   • Representación-V: Un conjunto de puntos extremos (vértices) que definen los límites del politopo. Esto ofrece mayor brevedad (tamaño constante en relación con la profundidad de la red), pero introduce complejidad exponencial en relación con la dimensionalidad de la entrada.

Contribuciones Clave

• Exactitud: El método genera explicaciones que son reflejos 100% precisos del comportamiento de la red ReLU original, evitando los errores de aproximación inherentes a la destilación de modelos.
• Extracción Directa: Las reglas se extraen directamente de las propiedades geométricas (descomposición politópica) de la red neuronal en lugar de hacerlo desde un modelo surrogado.
• Marco Algorítmico: El artículo introduce algoritmos específicos para generar tanto explicaciones "Por Qué" (factuales) como "Por Qué No" (contrafactuales) utilizando la marcha de politopos y la reducción de restricciones.
• Representación Dual: El trabajo demuestra cómo proporcionar explicaciones tanto en Representación-H (restricciones) como en Representación-V (límites), discutiendo las compensaciones entre interpretabilidad y complejidad computacional para cada una.

Resultados y Análisis de Complejidad

• Complejidad Computacional:
  • Explicaciones "Por Qué": La complejidad temporal es $O(n)$, donde $n$ es el número de neuronas, ya que implica resolver un número lineal de programas lineales para eliminar restricciones redundantes.
  • Explicaciones "Por Qué No": En el mejor de los casos, la complejidad es $O(n)$. En el peor de los casos, es $O(2^n)$, equivalente a enumerar todos los politopos posibles. Sin embargo, los autores señalan que, en la práctica, el algoritmo probablemente termine rápidamente porque solo se requiere un único politopo factible para el contrafactual para detener la búsqueda.
• Complejidad Espacial: Ambos algoritmos mantienen una complejidad espacial constante, almacenando únicamente el politopo actual y los vectores de bits.
• Escalabilidad: Los autores reconocen que, aunque el método es teóricamente sólido, la Representación-H escala linealmente con el tamaño del modelo (número de restricciones), y la Representación-V escala exponencialmente con la dimensionalidad de la entrada. Las entradas de alta dimensión resultan en restricciones que involucran todas las variables de entrada, lo que puede reducir la interpretabilidad.

Significado y Afirmaciones

El artículo afirma que su principal significado radica en cerrar la brecha entre la garantía de seguridad y la interpretabilidad. Al proporcionar explicaciones geométricas exactas, el método permite a los usuarios verificar que un sistema no entrará en un estado inseguro y comprender los límites de decisión específicos que condujeron a una acción particular.

Los autores enmarcan modestamente su trabajo como una demostración de viabilidad en lugar de una solución completa a todos los desafíos de interpretabilidad. Declaran explícitamente:

• Las explicaciones son "mínimamente completas" con respecto a la geometría de la red, pero pueden no ser "satisfactorias" (agradables) para los usuarios finales debido a la complejidad y el número de restricciones, particularmente en espacios de alta dimensión.
• El método está actualmente limitado a redes con capas lineales y activaciones ReLU.
• Se requiere trabajo futuro para validar la "agradabilidad" de estas explicaciones con usuarios reales y reguladores (por ejemplo, en el dominio marítimo) y para extender el enfoque a otras arquitecturas (como CNN) y funciones de activación (como Leaky ReLU).

El trabajo se posiciona como un paso fundamental hacia la interpretabilidad mecanicista que no compromete el rendimiento ni las garantías de seguridad del sistema autónomo original.