Causal Explanations from the Geometric Properties of ReLU Neural Networks

Resumo Técnico: Explicações Causais a partir das Propriedades Geométricas de Redes Neurais ReLU

Declaração do Problema

As redes neurais, particularmente aquelas utilizadas para aprender políticas de controle em sistemas autônomos via Aprendizado por Reforço (RL), funcionam como "caixas pretas". Essa falta de interpretabilidade impede a garantia de segurança e a confiança do usuário. Embora campos como Inteligência Artificial Explicável (XAI) e Aprendizado por Reforço Explicável (XRL) visem fornecer explicações do tipo "por que" e "por que não", os métodos atuais de última geração frequentemente dependem de modelos destilados (surrogados simplificados). Embora essas políticas destiladas sejam interpretáveis, elas sofrem degradação significativa de desempenho em comparação com o modelo original e não garantem um reflexo preciso dos processos de tomada de decisão do modelo original. Consequentemente, elas não podem ser usadas para garantir formalmente a segurança do sistema original. Há uma necessidade de métodos que gerem explicações causais exatas diretamente da rede neural original, sem aproximação ou perda de desempenho.

Metodologia

Os autores propõem um método para gerar Explicações Minimamente Completas (MCE) para redes neurais compostas por camadas lineares e funções de ativação Unidade Linear Retificada (ReLU). A abordagem aproveita a propriedade geométrica de que uma rede ReLU corresponde a uma função linear por partes dividida em regiões definidas por polítopos convexos n-dimensionais.

A metodologia central envolve dois algoritmos principais:

1. Representação Geométrica:

   • A rede é vista como dividindo o espaço de entrada em regiões distintas (polítopos). Dentro de cada polítopo, o comportamento da rede para cada neurônio de saída é uma única transformação linear.
   • A ativação de cada neurônio (zero ou não zero) é representada por um vetor de bits. Uma combinação específica de ativações define um polítopo único $P$ no espaço de entrada, descrito por um sistema de desigualdades lineares (Representação-H).

2. Explicações "Por Que" (Fáticas):

   • Entrada: Uma entrada $x$ e a rede $N$.
   • Processo: O algoritmo realiza uma passagem forward para coletar a assinatura de ativação (vetor de bits) para $x$. Ele constrói o polítopo $P$ correspondente a essa assinatura.
   • Refinamento: Define-se um subpolítopo $P_{Output} \subset P$ onde a classe de saída real $c$ é máxima. Para alcançar a minimalidade, o algoritmo resolve uma série de programas lineares para identificar e remover restrições redundantes do sistema de desigualdades que define $P_{Output}$.
   • Saída: Um conjunto simplificado de desigualdades lineares ($H'$) que definem exatamente a região onde a rede produz a decisão observada.

3. Explicações "Por Que Não" (Contrafactuais):

   • Entrada: Uma entrada $x$, a saída real $c$ e uma saída contrafactual $c'$.
   • Processo: O algoritmo primeiro verifica se a classe contrafactual $c'$ é viável dentro do polítopo atual $P$. Se viável, a explicação é a desigualdade linear que distingue as classes dentro de $P$.
   • Busca: Se $c'$ não for viável em $P$, o algoritmo emprega Marcha de Polítopos Adjacentes. Ele inverte iterativamente bits na assinatura de ativação (aumentando a distância de Hamming) para explorar polítopos adjacentes até encontrar uma região $P'$ onde $c'$ seja viável.
   • Saída: A explicação consiste nas restrições específicas (os bits/desigualdades diferentes) que distinguem o polítopo factual $P$ do polítopo contrafactual $P'$.

4. Representações:

   • Representação-H: Um sistema de desigualdades lineares. É exata e escala linearmente com o número de neurônios, mas pode ser complexa para entradas de alta dimensão.
   • Representação-V: Um conjunto de pontos extremos (vértices) que definem os limites do polítopo. Isso oferece maior brevidade (tamanho constante em relação à profundidade da rede), mas introduz complexidade exponencial em relação à dimensionalidade da entrada.

Contribuições Principais

• Exatidão: O método gera explicações que são reflexos 100% precisos do comportamento da rede ReLU original, evitando os erros de aproximação inerentes à destilação de modelos.
• Extração Direta: As regras são extraídas diretamente das propriedades geométricas (decomposição polipodal) da rede neural, em vez de um modelo surrogado.
• Estrutura Algorítmica: O artigo introduz algoritmos específicos para gerar tanto explicações "Por Que" (fáticas) quanto "Por Que Não" (contrafactuais) usando marcha de polítopos e redução de restrições.
• Representação Dual: O trabalho demonstra como fornecer explicações tanto na Representação-H (restrições) quanto na Representação-V (limites), discutindo os trade-offs entre interpretabilidade e complexidade computacional para cada uma.

Resultados e Análise de Complexidade

• Complexidade Computacional:
  • Explicações "Por Que": A complexidade de tempo é $O(n)$, onde $n$ é o número de neurônios, pois envolve resolver um número linear de programas lineares para remover restrições redundantes.
  • Explicações "Por Que Não": No melhor caso, a complexidade é $O(n)$. No pior caso, é $O(2^n)$, equivalente a enumerar todos os polítopos possíveis. No entanto, os autores observam que, na prática, o algoritmo provavelmente termina rapidamente, pois apenas um polítopo viável para o contrafactual é necessário para interromper a busca.
• Complexidade de Espaço: Ambos os algoritmos mantêm complexidade de espaço constante, armazenando apenas o polítopo atual e os vetores de bits.
• Escalabilidade: Os autores reconhecem que, embora o método seja teoricamente sólido, a Representação-H escala linearmente com o tamanho do modelo (número de restrições) e a Representação-V escala exponencialmente com a dimensionalidade da entrada. Entradas de alta dimensão resultam em restrições envolvendo todas as variáveis de entrada, o que pode reduzir a interpretabilidade.

Significado e Alegações

O artigo afirma que seu principal significado reside em preencher a lacuna entre garantia de segurança e interpretabilidade. Ao fornecer explicações geométricas exatas, o método permite que os usuários verifiquem que um sistema não entrará em um estado inseguro e compreendam os limites de decisão específicos que levaram a uma ação particular.

Os autores enquadram modestamente seu trabalho como uma demonstração de viabilidade em vez de uma solução completa para todos os desafios de interpretabilidade. Eles afirmam explicitamente:

• As explicações são "minimamente completas" em relação à geometria da rede, mas podem não ser "satisfatórias" (agradáveis) para usuários finais devido à complexidade e ao número de restrições, particularmente em espaços de alta dimensão.
• O método atualmente limita-se a redes com camadas lineares e ativações ReLU.
• Trabalhos futuros são necessários para validar a "agradabilidade" dessas explicações com usuários reais e reguladores (por exemplo, no domínio marítimo) e para estender a abordagem a outras arquiteturas (como CNNs) e funções de ativação (como Leaky ReLU).

O trabalho posiciona-se como um passo fundamental rumo à interpretabilidade mecânica que não compromete o desempenho ou as garantias de segurança do sistema autônomo original.