🤖 machine learning

Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs

Este artigo propõe um método para computar causas reais de Halpern-Pearl para previsões de redes neurais ao modelar dependências estruturadas de entrada via Modelos Causais Estruturais Booleanos, utilizando propagação de limites e técnicas de branch-and-bound para alcançar explicações escaláveis, completas e mínimas que evitam os resultados espúrios causados pela negligência das correlações de características.

Autores originais: Jannick Strobel, Muqsit Azeem, Stefan Leue

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jannick Strobel, Muqsit Azeem, Stefan Leue

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender por que um robô tomou uma decisão específica, como decidir negar uma solicitação de empréstimo. No mundo da Inteligência Artificial, isso é chamado de "explicabilidade". Geralmente, os cientistas observam as entradas do robô — como renda, idade ou dívida — e perguntam: "Quais desses números mais importaram?" Eles costumam tratar esses números como ingredientes independentes em uma salada: se você mudar a alface, o tomate permanece o mesmo. Mas, no mundo real, os ingredientes costão frequentemente misturados. Uma renda alta pode causar um gasto alto, e um gasto alto pode causar um saldo bancário negativo. Se você ignorar essas conexões, pode culpar o saldo bancário negativo pela negação do empréstimo, perdendo o fato de que o gasto alto era a verdadeira causa raiz. Este artigo aborda o problemático problema de explicar decisões de IA quando as entradas estão emaranhadas em uma teia de relações de causa e efeito, usando uma estrutura chamada "causalidade atual" para encontrar os verdadeiros culpados sem se perder em um labirinto de possibilidades falsas.

Os pesquisadores, Jannick Strobel, Muqsit Azeem e Stefan Leue, da Universidade de Konstanz, introduzem um novo método chamado CausExBaB para resolver este quebra-cabeça. Pense em uma rede neural (o cérebro da IA) como uma máquina de vendas complexa e de caixa-preta. Você insere um conjunto de ingredientes (os dados de entrada) e ela cospe uma decisão (como "Alto Risco" ou "Baixo Risco"). O problema é que os ingredientes não estão apenas parados ali; eles estão conectados por um conjunto de regras (um "Modelo Causal Estrutural" ou SCM) que dita como eles influenciam uns aos outros. Por exemplo, em um cenário de empréstimo, "Altas Despesas" pode automaticamente disparar um "Fluxo de Caixa Negativo".

Se você quiser saber por que a máquina disse "Alto Risco", você não pode simplesmente trocar os ingredientes aleatoriamente. Você tem que respeitar as regras. Se você mudar "Altas Despesas" para "Baixas Despesas", a lógica interna da máquina pode automaticamente mudar "Fluxo de Caixa Negativo" para "Fluxo de Caixa Positivo" também. O objetivo dos autores era encontrar as causas atuais mínimas: o menor grupo de ingredientes que, se alterado (mantendo outras coisas específicas constantes), inverteria a decisão da máquina. É como perguntar: "Qual é a menor mudança absoluta que posso fazer na receita para obter um bolo diferente?"

O desafio é que verificar todas as combinações possíveis de mudanças é como tentar encontrar uma agulha em um palheiro do tamanho de uma galáxia. O número de possibilidades cresce tão rápido que até supercomputadores travam. A solução dos autores é uma estratégia de busca inteligente chamada CausExBaB. Em vez de verificar cada agulha uma por uma, eles usam uma técnica de "lanterna". Eles agrupam enormes blocos de palha juntos e usam matemática para provar que um bloco inteiro não pode conter a agulha. Se a matemática diz que um grupo de mudanças resultará definitivamente em uma decisão de "Alto Risco", eles descartam todo esse grupo sem olhar dentro. Se a matemática prova que um grupo certamente mudará a decisão, eles o marcam como um vencedor. Apenas os grupos confusos, de meio-termo, são divididos e verificados com mais detalhes. Isso é como usar um detector de metais que pode dizer se uma praia inteira está vazia de agulhas, poupando você de cavar na areia até encontrar o local exato.

O artigo prova que este método é tanto robusto (nunca mente) quanto completo (encontra todas as respostas válidas). Em seus testes, eles criaram mundos falsos com até 28 variáveis e espaços de busca contendo até 2,3 × 10¹³ (isso é 23 trilhões) de combinações possíveis. Enquanto métodos mais antigos como "força bruta" (verificar tudo) ou "ILP" (usando solucionadores matemáticos complexos) desistiam e esgotavam o tempo após 180 segundos, o CausExBaB encontrou todas as respostas em uma fração desse tempo, muitas vezes em menos de 35 segundos para os grafos mais complexos.

Uma das descobertas mais interessantes vem de um estudo de caso do mundo real envolvendo o Programa de Assistência Nutricional Suplementar dos EUA (SNAP). A equipe construiu um modelo causal baseado nas regulamentações governamentais reais sobre quem se qualifica para assistência alimentar. Eles descobriram que, se você ignorar as regras que conectam as variáveis (tratando-as como independentes), você obtém uma lista massiva de "causas" para o motivo de uma família ter sido sinalizada para uma revisão. Na verdade, ignorar as conexões mais do que dobrou o número de causas relatadas. Pior ainda, 14,9% dessas causas extras eram "espúrias" — explicações falsas que pareciam corretas apenas porque o modelo não conhecia as regras. Por exemplo, o modelo pode culpar um número de renda específico, mas, na realidade, esse número era apenas um efeito colateral de uma regra diferente. Ao respeitar a teia causal, o CausExB cortou o ruído para encontrar as verdadeiras razões.

Os autores também descobriram que, em seus testes sintéticos, cerca de 68,7% dos casos tinham mais de uma causa mínima. Isso significa que, muitas vezes, não existe apenas uma única razão para a decisão de uma IA; pode haver dois ou três caminhos completamente diferentes e independentes que levam ao mesmo resultado. Encontrar apenas um deles seria como culpar um acidente de carro apenas pela chuva, quando o motorista também estava em alta velocidade. O CausExB encontra todos eles.

Em suma, este artigo não fornece apenas uma maneira mais rápida de explicar a IA; fornece uma maneira mais verdadeira. Ele mostra que, quando as entradas estão conectadas, ignorar essas conexões leva a explicações enganosas, infladas e às vezes completamente erradas. Ao usar seu novo algoritmo, podemos obter uma lista clara, mínima e matematicamente garantida das razões reais por trás das escolhas de uma IA, mesmo em cenários mais complexos e emaranhados. Os autores sugerem que esta abordagem pode ser um divisor de águas para auditar sistemas de IA em campos de alto risco, como finanças e saúde, onde entender a causa real é uma questão de confiança e justiça.

Resumo Técnico: Computação de Causas Reais para Predições de Redes Neurais sob Entradas Causais Estruturadas

Declaração do Problema
Explicar as predições de redes neurais (NN) é um desafio central para a IA confiável. Os métodos de explicação existentes, como atribuição de características ou conjuntos mínimos suficientes, tipicamente tratam as características de entrada como independentes. Essa suposição falha quando as entradas exibem dependências causais estruturadas (por exemplo, achados médicos restringindo diagnósticos ou despesas influenciando o fluxo de caixa). Ignorar essas dependências pode levar a explicações contrafatuais enganosas ou espúrias, onde as causas raízes são obscurecidas ou mudanças são propostas que são impossíveis sob a estrutura causal do domínio. Além disso, as explicações para uma única predição muitas vezes não são únicas; múltiplos conjuntos mínimos de variáveis podem causar o mesmo resultado de forma independente, embora muitos métodos retornem apenas uma testemunha.

O artigo aborda o problema de computar causas reais de Halpern–Pearl (HP) para predições de redes neurais onde o espaço de entrada é restringido por um Modelo Causal Estrutural (SCM). O objetivo é identificar todos os conjuntos mínimos de variáveis cujos valores, se alterados sob uma contingência apropriada (mantendo outras variáveis fixas), alterariam a predição, enquanto respeitam estritamente as dependências causais definidas pelo SCM.

Metodologia: CausExBaB
Os autores propõem o CausExBaB, um algoritmo sólido e completo que computa todas as causas reais mínimas de HP e suas contingências de testemunha de cardinalidade mínima. A abordagem evita a intratabilidade da enumeração exaustiva combinando Propagação de Limites de Intervalo (IBP) com técnicas de Branch-and-Bound (BaB) sobre regiões do espaço de entrada.

Formalização: O problema é formulado como a busca por conjuntos de variáveis $\vec{X}$ (causas) e $\vec{W}$ (contingências) que satisfaçam a definição modificada de HP:
- AC1: A causa e o resultado ocorrem no contexto atual.
- AC2: Existe uma contingência $\vec{W}$ tal que intervir em $\vec{X}$ altera o resultado.
- AC3: O conjunto de causas $\vec{X}$ é mínimo.
  O SCM modela as dependências de características usando equações estruturais booleanas, enquanto a NN mapeia essas variáveis para uma predição.
Busca Baseada em Regiões: Em vez de enumerar intervenções e contingências individuais, o CausExBaB agrupa-as em regiões de entradas consistentes com o SCM. As variáveis são atribuídas papéis: causa (fixa para valores contrafatuais), contingência (fixa para valores atuais), natural (segue equações estruturais) ou indecidida.
Propagação de Limites: O algoritmo propaga limites sólidos através do SCM Booleano e da NN.
- Propagação do SCM: Equações estruturais booleanas são relaxadas em funções multilineares (ex: $AND(a,b) = ab$, $OR(a,b) = a+b-ab$) que são exatas em entradas booleanas. Isso permite o cálculo de limites de intervalo estreitos para variáveis endógenas baseados nos papéis de seus pais.
- Propagação da NN: Esses limites de características são propagados através da NN usando IBP para obter limites de saída sólidos $[\ell, h]$ .
Branch-and-Bound Pruning (Poda por Ramificação e Limite):
- Se o limite de saída $[\ell, h]$ estiver inteiramente dentro do conjunto de aceitação $S$ (o resultado ocorre para todas as entradas na região), a região é podada (nenhuma contingência pode falsificar o resultado).
- Se $[\ell, h]$ estiver inteiramente discrepante de $S$ (o resultado é falsificado para todas as entradas), a região é confirmada como uma testemunha de causalidade.
- Se os limites forem inconclusivos, a região é refinada dividindo uma variável indecidida em duas sub-regiões (resolvendo-a como natural ou contingência) e recorrendo.
Minimalidade e Completude: O algoritmo enumera conjuntos de causas candidatos por ordem crescente de tamanho. Ele poda qualquer candidato que seja um superconjunto de uma causa já encontrada, garantindo a minimalidade (AC3). Ele continua a busca após encontrar a primeira contingência testemunha para garantir que a contingência retornada tenha a cardinalidade mínima.

Principais Contribuições

Formalização: Os autores formalizam a explicação de NN sob dependências estruturadas de entrada como a computação de causas reais de HP sobre entradas restritas por SCM.
Algoritmo: Eles introduzem o CausExBaB, um algoritmo sólido e completo que retorna todas as causas reais mínimas e contingências de testemunha de cardinalidade mínima. Ele suporta a restrição da busca a causas de tamanho no máximo $k_{max}$ , preservando as garantias dentro desse limite.
Escalabilidade: O método escala para SCMs com até 28 nós e espaços de busca de até $2,3 \times 10^{13}$ pares (causa, contingência) dentro de um orçamento de 180 segundos, superando significativamente os basais de força bruta, ILP e busca heurística.
Validação Empírica: Através de benchmarks sintéticos e um estudo de caso sobre o Programa de Assistência Nutricional Suplementar (SNAP) dos EUA, os autores demonstram que ignorar as dependências de entrada infla o número de causas relatadas e introduz explicações espúrias.

Resultados Experimentais

Benchmarks Sintéticos: O CausExBaB supera substancialmente a enumeração de força bruta (BF), Programação Linear Inteira (ILP) e a busca heurística (ACI).
- Em grafos com 28 nós, o CausExBaB completou todas as execuções com um tempo mediano de 34,5s, enquanto o BF esgotou o tempo em 22 nós e o ILP falhou em 10 nós.
- Em 68,7% das instâncias, múltiplas causas mínimas existem, destacando a necessidade de um algoritmo que retorne o conjunto completo em vez de uma única testemunha.
Estudo de Caso (SNAP): Aplicado a um modelo que sinaliza famílias para revisões de erro de benefícios baseadas em regulamentações federais:
- O CausExBaas encontrou uma mediana de 23 causas mínimas por instância em 4,6 segundos.
- Os basais (ILP, ACI) esgotaram o tempo em 3/11 e 10/11 instâncias, respectivamente.
- Impacto das Dependências: Tratar as entradas como independentes (ignorando o SCM) mais do que dobrou a mediana de causas relatadas (de 23 para 50). Crucialmente, 14,9% das causas encontradas sob a suposição de independência eram espúrias quando verificadas contra o verdadeiro SCM, demonstrando que ignorar a estrutura causal leva a explicações inválidas.

Significância e Alegações
O artigo afirma que o CausExBaB fornece garantias formais de completude (encontrar todas as causas mínimas), minimalidade (tanto de causas quanto de contingências) e solidez (todas as causas relatadas são válidas sob o SCM). Argumenta-se que os métodos existentes ou carecem dessas garantias ou falham em escalar para tamanhos de problemas realistas. O trabalho destaca que considerar as dependências causais estruturadas não é meramente uma otimização, mas uma necessidade para a correção, pois ignorá-las pode produzir a maioria das explicações que são ou não mínimas ou inteiramente espúrias. Os autores posicionam isso como um passo em direção a uma IA confiável onde as explicações são fundamentadas nos mecanismos causais reais do domínio, em vez de apenas correlações estatísticas.

Mais como este