Causal Neural Probabilistic Circuits

O artigo propõe o Circuito Probabilístico Neural Causal (CNPC), um modelo que integra um preditor neural de atributos com um circuito probabilístico causal para realizar inferência exata e respeitar dependências causais durante intervenções, superando as limitações dos Modelos de Garrafa de Conceito (CBMs) tradicionais e alcançando maior precisão em tarefas de classificação.

O essencial

Imagine que você tem um médico de inteligência artificial (IA) muito inteligente, mas que às vezes comete erros bobos. Ele olha para uma radiografia e diz: "O paciente tem pneumonia". Mas, e se ele estiver errado sobre um detalhe específico, como "o paciente tem febre"?

Aqui entra o conceito de Modelos de Gargalo de Conceitos (CBMs). A ideia é fazer a IA explicar seu raciocínio passo a passo, como um médico humano:

1. Ela identifica conceitos: "Tem febre?", "Tem tosse?", "A radiografia está escura?".
2. Com base nesses conceitos, ela decide o diagnóstico final.

A grande vantagem é que, se um especialista humano (um médico real) disser: "Ei, esse paciente não tem febre, você errou aqui!", a IA pode corrigir apenas aquele ponto e dar um novo diagnóstico. Isso é chamado de intervenção.

O Problema: O Efeito Dominó

O problema é que, na maioria desses sistemas atuais, quando você corrige um conceito (ex: "sem febre"), a IA apenas troca esse número e ignora o resto. Ela não entende que, na vida real, as coisas estão conectadas.

Pense em um jogo de dominó ou em uma rede de amigos:

• Se você sabe que alguém fuma, a chance de ter câncer de pulmão aumenta.
• Se você corrige a informação de que a pessoa "não fuma", a IA deveria automaticamente diminuir a chance de câncer de pulmão, certo?
• Mas os sistemas antigos não fazem isso. Eles tratam cada conceito como se estivesse isolado em uma bolha. Eles não veem o "efeito dominó" causal.

A Solução: O CNPC (O Detetive Causal)

Os autores deste paper criaram algo chamado Causal Neural Probabilistic Circuit (CNPC). Vamos usar uma analogia para entender como funciona:

Imagine que a IA é composta por dois especialistas trabalhando juntos:

1. O Especialista Visual (Rede Neural): Ele olha a foto e diz: "Parece que o paciente tem febre e tosse". Ele é ótimo em ver padrões, mas pode se confundir se a foto estiver borrada ou estranha.
2. O Especialista Lógico (Circuito Probabilístico Causal): Ele não olha a foto. Ele tem um mapa de conexões (um gráfico causal) desenhado no papel. Ele sabe as regras do mundo: "Se fuma, então risco de câncer sobe". Ele é infalível nas regras, mas não vê a foto.

Como eles trabalham juntos (O "PoE"):
Quando você faz uma intervenção (o médico diz: "O paciente NÃO fuma"), o sistema CNPC faz algo mágico:

• Ele pega a opinião do Especialista Visual (que pode estar confuso se a foto for ruim).
• Ele pega a opinião do Especialista Lógico (que sabe exatamente o que acontece quando alguém para de fumar, baseado no mapa de regras).
• Ele mistura as duas opiniões com um "peso" (como uma receita de bolo).

Se a foto está perfeita, ele confia mais no Visual. Se a foto está estranha (como uma imagem girada ou com ruído), ele confia mais no Lógico e nas regras de causa e efeito.

Por que isso é incrível?

O papel mostra que, em situações normais, esse novo sistema funciona tão bem quanto os antigos. Mas, em situações difíceis (quando a IA é enganada por imagens distorcidas ou ataques maliciosos), o CNPC brilha.

• Analogia do GPS: Se você está dirigindo e o GPS (a IA visual) diz "vire à direita" porque a estrada está coberta de neve (dado ruim), mas você sabe (pelo mapa mental/causal) que não há estrada à direita, você ignora o GPS e segue seu conhecimento. O CNPC faz exatamente isso: ele usa o "mapa mental" das relações de causa e efeito para corrigir os erros da "visão" da IA.

Resumo em uma frase

O CNPC é um sistema de IA que combina a capacidade de "ver" de uma rede neural com a capacidade de "raciocinar" sobre causas e efeitos de um especialista humano, permitindo que correções feitas por humanos se espalhem corretamente por todo o diagnóstico, tornando a IA mais inteligente, segura e confiável, especialmente quando as coisas dão errado.

Resumo técnico

Resumo Técnico: Causal Neural Probabilistic Circuits (CNPC)

1. O Problema

Os Modelos de Gargalo de Conceitos (CBMs - Concept Bottleneck Models) são uma arquitetura projetada para melhorar a interpretabilidade de redes neurais profundas. Eles operam em duas etapas: primeiro, um preditor neural infere conceitos humanos compreensíveis a partir da entrada; segundo, um preditor de rótulo (geralmente linear) mapeia esses conceitos para a classe final. Uma vantagem crucial dos CBMs é a capacidade de intervenção: especialistas de domínio podem corrigir valores de conceitos previstos incorretamente durante o teste para melhorar a precisão final.

No entanto, os CBMs tradicionais possuem uma falha fundamental ao realizar intervenções:

• Ignorância de Dependências Causais: Quando um especialista corrige um conceito (ex: "o paciente fuma"), os CBMs padrão apenas sobrescrevem esse valor, deixando as previsões dos outros conceitos inalteradas.
• Consequência: Isso ignora as dependências causais entre os conceitos. Por exemplo, corrigir o conceito "fuma" deveria aumentar a probabilidade de "câncer de pulmão" e possivelmente alterar a inferência de outros conceitos relacionados. A falta de propagação da intervenção através da estrutura causal limita a eficiência e a precisão das correções, especialmente em cenários onde o preditor neural original falha (fora da distribuição de dados).

2. Metodologia: Causal Neural Probabilistic Circuits (CNPC)

O CNPC propõe uma nova arquitetura que combina a flexibilidade de aprendizado de uma rede neural com a inferência causal exata e tratável de Circuitos Probabilísticos (PCs).

Componentes Principais:

1. Preditor de Atributos Neural: Uma rede neural (MLP) que prevê a distribuição de probabilidade de $K$ atributos (conceitos) a partir da entrada $X$.
2. Circuito Probabilístico Causal (Causal PC): Um circuito compilado a partir de um grafo causal conhecido (que define as relações entre atributos e o rótulo de classe). Este circuito permite inferência probabilística e causal exata e tratável (tempo linear no tamanho do circuito).

Mecanismo de Intervenção (Product of Experts - PoE):
O grande desafio é calcular a distribuição de atributos sob intervenção ($P_{do}(A|X)$), o que geralmente é intratável em CBMs padrão. O CNPC resolve isso aproximando essa distribuição usando um Product of Experts (PoE) que funde duas fontes de informação:

• Especialista 1 (Neural): A distribuição prevista pelo preditor neural, mas com o(s) atributo(s) intervenido(s) "amarrado(s)" (clamped) à sua distribuição verdadeira (ground-truth).
• Especialista 2 (Causal): A distribuição marginal intervencional calculada exatamente pelo Circuito Probabilístico Causal, que captura como a intervenção em um nó afeta os outros nós na estrutura causal.

A aproximação é dada por:
$$\tilde{P}_{do}(A|X) \propto [P_{neural}(A|X)]^{1-\alpha} \cdot [P_{causal}(A)]^{\alpha}$$
Onde $\alpha \in [0, 1]$ é um peso de balanceamento.

• Se $\alpha = 0$, o modelo reduz-se a um CBM padrão (ou NPC).
• Se $\alpha$ é alto, o modelo confia mais na estrutura causal para propagar a intervenção.

Finalmente, a distribuição da classe é calculada combinando essa aproximação de atributos com a distribuição condicional da classe dada pelos atributos (calculada pelo PC).

3. Contribuições Chave

1. Arquitetura Híbrida (CNPC): Propõe a primeira integração de um preditor neural com um Circuito Probabilístico compilado a partir de um grafo causal para suportar inferência causal exata e tratável em modelos de gargalo de conceitos.
2. Abordagem PoE para Intervenção: Desenvolve um método teórico para aproximar a distribuição de atributos intervencionais, superando a limitação de ignorar dependências causais nos CBMs tradicionais.
3. Análise Teórica de Erro:
   • Estabelece limites superiores para o erro de previsão composicional do CNPC e do NPC (Neural Probabilistic Circuits).
   • Demonstra teoricamente que, sob certas condições (especialmente quando o preditor neural é impreciso ou a margem intervencional é próxima da verdade), o CNPC se aproxima mais da distribuição de classe intervencional verdadeira do que os modelos base.
4. Validação Empírica Robusta: Avaliação em cinco conjuntos de dados (incluindo Asia, Sachs, MNISTAdd, cMNISTAdd e CelebA) sob cenários in-distribution e out-of-distribution (OOD).

4. Resultados Experimentais

Os experimentos compararam o CNPC com cinco modelos de base (Vanilla CBM, CEM, SCBM, C2BM, NPC) em quatro cenários:

• Cenário Benigno (In-Distribution): O CNPC performou de forma similar ou ligeiramente superior aos baselines, demonstrando que a incorporação causal não prejudica o desempenho quando o preditor neural é confiável.
• Transformações de Dados Não Vistas (OOD): O CNPC superou significativamente todos os baselines. Em cenários onde a precisão dos atributos do preditor neural caiu drasticamente (ex: rotação de 180 graus), a capacidade do CNPC de usar a estrutura causal para corrigir previsões resultou em ganhos de precisão de até 24% em relação ao segundo melhor modelo.
• Perturbações Adversariais: O CNPC manteve alta eficiência na utilização de intervenções, recuperando o desempenho da tarefa mesmo quando o preditor neural foi corrompido por ataques PGD.
• Correlações Espúrias (cMNISTAdd): O modelo demonstrou robustez contra correlações espúrias, superando os baselines ao utilizar a estrutura causal para ignorar dependências não causais.

Observação sobre o parâmetro $\alpha$:

• Em cenários benignos, um $\alpha$ baixo (ex: 0.1) é ideal, pois confia mais no preditor neural.
• Em cenários OOD, um $\alpha$ alto (ex: 0.9) é crucial, pois a estrutura causal corrige os erros do preditor neural.

5. Significado e Impacto

O trabalho do CNPC é significativo por várias razões:

• Eficiência de Intervenção: Resolve o problema de como propagar corretamente correções humanas em modelos de IA, tornando as intervenções mais eficazes e menos custosas (menos correções necessárias para atingir alta precisão).
• Robustez em Cenários Críticos: Oferece uma solução prática para aplicações de alto risco (como diagnóstico médico), onde os dados de teste podem divergir dos dados de treinamento (OOD) e onde a confiança do especialista humano é vital.
• Integração Neuro-Simbólica: Demonstra uma maneira prática e teoricamente fundamentada de combinar aprendizado profundo (para extração de características) com raciocínio causal simbólico (para inferência e correção), superando a "caixa preta" tradicional sem sacrificar totalmente a capacidade de aprendizado de dados.

Em resumo, o CNPC avança o estado da arte em modelos interpretáveis, transformando a intervenção de uma simples correção pontual em um processo de raciocínio causal estruturado.