Resumo Técnico: Descoberta de Abstrações Causais Não Supervisionadas

Definição do Problema

O artigo aborda o desafio de descobrir abstrações causais de alto nível diretamente de medições de baixo nível sem depender de hipóteses propostas por especialistas. Enquanto o trabalho existente em interpretabilidade mecanística e abstração causal segue majoritariamente um paradigma de teste de hipóteses — onde um especialista propõe um candidato a Modelo Estrutural Causal (SCM) de alto nível para verificar se um sistema de baixo nível (por exemplo, uma Rede Neural Profunda) o implementa — essa abordagem é custosa e inviável para sistemas que não são totalmente compreendidos. Os autores visam resolver o problema complementar: aprender um SCM de alto nível diretamente de observações de baixo nível de maneira não supervisionada.

Metodologia

Estrutura Teórica: Factor DAGs e Estrutura de Baixo Rank

Os autores utilizam o conceito de Factor Directed Acyclic Graphs (f-DAGs), uma família de modelos onde as variáveis de baixo nível são parametrizadas por um pequeno número de fatores latentes. Isso baseia-se na suposição de que a matriz de adjacência $A$ do grafo causal de baixo nível exibe uma estrutura de baixo rank (especificamente, rank booleano $m < n$).

• Fatoração: A matriz de adjacência de baixo nível $A$ é decomposta em $A = Q \diamond R^\top$, onde $Q$ representa as arestas das variáveis observadas para os fatores latentes ($X \to Z$) e $R$ representa as arestas dos fatores de volta para as variáveis ($Z \to X$).
• Abstração Causal: Os autores formalizam a relação entre o SCM de baixo nível ($L$) e o SCM de alto nível ($H$) sobre os fatores latentes. Eles provam que, se o sistema de baixo nível for gerado por um f-SCM, o SCM colapsado sobre os fatores constitui uma transformação uniforme do SCM de baixo nível. Isso significa que o modelo de alto nível preserva o comportamento intervencional do sistema de baixo nível sob mapas de estado e intervenção específicos.

Identificabilidade e a Suposição de Âncora (Anchor Assumption)

Uma contribuição crítica é estabelecer as condições sob as quais esses fatores latentes são identificáveis.

• A Suposição de Âncora: Inspirados pela modelagem de tópicos, os autores introduzem a condição de "âncora". Para cada fator latente $Z$, deve existir pelo menos uma âncora de entrada (uma variável de baixo nível $X$ que é filha apenas de $Z$) e uma âncora de saída (uma variável de baixo nível $X$ que é mãe apenas de $Z$).
• Resultados de Identificabilidade: Sob esta suposição (juntamente com suposições padrão de suficiência causal e fidelidade/faithfulness), os autores provam:
  1. A fatoração booleana da matriz de adjacência é única até uma permutação de fatores.
  2. Os mecanismos do f-SCM são identificáveis até transformações simples de reparametrização (especificamente transformações afins, se os mecanismos forem lineares).

Implementação Prática: UCAD

Os autores propõem um algoritmo prático, Unsupervised Causal Abstractions Discovery (UCAD), que formula o problema de aprendizagem como uma tarefa de otimização com restrições.

• Objetivo: O modelo maximiza a verossimilhança dos dados observados sob um modelo de grafo parametrizado enquanto satisfaz restrições específicas.
• Restrições:
  1. Acyclicidade (CDAG): Impõe que o grafo aprendido seja um DAG, adaptado para a estrutura de baixo rank para garantir a triangularidade superior em blocos em sistemas em camadas.
  2. Âncoras (Canchors): Impõe a existência de âncoras de entrada e de saída para cada fator para garantir a identificabilidade.
  3. Esparsidade: Uma restrição $L_1$ para evitar o sobreajuste (overfitting).
• Transformação Aproximada: O objetivo de aprendizagem é vinculado ao objetivo teórico via um limite de "transformação aproximada". Os autores mostram que minimizar o objetivo de aprendizagem (log-verossimilhança negativa) limita linearmente o erro na aproximação da abstração causal de alto nível.

Resultados Principais

Experimentos Sintéticos

Os autores validaram o UCAD em f-SCMs sintéticos com diferentes complexidades (mecanismos lineares/não lineares, estruturas em camadas/não em camadas, níveis de ruído).

• Recuperação de Latentes: O método recuperou com sucesso os fatores latentes reais. Quando os mecanismos eram lineares, o Coeficiente de Correlação Média (MCC) entre os fatores aprendidos e os reais atingiu uma média de 0,83.
• Casos Não Lineares: Em cenários totalmente não lineares, o MCC (Pearson) caiu (como esperado devido a transformações bijétivas arbitrárias), mas o Coeficiente de Dependência Aleatória (MCC-RDC) permaneceu alto (0,70–0,79), indicando a recuperação bem-sucedida da estrutura subjacente até uma reparametrização não linear.
• Robustez: O desempenho foi amplamente invariante ao número de variáveis (16–128) e fatores (3–8).

Interpretabilidade de Redes Neurais

O método foi aplicado a uma Rede Neural Profunda (MLP) treinada para resolver uma tarefa de divisibilidade por 6.

• Recuperação de Conceitos: O modelo identificou com sucesso fatores correspondentes aos conceitos intuitivos de divisibilidade por 2 ($c_2$) e divisibilidade por 3 ($c_3$).
• Métricas: Os fatores aprendidos mostraram um forte alinhamento com os conceitos hipotetizados (MCC-RDC de 0,72 para conceitos positivos) em comparação com controles negativos (primos irrelevantes), que apresentaram alinhamento próximo de zero (0,07).
• Descobertas Específicas: Um fator aprendido mostrou uma correlação de Pearson de 0,80 com o conceito de divisibilidade por 2, sugerindo que a rede implementa consistentemente essa lógica.

Significância e Alegações

O artigo afirma fornecer o primeiro framework teórico e prático para a descoberta não supervisionada de abstrações causais a partir apenas de dados de baixo nível.

• Contribuição Teórica: Ele une a descoberta causal de baixo rank com a teoria de abstração causal, provando que suposições de baixo rank induzem naturalmente abstrações de alto nível válidas. Estabelece que a "suposição de âncora" é suficiente para tornar esses fatores latentes identificáveis até uma equivalência trivial.
• Contribuição Prática: Traduz essas garantias teóricas em um objetivo de aprendizagem diferenciável (UCAD) que pode ser aplicado a sistemas do mundo real, como DNNs.
• Modéstia: Os autores reconhecem limitações, observando que a abordagem atual requer o conhecimento do número de fatores latentes e que escalar para sistemas maiores e mais complexos (ex: grandes modelos de linguagem) requer mais pesquisa em otimização. Eles também observam que, embora o método identifique fatores, interpretar as heurísticas específicas aprendidas por DNNs continua sendo um desafio, pois um baixo acordo com um conceito pode indicar uma estratégia subjacente diferente em vez de uma falha do método.

O trabalho posiciona-se como um passo em direção à automação da descoberta de estruturas causais de alto nível em sistemas complexos, indo além da dependência da intuição do especialista para a geração de hipóteses.