Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Resumo Técnico: Aprendizado de Estrutura de DAGs Bayesiano Adaptativo com Prior Não Conjugado

Definição do Problema
O artigo aborda o desafio de aprender a estrutura de Grafos Acíclicos Dirigidos (DAGs) dentro de uma estrutura Bayesiana, especificamente para modelos Gaussianos de DAG. Embora os DAGs sejam ferramentas poderosas para representar independências condicionais e relações causais, determinar a estrutura de grafo ideal é computacionalmente intensivo e estatisticamente incerto. As abordagens Bayesianas tradicionais frequentemente dependem de priors conjugados, como a distribuição Normal-Inversa-Gamma (NIG), para facilitar a tratabilidade analítica. No entanto, os autores argumentam que esses priors conjugados podem nem sempre proporcionar a maior probabilidade posterior ou o aprendizado estrutural mais preciso, particularmente no que diz respeito à inclusão de nós e arestas no modelo gerador. O objetivo principal é desenvolver um método que aumente a probabilidade posterior e a eficiência computacional, mantendo a adaptabilidade no aprendizado de estrutura.

Metodologia
Os autores propõem uma nova abordagem de aprendizado de estrutura Bayesiana utilizando um prior Normal-Gamma (NG) não conjugado para os parâmetros de DAGs Gaussianos.

1. Formulação do Modelo:

   • A distribuição conjunta das variáveis é modelada como um DAG Gaussiano de média zero, reparametrizado via uma decomposição de Cholesky modificada ($\Omega = L D^{-1} L^T$).
   • Os parâmetros consistem nos elementos diagonais $D_{jj}$ (variâncias condicionais) e nos coeficientes de regressão triangulares inferiores $L_{\\prec j]}$.
   • Ao contrário da abordagem NIG padrão, onde $D_{jj}$ segue uma distribuição Inversa-Gamma, o método proposto atribui a $D_{jj}$ uma distribuição Gamma ($\Gamma$), mantendo uma distribuição Normal para $L_{\\prec j]}$ condicional a $D_{jj}$.

2. Derivação Teórica:

   • Os autores derivam a verossimilhança marginal e as funções de densidade posterior conjunta para os parâmetros do nó sob este prior não conjugado.
   • Um resultado teórico fundamental envolve o aparecimento da função de Bessel de terceira espécie ($K_\nu$) nas expressões de densidade posterior e marginal. Esta propriedade matemática permite o cálculo de probabilidades posteriores sem as simplificações analíticas tipicamente proporcionadas pela conjugação.

3. Algoritmo MCMC:

   • Para realizar a inferência posterior, um esquema de Monte Carlo via Cadeias de Markov (MCMC) é desenvolvido.
   • O algoritmo explora o espaço de DAGs ($S_q$) usando operadores locais: inserção, deleção e reversão de arestas direcionadas, garantindo que o grafo resultante permaneça acíclico.
   • A probabilidade de aceitação para a transição entre DAGs é calculada usando as verossimilhanças marginais derivadas (Teorema 1) e a probabilidade a priori de inclusão de arestas.
   • As distribuições condicionais completas para os parâmetros são amostradas em cada iteração para atualizar a estrutura do grafo e os parâmetros simultaneamente.

Principais Contribuições

• Implementação de Prior Não Conjugado: O artigo introduz o uso de um prior Normal-Gamma para DAGs Gaussianos, afastando-se da estrutura conjugada Normal-Inversa-Gamma padrão.
• Eficiência Computacional via Funções de Bessel: Contrariando a intuição de que priors não conjugados aumentam o fardo computacional, os autores demonstram que a utilização da função de Bessel no cálculo da posterior resulta em uma computação MCMC mais rápida em comparação ao modelo NIG conjugado.
• Esparsidade Adaptativa: O método proposto exibe um comportamento "cauteloso" ou conservador em relação à inclusão de arestas. Ele tende a incluir arestas apenas quando a probabilidade de inclusão é alta, levando a DAGs mais esparsos quando a probabilidade a priori de inclusão de arestas é baixa.
• Maior Probabilidade Posterior: O estudo afirma que o prior NG proposto produz uma probabilidade posterior maior para o DAG de Máxima Probabilidade a Posteriori (MAP) em comparação ao prior NIG.

Resultados
A metodologia foi avaliada através de estudos de simulação e uma aplicação no mundo real:

1. Estudos de Simulação:

   • Métricas de Desempenho: O modelo NG foi comparado ao modelo NIG através de vários tamanhos de amostra ($n=200, 300$) e contagens de nós ($q=40, 50$).
   • Precisão: O modelo NG demonstrou desempenho superior em Especificidade (SP), Taxa de Falso Negativo (FNR), Taxa de Erro de Especificação (MISR) e Acurácia (AC).
   • Compromisso de Sensibilidade: O modelo NG apresentou menor Sensibilidade (SE) e F1-scores em comparação ao NIG. Os autores atribuem isso à natureza conservadora do modelo; com uma baixa probabilidade a priori de inclusão de arestas, o modelo NG produz menos verdadeiros positivos, resultando em menor sensibilidade, mas maior especificidade.
   • Tempo Computacional: O tempo de computação por iteração para o modelo NG foi geralmente inferior ao do modelo NIG, mesmo conforme o número de variáveis e o tamanho da amostra aumentavam. A inclusão da função de Bessel não introduziu atrasos computacionais significativos.

2. Análise de Dados de AML:

   • O método foi aplicado a um conjunto de dados de pacientes com Leucemia Mieloide Aguda (AML) ($n=68, q=18$ proteínas).
   • Convergência: Gráficos de traço (trace plots) indicaram boa mistura (mixing) e convergência do MCMC.
   • Probabilidade Posterior: A probabilidade posterior do DAG MAP estimado pelo modelo NG foi de 0,769, significativamente maior que os 0,0016 obtidos pelo modelo NIG.
   • Estimativas Estruturais: Tanto o Modelo de Probabilidade Mediana (MPM) quanto as estimativas MAP foram gerados, mostrando capacidades consistentes de aprendizado de estrutura.

Significância e Alegações
O artigo afirma que a proposta abordagem de aprendizado de estrutura Bayesiana adaptativa oferece uma alternativa robusta aos tradicionais priors conjugados. Ao empregar um prior Normal-Gamma não conjugado, o método alcança:

• Maior Probabilidade Posterior: O DAG MAP resultante tem uma probabilidade posterior substancialmente maior, sugerindo um melhor ajuste ao processo gerador de dados.
• Vantagem Computacional: Apesar da complexidade teórica da não-conjugação, o método é computacionalmente mais rápido que a abordagem NIG conjugada.
• Adaptabilidade: O modelo adapta-se à estrutura real ao ser conservador na inclusão de arestas, filtrando efetivamente relações espúrias quando o prior sugere baixa densidade de arestas.

Os autores concluem que esta técnica possui potenciais aplicações em descoberta causal e estimação, fornecendo uma ferramenta mais precisa e eficiente para descobrir dependências de variáveis em cenários multivariados.