Bayesian Linear Models: A compact general set of results

Resumo Técnico: Modelos Lineares Bayesianos (BLM)

1. Problema e Contexto

O artigo aborda a necessidade de uma apresentação unificada, concisa e acessível dos resultados algébricos fundamentais para a inferência Bayesiana em Modelos Lineares (BLM). Embora os detalhes sobre distribuições conjugadas (Normal-Gama), previsões e seleção de modelos estejam dispersos em diversos livros-texto, o autor identifica a falta de uma referência geral que cubra de forma compacta:

• A derivação da distribuição posterior conjugada.
• A inclusão de observações correlacionadas (covariância $\Sigma$ não diagonal), o que é crucial para séries temporais e estatística espacial.
• A implementação computacional eficiente desses cálculos.
• A conexão entre modelos lineares gerais, processos Gaussianos (GP) e Modelos Lineares Dinâmicos Bayesianos (DLM).

O objetivo é fornecer uma "caixa de ferramentas" algébrica completa que permita a derivação de casos particulares (como regressão simples, GP e DLM) a partir de uma estrutura geral.

2. Metodologia

A metodologia baseia-se na álgebra matricial rigorosa e nas propriedades de distribuições multivariadas para derivar a distribuição posterior conjunta e marginal.

• O Modelo:
  Considera-se o modelo linear $Y = X\theta + \epsilon$, onde $\epsilon \sim N_n(0, \lambda^{-1}\Sigma)$.

  • $Y$: Vetor de respostas ($n \times 1$).
  • $X$: Matriz de design ($n \times p$).
  • $\theta$: Vetor de parâmetros desconhecidos ($p \times 1$).
  • $\Sigma$: Matriz de covariância conhecida (permitindo correlação entre observações).
  • $\lambda$: Parâmetro de precisão (escalar) desconhecido.

• A Priori Conjugada (Normal-Gama):

  • Condicional a $\lambda$, $\theta \sim N_p(\theta_0, \lambda^{-1}A_0^{-1})$.
  • $\lambda \sim Ga(\alpha_0, \beta_0)$ (Gama com parâmetros de forma e taxa).

• Derivação da Posterior:
  O autor expande as formas quadráticas no expoente da função de verossimilhança combinada com a priori. Utilizando o Lema de Sherman-Woodbury-Morrison e o Lema do Determinante de Matriz, ele demonstra que a posterior conjunta $\pi(\theta, \lambda | y)$ mantém a forma Normal-Gama, com novos parâmetros $(\theta_n, A_n, \alpha_n, \beta_n)$.

• Cálculos Chave:

  • Precisão Posterior ($A_n$): $A_n = A_0 + X'AX$, onde $A = \Sigma^{-1}$.
  • Média Posterior ($\theta_n$): Uma média ponderada entre a priori e a estimativa de máxima verossimilhança (MLE).
  • Parâmetro de Taxa ($\beta_n$): Derivado de três formas equivalentes, sendo a mais útil para interpretação:
    $$\beta_n = \beta_0 + \frac{1}{2} \left[ (y - X\theta_n)'A(y - X\theta_n) + (\theta_0 - \theta_n)'A_0(\theta_0 - \theta_n) \right]$$
    O primeiro termo representa a soma dos quadrados dos resíduos ponderados; o segundo, a penalização pela discrepância entre a priori e a posterior.

• Distribuições Marginais e Preditivas:

  • A marginal de $\lambda$ é Gama.
  • A marginal de $\theta$ (ou de combinações lineares $T\theta$) é uma distribuição t-Student multivariada.
  • A distribuição preditiva para novas observações $Z$ também segue uma distribuição t-Student multivariada, incorporando a incerteza tanto de $\theta$ quanto de $\lambda$.

3. Contribuições Principais

1. Generalidade com Correlação: Diferente de muitos textos introdutórios que assumem $\Sigma = I$ (dados independentes), este trabalho trata explicitamente o caso onde $\Sigma$ é uma matriz de covariância arbitrária (positiva definida). Isso torna os resultados diretamente aplicáveis a séries temporais e dados espaciais.
2. Unificação de Casos Especiais: O artigo demonstra como Regressão Linear, Processos Gaussianos (GP) e Modelos Dinâmicos Lineares (DLM) são casos particulares deste modelo geral, simplificando a transição entre eles.
3. Eficiência Computacional:
   • Apresenta estratégias para evitar o cálculo direto de determinantes de matrizes $n \times n$ (onde $n \gg p$) usando o Lema do Determinante e a decomposição de Cholesky.
   • Sugere o uso de decomposições de Cholesky para a matriz de precisão $A$ e para a matriz $A_n$, facilitando a inversão e a solução de sistemas lineares.
4. Implementação Prática: O autor fornece uma classe Python (BLM) disponível no GitHub, que implementa todas as fórmulas derivadas, incluindo exemplos de regressão e Processos Gaussianos.

4. Resultados e Ilustrações

O artigo valida a teoria através de exemplos numéricos e gráficos:

• Regressão Polinomial: Simulação de dados com ruído onde se ajusta polinômios de graus variados ($p=1$ a $6$). O modelo calcula a probabilidade posterior de cada modelo, demonstrando a seleção de variáveis baseada na evidência do modelo (marginal likelihood).
• Processos Gaussianos (GP):
  • Demonstra o uso da distribuição preditiva t-Student para interpolação.
  • Mostra como a inclusão de um "nugget" (ruído de medição) na covariância transforma o interpolador perfeito (variância zero nos pontos observados) em um suavizador.
• Visualização: Os gráficos mostram o ajuste MAP (Maximum A Posteriori), as distribuições marginais t dos parâmetros e as probabilidades posteriores dos modelos, validando a coerência dos resultados teóricos.

5. Significado e Impacto

Este trabalho é significativo por oferecer uma referência "compacta e geral" que preenche a lacuna entre a teoria abstrata e a implementação prática em cenários complexos.

• Para Estatísticos e Cientistas de Dados: Fornece as fórmulas exatas para lidar com dados correlacionados sem recorrer a aproximações assintóticas (como BIC), permitindo comparação de modelos via evidência marginal exata.
• Para Aprendizado de Máquina: A conexão explícita com Processos Gaussianos e a implementação em Python facilitam a adoção de métodos Bayesianos em tarefas de previsão e interpolação espacial/temporal.
• Pedagógico: A estrutura passo-a-passo das derivações algébricas serve como um excelente recurso didático para entender a mecânica por trás da inferência Bayesiana linear.

Em suma, o artigo consolida o conhecimento disperso sobre Modelos Lineares Bayesianos em um único framework matemático robusto, pronto para implementação computacional eficiente.