Resumo Técnico: Probabilidades A Priori Objetivas para Modelos em Seleção de Variáveis

Autores: James Berger, Gonzalo García-Donato, Elias Moreno e Luis Pericchi.
Contexto: O artigo aborda o problema da seleção de variáveis em modelos bayesianos, focando especificamente na definição de probabilidades a priori objetivas para modelos ($Pr(M_\gamma)$) quando o espaço de modelos é vasto (comum em genômica e outras áreas de "big data").

1. O Problema

Na análise de incerteza de modelos bayesiana, a escolha da distribuição a priori sobre o conjunto de modelos possíveis é crítica. Historicamente, duas abordagens "objetivas" foram predominantes, mas ambas apresentam falhas graves em espaços de modelos grandes ($k$ variáveis):

1. Probabilidades Uniformes: Atribuem probabilidade igual a todos os $2^k$ modelos ($2^{-k}$).
   • Falha: Isso implica que a probabilidade a priori de incluir cerca de metade das variáveis ($k/2$) é extremamente alta. Em cenários com milhares de variáveis (ex: genes), isso favorece modelos excessivamente complexos, falhando no controle de multiplicidade e indo contra a intuição científica de parcimônia.
2. Probabilidades de Jeffreys: Baseiam-se na ideia de que o tamanho do modelo ($d$) tem probabilidade uniforme $1/(k+1)$, dividida igualmente entre os modelos de tamanho $d$.
   • Falha: Embora imponha algum controle de multiplicidade, atribui a mesma probabilidade a priori ao modelo nulo e ao modelo completo. Isso pode levar a resultados absurdos onde o modelo completo é selecionado como o de maior probabilidade a posteriori, mesmo sem suporte científico forte, simplesmente porque tem a maior probabilidade a priori entre os modelos grandes.

Objetivo do Artigo: Identificar e estudar alternativas objetivas que incorporem parcimônia necessária (penalizando modelos grandes) sem ser excessivamente restritivas, mantendo a objetividade.

2. Metodologia

Os autores analisam o problema no contexto do Modelo Linear Geral.

• Estrutura: Seja $\gamma$ um vetor binário indicando quais das $k$ variáveis estão incluídas. O modelo $M_\gamma$ é definido por $y = X_0\beta_0 + X_\gamma\beta_\gamma + \sigma\epsilon$.
• Fator de Bayes: Utilizam priors intrínsecos (derivados em trabalhos anteriores) para calcular o Fator de Bayes ($B_\gamma$) entre um modelo $M_\gamma$ e o modelo nulo $M_0$.
• Probabilidade Posterior: $Pr(M_\gamma | y) \propto B_\gamma Pr(M_\gamma)$.
• Abordagem Comparativa:
  1. Numérica: Avaliação através de simulações e de um conjunto de dados real (estudo de obesidade infantil com $k=47$ variáveis). Comparam-se o Modelo de Maior Probabilidade Posterior (HPM) e o Modelo de Probabilidade Média (MPM).
  2. Teórica: Análise assintótica do comportamento das probabilidades a priori para $k$ grande, focando na distribuição de massa sobre o tamanho do modelo $M(d)$ e na probabilidade de inclusão de variáveis individuais.

3. Contribuições Principais: Novas Alternativas Objetivas

O artigo propõe e avalia seis novas escolhas de probabilidades a priori, além de revisar as existentes:

1. Prior Harmônico (Harmonic): Atribui probabilidade proporcional a $(1+d)^{-1}$ para modelos de tamanho $d$. É uma escolha natural que decai lentamente, sendo quase tão objetiva quanto possível.
2. Prior CMG: Baseia-se em uma mistura de Poisson com um prior intrínseco para o parâmetro de taxa. É extremamente parcimonioso.
3. Prior Jeffreys "Half-p": Assume que a probabilidade de inclusão $p$ segue uma distribuição Uniforme em $[0, 0.5]$. Isso penaliza modelos grandes mais severamente que o Jeffreys original.
4. Prior Jeffreys "Half-k": Uma versão suavizada que aplica a distribuição de Jeffreys apenas para tamanhos de modelo até $k/2$ (ou $(k-1)/2$) e distribui o restante da massa de forma contínua, evitando descontinuidades.
5. Prior Beta(1, 2): Assume uma distribuição Beta(1, 2) para a probabilidade de inclusão $p$. É uma escolha simples e parcimoniosa.
6. Prior Beta Hierárquico: Assume uma hierarquia onde o parâmetro $\alpha$ da Beta(1, $\alpha$) tem uma prior plana própria. Resulta em uma distribuição de $p$ complexa, mas com propriedades desejáveis de parcimônia suave.

O artigo também discute escolhas "excessivamente parcimoniosas" (como o Matryoshka doll prior) que não são consideradas objetivas por penalizarem demais a complexidade.

4. Resultados

Comparação Numérica (Exemplo de Obesidade, $k=47$)

• Uniforme e Jeffreys: Confirmaram-se inadequados. O prior de Jeffreys selecionou o modelo completo (47 variáveis) como o HPM, um resultado cientificamente implausível. O Uniforme manteve probabilidades de inclusão altas para a maioria das variáveis.
• Prior Harmônico: Surpreendentemente, também selecionou o modelo completo como HPM, sugerindo que não é suficientemente parcimonioso para este caso específico.
• Prior CMG: Foi excessivamente parcimonioso, eliminando quase todos os modelos com mais de 14 variáveis e resultando em probabilidades de inclusão muito baixas.
• Half-p, Half-k, Beta(1,2) e Hierárquico: Produziram modelos mais razoáveis (entre 8 e 12 variáveis).
• Estabilidade do MPM: O Modelo de Probabilidade Média (MPM) mostrou-se notavelmente estável entre a maioria dos priors (diferindo em no máximo 2 variáveis), exceto pelo CMG. Isso reforça a literatura que favorece o MPM sobre o HPM para seleção de variáveis.

Comparação Teórica e Assintótica

• Parcimônia: Os priors Half-p e Half-k são os únicos que garantem que a probabilidade a priori de um modelo individual não aumente com o tamanho do modelo (parcimônia estrita), mas eles "matam" (probabilidade zero) modelos muito grandes, o que pode ser indesejável.
• Probabilidade de Inclusão de Variáveis:
  • Uniforme e Jeffreys: $Pr(x_j) = 0.5$ (não parcimonioso).
  • Beta(1,2): $Pr(x_j) \approx 1/3$.
  • Hierárquico e Harmônico: $Pr(x_j)$ decai com $k$ (aprox. $0.22$e$\approx 1/\log(k)$ respectivamente).
  • CMG: Decai rapidamente ($\approx 3/2k$).
• Comportamento de $M(d)$ (Massa total por tamanho): O prior Harmônico e o Hierárquico Beta mostraram o melhor equilíbrio teórico, atribuindo peso significativo a modelos pequenos, mas não eliminando totalmente modelos grandes. O Beta(1,2) também se destacou pela simplicidade e desempenho razoável.

5. Significado e Conclusões

O artigo conclui que não existe uma única solução "perfeita" e objetiva para todos os cenários, mas oferece diretrizes claras:

1. Rejeição Total: As probabilidades Uniformes e de Jeffreys originais são inaceitáveis para seleção de variáveis em espaços grandes devido à falta de parcimônia.
2. Excesso de Restrição: O prior CMG é considerado excessivamente parcimonioso para ser classificado como "objetivo" em muitos contextos.
3. Melhores Candidatos:
   • Prior Harmônico: Possui qualidades admiráveis e é uma boa escolha se se espera que a probabilidade de inclusão decair com o número de variáveis. No entanto, pode falhar em impor parcimônia suficiente em alguns casos práticos.
   • Half-p e Half-k: São ideais se a parcimônia estrita for o requisito principal, mas o risco de eliminar modelos verdadeiramente grandes é uma desvantagem. O Half-p é preferido pela simplicidade.
   • Beta(1,2) e Hierárquico Beta: São as recomendações mais equilibradas. O Beta(1,2) é atraente pela simplicidade analítica, enquanto o Hierárquico oferece um peso ligeiramente maior a modelos pequenos, alinhando-se bem com a intuição de parcimônia suave.

Impacto: O trabalho fornece um framework rigoroso para a escolha de priors em seleção de variáveis, movendo a prática estatística de escolhas ingênuas (Uniforme/Jeffreys) para escolhas fundamentadas teoricamente que equilibram objetividade e parcimônia, essenciais para aplicações modernas em genômica e ciência de dados.