Robust model selection using likelihood as data

1. O Problema

A seleção de modelos é uma tarefa central na estatística, visando equilibrar a capacidade de capturar a estrutura dos dados com a simplicidade para interpretação. No entanto, métodos padrão (como Critério de Informação de Akaike - AIC, Critério de Informação Bayesiano - BIC e Posteriores Bayesianos tradicionais) falham em cenários de especificação incorreta (misspecification), onde o verdadeiro processo gerador de dados (DGP) não está contido no conjunto de modelos candidatos.

As principais limitações dos métodos existentes são:

• Falta de quantificação de incerteza: Eles não quantificam a incerteza sobre quão bem cada modelo aproxima o DGP real.
• Instabilidade em empates: Quando múltiplos modelos têm distâncias similares (divergência de Kullback-Leibler - KL) do DGP, métodos como BIC e posteriores bayesianos tendem a concentrar-se aleatoriamente em um único modelo ou a favorecer modelos excessivamente complexos à medida que o tamanho da amostra cresce, sem fornecer uma medida robusta da qualidade relativa do ajuste.
• Incapacidade de lidar com o "melhor" modelo aproximado: Em cenários reais, todos os modelos são falsos; o objetivo é encontrar o mais simples que esteja "suficientemente próximo" da verdade, mas os métodos atuais não quantificam essa proximidade de forma calibrada.

2. Metodologia Proposta: "Likelihood as Data" (LaD)

Os autores propõem uma nova framework chamada Likelihood as Data (LaD). A ideia central é tratar os valores de verossimilhança (ou perda) de cada observação como dados em si mesmos, em vez de apenas estatísticas de resumo para inferir parâmetros.

2.1. O Framework LaD

• Definição dos Dados: Para $n$ observações e $K$ modelos candidatos, define-se uma matriz $Z \in \mathbb{R}^{n \times K}$, onde cada elemento $Z_{ik} = -\log(f_k(X_i))$ é o log-verossimilhança negativo da observação $i$ sob o modelo $k$.
• Interpretação da Esperança: O vetor de médias $\mu_0 = E[Z_i]$ tem uma interpretação fundamental:
  $$\mu_{0,k} = E[-\log(f_k(X_i))] = D(f_0 \| f_k) + H(f_0)$$
  Onde $D(f_0 \| f_k)$ é a divergência de Kullback-Leibler (KL) entre o DGP real e o modelo $k$, e $H(f_0)$ é a entropia do DGP (uma constante desconhecida, mas comum a todos os modelos).
• Inferência: Em vez de estimar apenas o valor pontual, o método modela $Z_1, \dots, Z_n$ como vetores independentes e identicamente distribuídos (i.i.d.) seguindo uma distribuição Normal Multivariada $N(\mu, \Sigma)$. Utiliza-se um prior Normal-Inverse-Wishart (NIW) para $(\mu, \Sigma)$.
• Vantagem: Isso permite inferência bayesiana direta sobre o vetor $\mu$, quantificando a incerteza nas distâncias KL relativas entre os modelos, independentemente de qualquer modelo ser "verdadeiro".

2.2. Critério de Seleção Robusta (SLC)

O objetivo não é apenas encontrar o modelo com a menor KL, mas o modelo mais simples que esteja dentro de uma tolerância $\delta$ do mínimo de KL.

• Definição de $\delta$-otimalidade: Um modelo $k$ é $\delta$-otimal se sua divergência KL estiver a no máximo $\delta$ do mínimo possível.
• Seleção de Complexidade Mínima: Entre os modelos $\delta$-otimais, escolhe-se aquele com a menor complexidade $c(k)$. Se houver empates de complexidade, prefere-se o com melhor ajuste (menor KL).
• Pontuação SLC (Smooth LaD Criterion): Para evitar a instabilidade de escolher aleatoriamente entre modelos empatados (o que ocorre com o posterior "plug-in" tradicional), os autores introduzem uma função de seleção suave.
  • A pontuação $w_\delta(k)$ é o produto de dois fatores:
    1. Fator entre classes: Probabilidade de o modelo $k$ pertencer à classe de complexidade mínima entre os $\delta$-otimais.
    2. Fator dentro da classe: Uma pontuação suave baseada em temperatura ($\alpha_n$) que distribui a probabilidade entre modelos empatados dentro da mesma classe de complexidade, em vez de concentrá-la em um único.
• Escala Interpretável ($\tau$): Para tornar o parâmetro de tolerância $\delta$ interpretável, os autores propõem escalá-lo em relação a um "modelo de ruído" (baseline sem sinal) e ao melhor modelo disponível, definindo $\tau = \delta / (\mu_{noise} - \mu_{min})$. Isso representa a proporção de informação explicável que se está disposto a sacrificar pela simplicidade.

2.3. Ajuste para Viés de Overfitting

Para modelos com parâmetros estimados, a verossimilhança calculada nos dados de treino tende a ser otimista (viés para baixo). O método aplica uma correção de viés baseada no teorema de Wilks (adicionando $d_k/2n$ ao log-verossimilhança negativo), onde $d_k$ é o número de parâmetros do modelo $k$.

3. Contribuições Principais

1. Novo Paradigma de Inferência: Tratar a verossimilhança como dados observáveis para inferir diretamente a distância KL, permitindo quantificação de incerteza robusta sob especificação incorreta.
2. Consistência Teórica: Prova-se que o critério SLC é assintoticamente consistente, concentrando-se no conjunto correto de modelos ($M^*_\delta$) à medida que $n \to \infty$.
3. Estabilidade em Empates: Diferente de métodos tradicionais que falham ou são instáveis quando há múltiplos modelos com a mesma qualidade de ajuste, o método LaD com seleção suave distribui a incerteza de forma estável e interpretável.
4. Flexibilidade: O método é aplicável a qualquer função de perda (não apenas verossimilhança negativa) e lida naturalmente com parâmetros estimados.

4. Resultados Empíricos

Os autores validaram o método em quatro cenários distintos:

• Misturas Gaussianas (Dados de Galáxias Shapley): Em contraste com AIC, BIC e posteriores bayesianos tradicionais (que tendem a selecionar $k$ cada vez maior conforme $n$ cresce, mesmo sob especificação incorreta), o LaD estabiliza a seleção, identificando que modelos mais simples são suficientes para a maioria das tolerâncias.
• Modelos Normais Multivariados Esparsos: Em simulações com vetores de média esparsos, o LaD-soft superou consistentemente outros métodos (incluindo AIC, BIC, c-posterior e BayesBag) na minimização da perda de Brier, especialmente em cenários com empates de complexidade e ajuste.
• Curvas de Desempenho Térmico (Ecologia Microbiana): Ao analisar dados de crescimento de Prorocentrum minimum, o LaD forneceu uma transição clara e contínua entre modelos complexos e simples à medida que a tolerância $\tau$ variava, identificando que modelos de 3 parâmetros (como Brière I) eram suficientes para a maioria das aplicações, rejeitando modelos inadequados (como Gaussianos) independentemente da tolerância.
• Modelos de Admixtura Populacional (Genética): Aplicado a dados de truta-castanha, o método demonstrou superioridade sobre o método de Evanno (padrão de indústria para o software STRUCTURE). Enquanto Evanno sugeria $k=2$, o LaD mostrou que $k=2$ capturava apenas ~40% da melhoria possível, sugerindo que $k=3$ ou $4$ eram necessários para ganhos substanciais, oferecendo uma justificativa mais robusta para a escolha do número de populações.

5. Significado e Conclusão

O artigo "Robust model selection using likelihood as data" oferece uma solução teórica e prática para um dos problemas mais persistentes na estatística aplicada: a seleção de modelos quando nenhum modelo é verdadeiramente correto.

• Robustez: Ao focar na estimativa da divergência KL relativa em vez de assumir a verdade de um modelo, o método é inerentemente robusto a erros de especificação.
• Incerteza Calibrada: Fornece intervalos de confiança e probabilidades que refletem a verdadeira incerteza sobre a qualidade do ajuste, algo que critérios pontuais (AIC/BIC) não fazem.
• Interpretabilidade: A introdução da escala $\tau$ permite que pesquisadores tomem decisões baseadas em trade-offs claros entre complexidade e perda de informação, em vez de escolheres arbitrárias de parâmetros.

Em suma, o LaD transforma a seleção de modelos de um problema de "escolha única" para um problema de "mapeamento de incerteza", permitindo que os cientistas entendam não apenas qual é o melhor modelo, mas quão confiável é essa escolha e quais modelos alternativos são praticamente equivalentes.