📊 statistics

To select or not to select: predictively consistent priors instead of model selection

Este artigo argumenta que a seleção de modelos é frequentemente desnecessária ou até prejudicial ao desempenho preditivo em regimes de dados finitos, propondo, em vez disso, o uso de priors preditivamente consistentes que mantenham implicações preditivas sensatas à medida que a complexidade do modelo aumenta, permitindo assim que modelos flexíveis igualem ou superem modelos mais simples selecionados.

Autores originais: Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anna Elisabeth Riha, Leevi Lindgren, David Kohns, Paul-Christian Bürkner, Aki Vehtari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar a sopa perfeita. Você tem uma receita básica (um modelo simples) que funciona bem, mas suspeita que adicionar mais especiarias e vegetais exóticos (complexidade) poderia torná-la ainda melhor. No entanto, você ouviu um aviso: "Se você adicionar ingredientes demais, pode estragar o sabor e torná-lo estranho para quem ainda não o provou antes" (overfitting/sobreajuste).

Por muito tempo, os estatísticos seguiram uma regra prática: "Mantenha o simples." Eles construíam uma sopa complexa, a provavam e, se parecesse complicada demais, jogavam fora os ingredientes extras e ficavam com a versão mais simples. Isso é chamado de seleção de modelo.

Este artigo, escrito por Anna Riha e colegas, faz uma pergunta ousada: E se o problema não for a complexidade da sopa, mas a forma como temperamos ela desde o início?

O Probleo Central: O Tempero "Selvagem"

Os autores argumentam que, quando os estatísticos constroem modelos complexos, eles frequentemente usam um "tempero padrão" (priors/distribuições a priori) que é muito frouxo. Imagine polvilhar sal sem medir. Se você adicionar apenas uma pitada de sal em uma tigela pequena de sopa, está tudo bem. Mas se você usar essa mesma lógica de "uma pitada" para um caldeirão gigante com 50 ingredientes diferentes, você acaba com uma sopa excessivamente salgada e impossível de comer.

Em termos estatísticos, quando você adiciona mais variáveis (ingredientes) a um modelo, mas continua usando "priors" (regras de tempero) independentes e não mensurados, as previsões do modelo podem sair do controle. O modelo começa a prever coisas impossíveis, como uma sopa que tem gosto de puro sal ou pura água, apenas porque a matemática permitiu isso. Para corrigir isso, as pessoas costumavam dizer: "Ok, vamos remover alguns ingredientes (selecionar um modelo mais simples)".

A Solução: "Priors" Preditivamente Consistentes

Os autores propõem uma nova forma de pensar. Em vez de jogar fora os ingredientes, devemos mudar a forma como temperamos a panela desde o início. Eles chamam isso de "priors preditivamente consistentes".

Pense nisso como uma colher de medida inteligente.

O Jeito Antigo: Você tem uma colher que contém uma quantidade fixa de sal. Se você adicionar 10 ingredientes, adiciona 10 colheres de sal. A sopa fica salgada demais.
O Jeito Novo (Preditivamente Consistente): Você tem uma colher mágica que sabe quantos ingredientes estão na panela. Se você adicionar 10 ingredientes, a colher se ajusta automaticamente para garantir que o salgado total da sopa permaneça exatamente onde você deseja.

Ao usar esses "priors inteligentes", o modelo pode lidar com 50 ingredientes tão bem quanto lida com 5. As previsões permanecem estáveis e sensatas, não importa o quão complexo o modelo se torne.

Os Experimentos: Testando a Sopa

Os pesquisadores realizaram vários experimentos para testar essa ideia, comparando o "Jeito Antigo" (selecionar modelos mais simples) contra o "Jeito Novo" (usar priors inteligentes em modelos complexos).

Adicionando Ingredientes (Regressão Linear e Logística): Eles adicionaram mais e mais variáveis a um modelo.
- Resultado: O "Jeito Antigo" (modelos simples) muitas vezes teve um bom desempenho, mas o "Jeito Novo" (modelo complexo com priors inteligentes) teve um desempenho tão bom quanto ou melhor. O modelo complexo não ficou "salgado" ou estranho.
Seleção Progressiva (Escolhendo os Melhores Ingredientes): Eles tentaram construir um modelo adicionando ingredientes um por um, escolhendo os melhores.
- Resultado: Ao usar o "Jeito Antigo", o processo de seleção muitas vezes ficava confuso e escolhia ingredientes ruins porque o tempero estava errado. Ao usar o "Jeito Novo", o modelo complexo com todos os ingredientes era seguro para uso, e o processo de seleção funcionou muito melhor.
Formas Não Lineares (Receitas Curvas): Eles tentaram modelar padrões complexos e curvos (como uma montanha-russa) usando polinômios.
- Resultado: O "Jeito Antigo" (polinômios brutos) explodiu em caos conforme eles adicionavam mais curvas. O "Jeito Novo" (usando Processos Gaussianos, um tipo de prior inteligente) manteve as curvas suaves e precisas, não importa quantos elementos fossem adicionados.

A Grande Conclusão

O artigo conclui que frequentemente não precisamos selecionar modelos mais simples.

Se você está preocupado que um modelo seja complexo demais e sofra overfitting, a solução não é cortá-lo. A solução é consertar o tempero (os priors) para que o modelo saiba como se comportar à medida que cresce.

Se você selecionar um modelo mais simples e ele funcionar melhor: O artigo sugere que isso é um sinal de alerta. Geralmente significa que seu "tempero" original era ruim (muita massa em previsões impossíveis) e o modelo mais simples apenas conseguiu esconder essa falha.
A Recomendação: Pare de obcecar pela "escassez" (ter poucos ingredientes). Em vez disso, foque na "consistência preditiva" (garantir que suas regras de tempero permaneçam sensatas conforme você adiciona mais ingredientes).

Uma Metáfora Final

Imagine que você está construindo uma torre de blocos.

A Visão Antiga: "Se a torre ficar alta demais, ela vai cair. Vamos parar de construir aos 10 blocos."
A Visão do Artigo: "A torre cai porque você está usando uma cola instável. Se você usar uma cola forte e consistente (priors preditivamente consistentes), você pode construir uma torre de 100 blocos que permanece tão reta quanto a de 10 blocos. Você não precisa parar de construir; você só precisa de uma cola melhor."

Em resumo: Não tema a complexidade. Tema os maus priors. Se você acertar seus priors, poderá usar o maior e mais complexo modelo disponível, e ele provavelmente preverá o futuro tão bem quanto, ou melhor do que, qualquer versão simplificada que você pudesse escolher.

Resumo Técnico: Selecionar ou não Selecionar: Priores Preditivamente Consistentes em vez de Seleção de Modelos

Declaração do Problema

Em fluxos de trabalho de modelagem bayesiana, os praticantes frequentemente enfrentam um compromisso entre complexidade do modelo e generalização. O folclore estatístico sugere que selecionar modelos mais simples (parcimônia) é necessário para evitar o sobreajuste (overfitting), particularmente em regimes de dados finitos. No entanto, a própria seleção de modelos é uma fonte de instabilidade e pode introduzir um viés induzido pela seleção, potencialmente favorecendo modelos que sofrem de sobreajuste ou subajuste dependendo dos critérios utilizados.

O problema central abordado é determinar quando a seleção de modelos é necessária versus quando é desnecessária ou até mesmo prejudicial para o desempenho preditivo fora da amostra (out-of-sample). Os autores investigam se a percepção de necessidade de selecionar modelos mais simples decorre da própria estrutura do modelo ou de especificações de priores ruins que falham em permanecer sensatas à medida que a complexidade do modelo aumenta. Especificamente, eles examinam como a escolha de priores afeta a estabilidade do desempenho preditivo ao adicionar covariáveis ou aumentar a complexidade não linear.

Metodologia

Estrutura Teórica

O artigo formaliza o conceito de priores preditivamente consistentes. Os autores definem uma sequência de modelos aninhados $\{M_d\}$ com complexidade crescente $d$ (por exemplo, número de preditores ou funções de base). Eles introduzem duas propriedades fundamentais para as sequências de priores nesta sequência:

Consistência Preditiva de Segunda Ordem: Uma sequência de priores é preditivamente consistente se a variância da distribuição do sinal induzido (o componente sistemático $\eta_d$ ) permanecer globalmente limitada e convergir para um limite finito conforme $d \to \infty$ . Formalmente, $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ e $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$ . Isso garante que a adição de componentes ao modelo não cause uma explosão da distribuição preditiva a priori ou se torne absurda.
Parsimônia Preditiva: Uma condição mais fraca que exige que a divergência de Kullback-Leibler (KL) entre sucessivas distribuições de sinal induzidas seja somável. Os autores demonstram que a parsimônia preditiva isoladamente é insuficiente para evitar a explosão da variância (por exemplo, priores normais independentes satisfazem a parsimônia, mas falham na consistência).

Os autores contrastam esses conceitos com as priores normais independentes padrão (ex: $\beta_j \sim \mathcal{N}(0, \tau^2)$ ), que mostram frequentemente violar a consistência preditiva porque a variância total do sinal cresce linearmente com o número de preditores ( $d\tau^2$ ), levando a distribuições preditivas a priori implausíveis.

Desenho Experimental

Os autores avaliam esses conceitos através de quatro configurações experimentais usando dados simulados:

Adição de Covariáveis em Regressão Logística: Um regime denso onde o processo gerador de dados (DGP) real inclui todas as covariáveis. Eles comparam priores normais independentes contra priores R2D2 (que colocam uma priori sobre o $R^2$ bayesiano).
Seleção Passo a Passo (Forward Stepwise Selection): Um regime esparso onde apenas um subconjunto de covariáveis é relevante. Eles comparam a seleção forward usando priores normais independentes contra priores R2D2, juntamente com a inferência por projeção (projection predictive inference - projpred).
Aumento de Complexidade Não Linear: Uma configuração de um único preditor com graus polinomiais ou funções de base crescentes (polinômios brutos, polinômios ortogonais, thin plate splines e Hilbert Space Approximate Gaussian Processes).
Ensaios Clínicos Randomizados (RCTs): Um cenário de inferência causal estimando efeitos de tratamento enquanto condiciona em covariáveis de alta dimensão. Eles comparam priores conjuntas (R2D2 sobre todos os coeficientes) contra priores divididas (split priors) (R2D2 para covariáveis, normal independente para o tratamento).

O desempenho é medido pela Densidade Log Preditiva Esperada (expected log predictive density - elpd) em dados de teste independentes, estimada via PSIS-LOO-CV na ausência de dados de teste.

Principais Contribuições

Formalização de Priores Preditivamente Consistentes: O artigo fornece uma definição matemática rigorosa para priores que mantêm implicações preditivas estáveis conforme a complexidade do modelo cresce. Ele distingue entre "parsimônia" (penalizar a complexidade) e "consistência preditiva" (controlar a escala da distribuição preditiva a priori).
Demonstração de Seleção Prejudicial: Os autores mostram que, quando se utilizam priores preditivamente consistentes, selecionar um modelo mais simples é frequentemente desnecessário. Em muitos experimentos, o modelo completo e complexo com uma priori consistente iguala ou supera os modelos selecionados mais simples. Por outro outro lado, quando a seleção de modelos parece "ajudar" (ou seja, um modelo mais simples performa melhor), isso geralmente indica que a priori do modelo complexo foi mal especificada (ex: colocando massa excessiva em valores implausíveis), em vez de a estrutura do modelo ser inerentemente falha.
R2D2 e Priores de Espaço de Função como Soluções: O artigo operacionaliza a consistência preditiva usando:
- Priores R2D2: Ao colocar uma priori sobre a proporção de variância explicada ( $R^2$ ), a priori induzida sobre os coeficientes escala automaticamente para evitar a explosão da variância conforme novos preditores são adicionados.
- Priores de Espaço de Função: Processos gaussianos e penalised splines são mostrados como satisfazendo naturalmente a consistência preditiva ao limitar a variância marginal da função.
Implicações para Inferência Causal: No experimento de RCT, o artigo revela que uma priori R2D2 conjunta pode introduzir viés na estimativa do efeito do tratamento conforme o número de covariáveis aumenta, devido ao encolhimento (shrinkage) excessivo do coeficiente do tratamento. Isso destaca que, embora a consistência preditiva seja crucial para a predição, a inferência causal pode exigir a divisão de priores para evitar o encolhimento indesejado em parâmetros de interesse específicos.

Resultados

Regressão Linear e Logística: Nos experimentos de adição de covariáveis, os modelos com priores normais independentes mostraram um declínio acentuado no desempenho preditivo fora da amostra (elpd) conforme o número de preditores aumentava, devido à explosão da variância a priori. Em contraste, modelos com priores R2D2 mantiveram o desempenho estável até o tamanho real do modelo.
Seleção Forward: Quando usando priores normais independentes, a seleção forward frequentemente parava precocemente para evitar o sobreajuste, mas os modelos resultantes ainda performavam abaixo do modelo completo com uma priori R2D2. A priori R2D2 permitiu o uso de todas as covariáveis sem degradação de desempenho.
Modelagem Não Linear: A regressão polinomial bruta com priores independentes exibiu explosão da variância preditiva a priori e deterioração do desempenho de teste em graus mais altos. Penalised thin plate splines e HSGPs (que são preditivamente consistentes) permaneceram estáveis.
Inferência Causal: No experimento de RCT, a priori R2D2 conjunta levou a um viés descendente severo na estimativa do efeito do tratamento conforme o número de covariáveis ( $p$ ) aumentava, resultando em baixa cobertura. A priori "dividida" (R2D2 para covariáveis, normal fixa para o tratamento) alcançou o melhor equilíbrio, fornecendo redução de variância das covariáveis sem introduzir viés.

Significância e Alegações

O artigo argumenta que a dependência tradicional de seleção de modelos para gerenciar a complexidade é frequentemente um contorno para uma especificação de priori ruim. Os autores alegam que priores preditivamente consistentes permitem que modeladores expandam modelos com segurança para incluir todas as informações disponíveis sem o medo do sobreajuste, desde que as priores sejam especificadas para manter a distribuição preditiva a priori sensata.

As principais lições para praticantes incluem:

Especificação de Priori Conjunta: Suposições de independência entre componentes do modelo não são um padrão seguro; elas podem implicar priores conjuntas altamente informativas e irreais.
Verificações de Predição a Priori (Prior Predictive Checks): Verificar quantidades conjuntas (como o $R^2$ a priori) é essencial para detectar quando as priores colocam muita massa em valores sem sentido.
Reavaliação da Seleção: Se a seleção de modelos favorece um modelo mais simples, pode ser uma indicação de uma priori ruim no modelo complexo, em vez de uma verdadeira necessidade de parsimônia.
O Contexto Importa: Embora a consistência preditiva seja vital para a predição, a inferência causal requer uma consideração cuidadosa de quais parâmetros devem sofrer encolhimento (shrinkage). Uma priori conjunta que é preditivamente consistente para o desfecho pode ainda ser enviesada para parâmetros causais específicos.

Os autores concluem que o objetivo deve ser especificar priores que permaneçam sensatas no espaço preditivo conforme os modelos se tornam mais complexos, em vez de impor esparsidade ao nível do componente através de seleção. Esta abordagem apoia fluxos de trabalho de expansão de modelos mais seguros e iterativos.