Variable Selection for Linear Regression Imputation in Surveys

Este artigo propõe um método de seleção de variáveis para imputação por regressão linear em pesquisas, demonstrando que o modelo selecionado converge para o modelo ótimo e apresentando um quadro metodológico completo para a construção de intervalos de confiança assintoticamente válidos após a seleção do modelo.

O essencial

Imagine que você é um chef de cozinha famoso e precisa preparar um prato para 10.000 pessoas (a população). Você tem uma receita perfeita, mas, ao cozinhar, percebe que alguns ingredientes essenciais estão faltando na sua despensa (os dados faltantes).

Para não estragar o prato, você decide usar uma "aposta educada": você olha para os ingredientes que tem e tenta prever o sabor dos que não tem, baseando-se em padrões que já conhece. Isso é o que os estatísticos chamam de imputação.

O problema é: quais ingredientes você deve usar para fazer essa previsão?

Se você usar apenas sal e pimenta, seu prato ficará sem graça (viés). Se você usar sal, pimenta, cravo, canela, noz-moscada e um pouco de terra (porque você achou que a terra poderia ajudar), o prato ficará estranho e caro (ineficiência).

Este artigo, escrito por Ziming An, Mehdi Dagdoug e David Haziza, é como um guia definitivo para escolher os ingredientes certos quando você precisa preencher buracos em pesquisas de opinião ou censos.

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O Dilema do Chef (A Seleção de Variáveis)

Na estatística de pesquisas, muitas vezes as pessoas não respondem a certas perguntas (como "quanto você ganha?"). Os pesquisadores tentam preencher esses buracos com números estimados.

• O problema antigo: Os estatísticos muitas vezes escolhiam variáveis (ingredientes) de forma aleatória ou baseada em "achismos". Às vezes, eles esqueciam um ingrediente crucial (tornando a estimativa enviesada) ou adicionavam ingredientes inúteis (tornando a estimativa imprecisa).
• A solução do artigo: Eles criaram uma "régua mágica" (chamada de função de perda de oráculo) para medir qual combinação de ingredientes produz o prato mais saboroso e fiel à realidade.

2. O "Oráculo" e a Verdade Oculta

Imagine que existe um Oráculo (um gênio da lâmpada) que sabe exatamente qual é a receita perfeita e quais ingredientes realmente importam.

• O artigo prova matematicamente que, se você tentar encontrar a melhor receita possível usando os dados que tem, você acabará chegando muito perto da receita do Oráculo.
• Eles mostram que, com dados suficientes, o modelo "perfeito" para preencher os buracos é, na verdade, o modelo verdadeiro que gera os dados. Ou seja, a melhor estratégia para preencher buracos é descobrir a verdade por trás deles.

3. O Perigo de "Encher o Prato" (Overfitting)

O artigo faz uma distinção importante:

• Deixar ingredientes de fora: Se você esquecer o sal (uma variável importante), o prato fica sem graça. A estimativa fica errada (viésada).
• Colocar ingredientes demais: Se você adicionar cravo e canela desnecessários, o prato não fica necessariamente "errado" no sabor, mas fica menos eficiente. Você gastou mais esforço e o resultado tem mais "ruído" (variância maior).
• A descoberta: Eles provam que, se você usar um critério inteligente (como o BIC, que é como um "filtro de qualidade" que pune receitas muito complexas), você evitará colocar ingredientes inúteis e encontrará a receita ideal.

4. A Receita Passo a Passo (O Algoritmo)

Os autores propõem um método simples para os estatísticos seguirem:

1. Teste várias combinações: Tente diferentes modelos de previsão.
2. Escolha o vencedor: Use um critério matemático (como o BIC) que sabe dizer qual modelo é o "verdadeiro" com alta probabilidade quando a amostra é grande.
3. Faça a conta: Use esse modelo vencedor para preencher os buracos.
4. Confie no resultado: O artigo garante que, depois de escolher o modelo certo, você pode calcular a margem de erro e criar intervalos de confiança (como dizer: "temos 95% de certeza que a média de renda está entre X e Y") exatamente como se soubéssemos a verdade desde o início.

5. O Resultado Final: "Eficiência de Oráculo"

A parte mais legal é que eles provaram que, seguindo esse método, você consegue a mesma precisão que teria se o gênio da lâmpada (o Oráculo) tivesse te dado a receita perfeita de cara.

• Isso significa que você não precisa ter medo de escolher o modelo errado. Se você usar as ferramentas certas (seleção consistente de variáveis), o seu resultado final será o melhor possível, sem viés e com a menor margem de erro possível.

Resumo em uma frase

Este artigo ensina aos estatísticos como escolher os ingredientes certos para "cozinhar" dados faltantes em pesquisas, garantindo que o prato final (a estimativa da população) seja saboroso, preciso e confiável, mesmo que a receita original estivesse incompleta.

Em suma: Eles transformaram a arte de adivinhar dados faltantes em uma ciência precisa, garantindo que as estatísticas oficiais do governo e de pesquisas sejam as mais fiéis possíveis à realidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Variable Selection for Linear Regression Imputation in Surveys", apresentado em português:

1. Problema e Contexto

O artigo aborda o desafio crítico da não-resposta por item em pesquisas amostrais. Quando dados faltam, a prática padrão é a imputação, onde valores ausentes são substituídos por valores previstos baseados em um modelo. A qualidade dos estimadores resultantes depende criticamente da especificação correta do modelo de imputação.

O problema central identificado é a seleção de variáveis para modelos de regressão linear em imputação de surveys. Diferentemente da seleção de variáveis tradicional (focada em identificação de parâmetros ou previsão em dados i.i.d.), o objetivo em surveys é otimizar a eficiência do estimador da média da população finita, minimizando o erro quadrático médio (MSE). O uso de modelos mal especificados (omissão de covariáveis relevantes ou inclusão de irrelevantes) pode levar a estimadores viesados ou ineficientes, e a literatura existente carece de um framework teórico robusto para seleção de modelos especificamente neste contexto de imputação sob desenho amostral complexo.

2. Metodologia e Framework Teórico

Os autores desenvolvem um framework assintótico baseado em uma sequência de populações finitas e desenhos amostrais.

• Função de Perda Oráculo (Oracle Loss Function):
  Os autores introduzem uma função de perda $L_n(\alpha)$ para avaliar a eficiência de um modelo candidato $\alpha$. Esta perda mede o quadrado da distância entre o estimador imputado (baseado em $\alpha$) e o estimador de Horvitz-Thompson com dados completos (que seria observado se não houvesse não-resposta).
  A perda é decomposta em:

  1. Viés ($L_1$): Resultante da omissão de covariáveis relevantes.
  2. Variância ($L_2$): Resultante da inclusão de covariáveis irrelevantes (overfitting).
     Eles demonstram que o modelo ótimo ($\alpha_{opt}$) que minimiza essa perda coincide assintoticamente com o modelo verdadeiro ($\alpha^\star$), desde que certas condições de regularidade sejam atendidas.

• Propriedades de Consistência e Variância:
  O artigo analisa as consequências de usar modelos incorretos:

  • Consistência: Estabelecem condições necessárias e suficientes para que o estimador imputado seja consistente, mesmo com modelos subespecificados. Isso depende da relação entre as covariáveis omitidas, a variável de resposta e o mecanismo de não-resposta (MAR - Missing At Random).
  • Variância Assintótica: Mostram que, para modelos corretos, a variância assintótica é minimizada pelo modelo verdadeiro. A inclusão de covariáveis irrelevantes pode aumentar a variância, a menos que essas covariáveis sejam linearmente dependentes das incluídas e não expliquem o mecanismo de não-resposta.

• Procedimento de Seleção e Inferência:
  Propõem um algoritmo de quatro etapas:

  1. Seleção de Modelo: Utilizar um critério de seleção consistente (como BIC) para escolher o conjunto de covariáveis $\hat{\alpha}$.
  2. Estimação Pontual: Calcular o estimador imputado $\hat{\mu}_{\hat{\alpha}}$ usando o modelo selecionado.
  3. Estimação de Variância: Aplicar estimadores de variância padrão (abordagem reversa de Fay/Shao-Steel) condicionados ao modelo selecionado $\hat{\alpha}$.
  4. Intervalos de Confiança: Construir intervalos de confiança usando a distribuição normal assintótica.

3. Principais Contribuições Teóricas

1. Equivalência Assintótica ao Oráculo: O principal resultado teorema (Teorema 2) estabelece que, se um critério de seleção de modelo for consistente (como o BIC), o estimador imputado resultante e sua variância são assintoticamente equivalentes aos obtidos se o modelo verdadeiro fosse conhecido a priori. Isso significa que a incerteza da seleção do modelo desaparece assintoticamente.
2. Validade de Critérios Clássicos: Demonstram que critérios de seleção de modelos consistentes no contexto i.i.d. (como BIC) permanecem consistentes em dados de surveys com não-resposta, sob desenhos amostrais não-informativos.
3. Intervalos de Confiança Válido e Ótimo: Provam que os intervalos de confiança construídos após a seleção de modelo (usando o critério consistente) têm cobertura assintoticamente correta e largura mínima dentro da classe de modelos candidatos. Não são necessárias correções pós-seleção complexas.
4. Condições para Consistência em Modelos Incorretos: Fornecem condições explícitas (Corolário 1) sob as quais omitir covariáveis não gera viés assintótico, especificamente quando as covariáveis omitidas não influenciam o mecanismo de resposta ou são linearmente relacionadas às incluídas.

4. Resultados Empíricos (Simulações)

Os autores realizaram estudos de simulação extensivos com populações finitas de tamanhos variados ($N=1000, 2000, 5000$) e diferentes desenhos amostrais (Aleatório Simples e Estratificado).

• Desempenho da Função de Perda: A função de perda proposta identificou corretamente o modelo verdadeiro como o mais eficiente, alinhando-se perfeitamente com a eficiência relativa observada.
• Comparação de Critérios (AIC vs. BIC vs. CV):
  • BIC: Identificou o modelo verdadeiro com alta probabilidade (ex: 97,6% para $n=500$), resultando no estimador mais eficiente e com menor variância.
  • AIC e Validação Cruzada: Tiveram tendência a overfitting (selecionar modelos com variáveis desnecessárias). Embora os estimadores fossem consistentes (sem viés), apresentaram eficiência inferior (maior variância) em comparação ao BIC e ao modelo verdadeiro.
• Estimação de Variância e Cobertura: Os estimadores de variância baseados no modelo selecionado pelo BIC apresentaram viés relativo negligenciável e as probabilidades de cobertura dos intervalos de confiança convergiram para o nível nominal (95%) conforme o tamanho da amostra aumentava.

5. Significado e Conclusão

Este trabalho preenche uma lacuna teórica importante ao conectar a seleção de modelos com a imputação em surveys. A conclusão central é que, sob condições regulares, a prática de usar ferramentas padrão de seleção de modelos (como o BIC) em etapas de imputação é teoricamente justificada e assintoticamente ótima.

O estudo demonstra que:

1. A seleção de variáveis não precisa ser tratada como um problema separado da inferência final; a incerteza da seleção se dissipa assintoticamente.
2. O uso de critérios consistentes permite obter estimadores com eficiência de "oráculo" (equivalente a saber o modelo verdadeiro).
3. A metodologia proposta simplifica a inferência prática, eliminando a necessidade de métodos de reamostragem complexos ou correções pós-seleção para obter intervalos de confiança válidos.

O artigo sugere extensões futuras para desenhos amostrais informativos e modelos de imputação não-paramétricos, mas estabelece uma base sólida para a seleção de variáveis em regressão linear para imputação em surveys.