Resumo Técnico: Estimativa Além do Missing Completely at Random (MCAR)

Título Original: Estimation Beyond Missing (Completely) at Random
Autores: Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang e Richard J. Samworth.

1. O Problema

O objetivo central do artigo é investigar como a natureza dos dados faltantes (missing data) afeta a precisão da estimativa de parâmetros populacionais (especificamente a média).

Tradicionalmente, a estatística utiliza a hipótese MCAR (Missing Completely at Random), que assume que o mecanismo de dados faltantes é independente do processo que gera os dados. No entanto, na prática (epidemiologia, economia, etc.), os dados costumam ser MNAR (Missing Not at Random), onde a probabilidade de um dado estar faltando depende do próprio valor do dado (ex: pessoas com renda muito alta tendem a não responder pesquisas de renda).

O problema reside no fato de que, sob a hipótese MAR (Missing at Random) — que é menos restritiva que MCAR — a estimativa da média pode se tornar não identificável (impossível de estimar), mesmo em modelos paramétricos simples. O artigo busca preencher essa lacuna, criando um framework que permite transitar entre o cenário ideal (MCAR) e o cenário de contaminação arbitrária (MNAR).

2. Metodologia

Os autores introduzem dois novos modelos de contaminação baseados no conceito de robustez de Huber:

1. Modelos de Contaminação Arbitrária ($\epsilon$-contamination): O modelo é uma mistura de uma distribuição MCAR e uma distribuição de contaminação $Q$ totalmente arbitrária. Este modelo é muito geral, mas impõe limites severos: se a proporção de contaminação $\epsilon$ for alta o suficiente, a estimativa da média torna-se impossível.
2. Modelos de Contaminação Realizável (Realisable): Esta é a principal inovação técnica. Em vez de permitir uma contaminação $Q$ qualquer, os autores restringem $Q$ para ser uma versão MNAR da própria distribuição base $P$. Ou seja, assume-se que os dados (observados ou não) vêm de uma distribuição $P$, mas o mecanismo de observação é enviesado. Isso reflete melhor a realidade científica e permite resultados muito mais otimistas.

Para medir o desempenho, os autores utilizam o framework de quantis minimax, que é mais informativo que o risco minimax tradicional (que seria infinito neste cenário devido à possibilidade de não observar nenhum dado).

3. Principais Contribuições e Resultados

A. Estimativa de Média Multivariada (Contaminação Arbitrária)

Para o modelo de contaminação arbitrária, os autores propõem o algoritmo ITERATIVE_ROBUST_MEAN. Eles demonstram que o erro de estimativa se decompõe em:

• Um termo correspondente ao erro sob a hipótese MCAR.
• Um termo de erro robusto que depende de $\epsilon$, quantificando o custo do desvio do MCAR.

B. O Poder dos Modelos Realizáveis (Caso Gaussiano)

No caso de distribuições Gaussianas, os autores mostram que, sob o modelo realizável, é possível obter estimativas consistentes mesmo quando a proporção de dados faltantes e a contaminação $\epsilon$ convergem para 1.

• Eles introduzem o Estimador de Distância de Kolmogorov Mínima, que utiliza programação linear para encontrar a média que melhor se ajusta à distribuição empírica dentro da classe realizável.
• Este estimador atinge a taxa minimax ótima, superando largamente os modelos de contaminação arbitrária.

C. Extensão para Regressão Linear

O artigo estende os resultados para modelos de regressão onde a variável resposta ($Y$) pode estar faltando. Eles provam que, sob certas condições de design (design regular $(\beta, \gamma)$), a estimativa consistente dos coeficientes de regressão é possível mesmo com respostas faltantes realizáveis.

D. Adaptação para $\epsilon$ Desconhecido

Os autores demonstram que é possível adaptar o estimador para quando a proporção de contaminação $\epsilon$ é desconhecida, utilizando um argumento de tipo Lepski, com um custo computacional e estatístico mínimo.

4. Significado e Impacto

A importância deste trabalho reside na ponte teórica que ele constrói entre a estatística de dados faltantes clássica e a estatística robusta.

• Para Teóricos: Fornece limites (bounds) de taxa minimax precisos para novos modelos de contaminação, estabelecendo o que é possível e o que é impossível estimar.
• Para Praticantes: Oferece uma justificativa matemática para o uso de modelos de sensibilidade. O artigo mostra que, se assumirmos que os dados faltantes seguem o mesmo padrão de distribuição dos observados (modelo realizável), podemos obter resultados extremamente precisos, mesmo em cenários de alta taxa de não-resposta, algo que os métodos tradicionais de MAR ou MCAR falhariam em garantir.

---

Resumo de Taxas (Tabela 1 do artigo):
O artigo destaca que, enquanto na contaminação arbitrária o erro explode quando $\epsilon$ atinge um certo limiar, na contaminação realizável, o erro permanece controlado e a consistência é mantida, permitendo o uso de dados em cenários de alta incerteza.