Semi-supervised linear regression with missing covariates

Resumo Técnico: Regressão Linear Semi-supervisionada com Covariáveis Faltantes

1. Problema e Motivação

O artigo aborda um problema fundamental na estatística aplicada: a estimativa de parâmetros em modelos de regressão linear quando os dados apresentam covariáveis faltantes e, simultaneamente, a disponibilidade de um conjunto de dados não rotulados (semi-supervisionado).

• Contexto: Em muitos cenários reais (como saúde e ciências ambientais), os dados faltam de duas formas distintas:
  1. Padrões não estruturados (esporádicos): Variáveis faltam aleatoriamente e independentemente umas das outras.
  2. Padrões estruturados (blocos): Variáveis faltam em blocos inteiros devido à fusão de fontes de dados heterogêneas (ex: imagens de ressonância magnética vs. PET scans no estudo de Alzheimer, ou testes clínicos específicos baseados em sintomas).
• ** lacuna na literatura:** Trabalhos anteriores trataram geralmente a falta de covariáveis e o uso de dados não rotulados como problemas separados. A maioria dos métodos semi-supervisionados assume covariáveis completas, enquanto métodos para dados faltantes raramente exploram como dados não rotulados podem melhorar a estimativa quando as covariáveis rotuladas estão incompletas.
• Objetivo: Desenvolver metodologias e caracterizar os limites estatísticos fundamentais (via perspectiva minimax) para a estimativa de $\beta^*$ em um modelo linear $Y = X^T \beta^* + \epsilon$, considerando ambos os tipos de padrões de falta e regimes de baixa e alta dimensionalidade.

2. Metodologia

Os autores propõem estimadores adaptados para dois regimes principais:

A. Regime de Baixa Dimensão (Low-dimensional)

• Abordagem: Um estimador baseado em imputação ponderada.
• Mecanismo:
  1. Imputam os valores faltantes das covariáveis usando a estrutura de covariância estimada ($\hat{\Sigma}$). Especificamente, substituem $(X_O, \text{NA})$ por $(X_O, \hat{\Sigma}_{M O} \hat{\Sigma}_{O O}^{-1} X_O)$.
  2. Aplicam uma reponderação (reweighting) nos termos de erro. O estimador minimiza uma soma ponderada de quadrados dos erros:
     $$\hat{\beta} = \arg \min_{\beta} \sum_{j=1}^K \sum_{i \in I_j} \hat{D}_j (Y_i - X_{O_j, i}^T \hat{P}_j \beta)^2$$
     Onde $\hat{D}_j$ são pesos que ajustam a variância inerente a cada padrão de falta, e $\hat{P}_j$ é uma projeção baseada na covariância.
• Configurações:
  • Ideal Semi-supervisionado (ISS): Assume-se conhecimento da matriz de covariância $\Sigma$.
  • Ordinário Semi-supervisionado (OSS): Usa-se um conjunto de dados não rotulados de tamanho $N$ para estimar $\Sigma$.
  • Supervisionado: Caso especial onde $N=0$.

B. Regime de Alta Dimensão (High-dimensional e Esparsos)

• Abordagem: Uma versão modificada do Dantzig Selector.
• Mecanismo:
  1. Estima-se o vetor de correlação cruzada $\gamma = E[XY]$ e a matriz de covariância $\Sigma$ de forma não enviesada, utilizando tanto dados rotulados (onde as variáveis são observadas) quanto dados não rotulados.
  2. Resolve-se um programa linear com penalidade $\ell_1$:
     $$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
• Vantagem: Diferente de abordagens baseadas em LASSO com imputação direta (que podem gerar matrizes não positivas definidas e problemas de convexidade), o Dantzig Selector mantém a convexidade mesmo com estimativas de $\Sigma$ que não são positivas definidas.

3. Principais Contribuições

1. Novos Limites Superiores e Inferiores (Minimax):

   • Derivaram limites superiores de risco não assintóticos para os estimadores propostos.
   • Estabeleceram limites inferiores minimax que coincidem com os limites superiores (até constantes), provando a optimalidade de taxa dos estimadores.
   • Estes resultados são os primeiros a fornecer limites superiores e inferiores coincidentes para o cenário supervisionado com padrões de falta estruturados e não estruturados.

2. Impacto dos Dados Não Rotulados:

   • Demonstraram que a presença de dados não rotulados altera fundamentalmente as taxas de convergência minimax em comparação com o cenário puramente supervisionado.
   • Redução de Dimensionalidade Efetiva: Em padrões monotônicos simples (onde um subconjunto de variáveis é sempre observado e outro é frequentemente faltante), os dados não rotulados permitem reduzir a dimensão efetiva do problema de $p$ para $p_0$ (onde $p_0$ é o número de variáveis faltantes), algo impossível sem dados não rotulados.
   • Aumento da Taxa de Observação: No caso não estruturado, os dados não rotulados aumentam a taxa de observação efetiva de $\rho$ para $\rho^{1/2}$ (onde $\rho$ é a probabilidade de observação de uma variável).

3. Generalidade:

   • As metodologias cobrem tanto cenários de covariância conhecida (ISS) quanto estimada via dados não rotulados (OSS).
   • Funcionam para padrões de falta estruturados (blocos) e não estruturados.

4. Resultados Teóricos e Empíricos

• Limites de Risco (Baixa Dimensão):
  • A taxa de risco depende de termos como $\frac{R^2 p}{\rho n_L}$ (parte supervisionada) e $\frac{B^2 p}{\rho^2 n_L + N}$ (parte semi-supervisionada).
  • Quando $N$ é grande, o termo dependente de $N$ domina, permitindo uma estimativa mais precisa.
• Limites de Risco (Alta Dimensão):
  • A taxa ótima é da ordem de $\frac{s \log(p)}{\rho n_L} + \frac{s \log(p)}{\rho^2 n_L + N}$, onde $s$ é a esparsidade.
  • Os resultados resolvem uma conjectura de trabalhos anteriores (Wang et al., 2019) sobre a dependência da taxa em relação à taxa de observação $\rho$ e dados não rotulados.
• Simulações:
  • Estudos simulados confirmam que a etapa de reponderação é crucial; estimadores de imputação simples (sem pesos) performam pior que a análise de casos completos em certos regimes.
  • O método proposto supera significativamente abordagens clássicas (como imputação múltipla por equações encadeadas - MICE) e métodos supervisionados, especialmente quando há muitos dados não rotulados.
• Aplicação Real:
  • Aplicação ao conjunto de dados de Habitação da Califórnia com falta sintética. Os resultados mostram que o estimador semi-supervisionado reduz o erro quadrático médio (MSE) em comparação com a regressão de mínimos quadrados em casos completos, especialmente para variáveis com alta taxa de falta.

5. Significado e Conclusão

Este trabalho preenche uma lacuna teórica importante ao unificar a análise de dados faltantes e aprendizado semi-supervisionado.

• Implicação Prática: Demonstra que, em cenários onde rotular dados é caro (ex: diagnósticos médicos) mas coletar covariáveis é barato (ex: dados demográficos ou sensores), o uso de dados não rotulados pode recuperar informações perdidas devido à falta de covariáveis nos dados rotulados, melhorando drasticamente a precisão da estimativa.
• Implicação Teórica: Estabelece que a "segurança" (safety) de um estimador semi-supervisionado (desempenhar tão bem quanto o melhor estimador supervisionado) é alcançável e que, sob certas condições, os dados não rotulados não apenas ajudam, mas mudam a natureza fundamental da dificuldade do problema de estimação (redução de dimensionalidade efetiva).

Em resumo, o artigo fornece ferramentas estatisticamente ótimas para lidar com a complexidade combinada de dados incompletos e rotulados escassos, com garantias rigorosas de desempenho tanto em baixas quanto em altas dimensões.