Boosting prediction with data missing not at random

Resumo Técnico: Boosting Prediction with Data Missing Not at Random

1. Problema e Motivação
O Boosting é uma técnica robusta de aprendizado de máquina que combina aprendizes fracos para formar um aprendiz forte, amplamente utilizada para tarefas de regressão e classificação. No entanto, a maioria dos métodos existentes assume que os dados estão completos (sem valores faltantes). Quando os dados possuem valores ausentes, a aplicação direta de algoritmos de boosting pode levar a resultados enviesados, especialmente quando o mecanismo de ausência não é aleatório (MNAR - Missing Not At Random).

No cenário MNAR, a probabilidade de um valor da resposta ($Y$) estar faltando depende do próprio valor de $Y$ (e possivelmente de outras covariáveis). Isso cria problemas de não-identificabilidade, onde a distribuição conjunta não pode ser estimada unicamente apenas com os dados observados, a menos que suposições adicionais sejam feitas. A literatura atual carece de métodos teoricamente fundamentados para aplicar boosting diretamente a dados MNAR.

2. Metodologia Proposta
Os autores propõem uma extensão do algoritmo de boosting (baseado em descida de gradiente funcional) para lidar com respostas faltantes sob o regime MNAR. A abordagem central envolve a modificação da função de perda (loss function) para corrigir o viés introduzido pela ausência dos dados.

• Estratégias de Ajuste da Função de Perda:
  O artigo explora duas estratégias principais para construir uma função de perda ajustada ($L^*$) que mantenha a mesma expectativa da função de perda original ($L$) que seria calculada com dados completos:

  1. Ajuste por Peso de Propensão Inversa (IPW): A função de perda é ponderada pelo inverso da probabilidade de observação ($\pi(y, x)$). Isso utiliza apenas os dados completos, mas requer um modelo preciso para a probabilidade de resposta.
     $$L_{IPW} = \frac{r \cdot L(y, f(x))}{\pi(y, x)}$$
  2. Ajuste do Tipo Buckley-James (BJ): Esta estratégia tenta aproveitar todas as observações, incluindo aquelas com respostas faltantes. Para os casos onde $Y$ não é observado ($r=0$), a função de perda é substituída pela expectativa condicional da perda dada as covariáveis e a ausência de resposta.
     $$L_{BJ} = r \cdot L(y, f(x)) + (1-r) \cdot \Psi_0(x)$$
     Onde $\Psi_0(x) = E[L(Y, f(X)) | X=x, R=0]$.

• Estimação Semiparamétrica:
  Para implementar essas estratégias, é necessário estimar duas funções desconhecidas:

  1. A probabilidade de observação $\pi(y, x)$ (modelo paramétrico).
  2. A densidade condicional da resposta dada a observação $f(y|X, R=1)$ (pode ser paramétrica ou não paramétrica).

  Os autores utilizam as condições de identificação propostas por Morikawa e Kim (2021), que permitem a identificação do modelo sem a necessidade de variáveis instrumentais externas, desde que certas condições de regularidade sejam satisfeitas. Eles propõem estimadores consistentes para esses componentes, utilizando máxima verossimilhança (paramétrico) ou estimação por kernel (não paramétrico).

• Algoritmo:
  O método é implementado através de um algoritmo de boosting iterativo (Algoritmo 1). Em cada iteração, o algoritmo:

  1. Calcula o gradiente da função de perda ajustada ($L^*$).
  2. Ajusta um novo aprendiz fraco (baseado em B-splines) para minimizar o erro ponderado.
  3. Atualiza a função preditora.
     O processo continua até que um critério de parada (baseado na redução da perda) seja atingido.

3. Contribuições Principais

• Generalização do Boosting para MNAR: Desenvolvimento de um framework teórico e prático para aplicar boosting a dados com respostas faltantes não aleatórias, um cenário anteriormente negligenciado na literatura de boosting.
• Abordagem Semiparamétrica Robusta: Proposta de métodos que combinam modelagem paramétrica para a probabilidade de resposta com estimativas flexíveis (paramétricas ou não paramétricas) para a distribuição da resposta, garantindo consistência mesmo sob certas formas de má especificação do modelo.
• Fundamentação Teórica Rigorosa: Estabelecimento de propriedades teóricas sólidas, incluindo:
  • Convergência do Algoritmo: Prova de que o algoritmo iterativo converge para o risco mínimo ótimo.
  • Consistência do Estimador: Demonstração de que o estimador final converge em probabilidade para a função verdadeira à medida que o tamanho da amostra aumenta.
• Validação Empírica: Realização de extensos estudos de simulação e análise de um conjunto de dados real (KLIPS) para validar o desempenho dos métodos.

4. Resultados

• Estudos de Simulação:

  • Em cenários de dados completos ou MAR (Missing At Random), todos os métodos (incluindo o boosting padrão aplicado aos dados completos) performam de forma similar.
  • Em cenários MNAR, o método padrão aplicado aos dados observados (método "N" ou naive) apresenta viés significativo e alto erro de previsão.
  • Os métodos propostos (IPW, IPWN e BJ) demonstraram desempenho superior, recuperando a precisão do método de referência que usaria todos os dados (se disponíveis).
  • O método IPWN (não paramétrico) mostrou-se sensível à dimensionalidade das covariáveis, sofrendo com a "maldição da dimensionalidade" em cenários com muitas variáveis correlacionadas, enquanto o método paramétrico (IPW) manteve-se robusto.
  • A análise de má especificação do modelo revelou que a correta especificação da probabilidade de resposta ($\pi$) é crítica para o desempenho dos métodos IPW e BJ.

• Aplicação em Dados Reais (KLIPS):

  • A análise dos dados do Korean Labor and Income Panel Survey (previsão de renda com ~30% de dados faltantes) confirmou que os métodos propostos geram previsões mais estáveis e menos enviesadas do que o método naive, especialmente nas extremidades da distribuição da covariável.

5. Significado e Impacto
Este trabalho preenche uma lacuna importante na interseção entre aprendizado de máquina e estatística de dados faltantes. Ao fornecer uma justificativa teórica rigorosa e um algoritmo prático para boosting sob MNAR, os autores permitem que pesquisadores e analistas utilizem técnicas de boosting de alto desempenho em cenários do mundo real onde a ausência de dados não é aleatória (ex: estudos de saúde onde pacientes doentes podem não retornar para exames, ou pesquisas de renda onde indivíduos de alta renda se recusam a responder).

A metodologia oferece uma alternativa flexível e robusta, capaz de lidar com a complexidade da não-identificabilidade sem depender exclusivamente de variáveis instrumentais difíceis de encontrar, tornando-se uma ferramenta valiosa para previsão estatística em condições de dados imperfeitos.