Deep learning with missing data

Resumo Técnico: Redes Neurais com Incorporação de Padrões para Regressão Não Paramétrica com Covariáveis Ausentes

Configuração do Problema
O artigo aborda o desafio do aprendizado profundo supervisionado em regressão não paramétrica multivariada quando as covariáveis contêm valores ausentes. Diferente de trabalhos anteriores que frequentemente assumem a Ausência Completamente ao Acaso (MCAR) ou dependem de modelos de ausência paramétricos específicos, este estudo considera um cenário geral onde o mecanismo de ausência é arbitrário e potencialmente dependente das covariáveis (Ausência Não Ao Acaso, MNAR). O objetivo é a predição: estimar a função de regressão de Bayes $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, onde $Z$ representa as covariáveis imputadas e $\Omega$ representa o vetor de revelação (indicadores de observação) que denota quais entradas foram observadas.

Uma dificuldade central identificada é que, embora os vetores de revelação contenham informações preditivas críticas sobre a estrutura da ausência, a concatenação ingênua deles com as covariáveis imputadas como entrada para uma rede neural frequentemente leva a um desempenho insatisfatório. Isso se deve ao crescimento exponencial dos possíveis padrões de observação ($2^d$) com a dimensão $d$, causando sobreajuste (overfitting), e ao desalinhamento entre a geometria euclidiana do hipercubo $\{0,1\}^d$ e a estrutura preditiva real do problema.

Metodologia: Redes Neurais com Incorporação de Padrões (Pattern Embedded Neural Networks - PENNs)
Os autores propõem as Redes Neurais com Incorporação de Padrões (PENN), uma arquitetura inovadora projetada para integrar padrões de observação em estruturas de aprendizado profundo sem depender de técnicas de imputação específicas. O estimador PENN assume a forma:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
onde:

1. $f_1$: Uma rede neural que atua como um mapa de características para as covariáveis imputadas $z$.
2. $f_2$: Uma rede neural que atua como uma função de incorporação (embedding) para os vetores de revelação $\omega$. Ela mapeia os padrões de observação discretos e de alta dimensão em um espaço contínuo de baixa dimensão, onde a proximidade geométrica reflete a similaridade no comportamento preditivo.
3. $f_3$: Uma rede neural final que combina as características das covariáveis aprendidas e as incorporações de padrões para produzir a predição.

Esta abordagem permite que o modelo "tome emprestado o vigor" (borrow strength) de padrões de observação semelhantes, comprimindo efetivamente a informação nos vetores de revelação. O método é compatível com qualquer técnica de imputação existente (ex: média, MissForest, MICE) aplicada antes do treinamento.

Contribuições Teóricas
O artigo fornece uma análise teórica rigorosa do estimador PENN, estabelecendo limites de excesso de risco em amostra finita sem assumir independência entre o processo de geração de dados e os mecanismos de ausência.

• Desigualdade de Oráculo: Uma desigualdade de oráculo geral é derivada, decompondo o excesso de risco em termos de erro de otimização, aproximação e estimação. Isso se aplica a quaisquer estimadores de redes neurais e respostas sub-gaussianas.
• Otimalidade Minimax: Sob uma suposição de "suavidade por partes" (Suposição 1), a função de regressão de Bayes é particionada em células onde a função se comporta de maneira semelhante. Dentro de cada célula, a função pertence a uma classe Hölder composicional.
  • O Teorema 2 estabelece um limite superior para o excesso de risco. O limite é uma média ponderada das taxas minimax para cada célula da partição, escalonada pelo tamanho de amostra efetivo daquela célula. Crucialmente, a taxa é alcançada como se a partição fosse conhecida de antemão, salvo um fator polilogarítmico no tamanho da amostra.
  • O Teorema 3 fornece um limite inferior minimax correspondente, confirmando que o estimador PENN atinge a taxa de convergência ótima para este cenário de problema.
• Novidade: A teoria introduz o conceito de F-separabilidade para partições de padrões de observação, permitindo que a rede neural aprenda o agrupamento de padrões que compartilham funções de regressão semelhantes. Isso aborda a "maldição da dimensionalidade" associada aos $2^d$ possíveis padrões de ausência.

Resultos Empíricos
Experimentos numéricos extensos foram conduzidos em conjuntos de dados simulados, semi-sintéticos e do mundo real:

• Dados Simulados: Em quatro modelos cobrindo cenários MCAR e MNAR com diferentes correlações, as PENNs superaram consistentemente redes neurais padrão (treinadas em dados imputados sem incorporação de padrão), XGBoost e Random Forests. A melhoria foi particularmente dramática em cenários MNAR, onde os métodos padrão enfrentaram dificuldades.
• Dados Semi-Sintéticos: Experimentos no conjunto de dados de localização relativa de CT (regressão) e MNIST (classificação) demonstraram que as PENNs reduziram significativamente o erro de predição (medido pela Proporção de Variância Não Explicada e Erro de Classificação Incorreta) em comparação com as linhas de base, especialmente sob mecanismos MNAR.
• Dados Reais: Em um conjunto de dados de predição de score de crédito com ausência inerente, as PENNs também mostraram melhorias consistentes e notáveis em relação às redes neurais padrão e métodos baseados em árvores.
• Visualização: As incorporações aprendidas dos padrões de observação revelaram que a rede agrupou com sucesso padrões com comportamentos preditivos semelhantes, validando a premissa teórica de que a incorporação captura informações estruturais relevantes.

Significância e Alegações
Os autores afirmam que este trabalho é o primeiro a fornecer garantias de otimalidade minimax para regressão não paramétrica multivariada com dados ausentes sob mecanismos gerais de ausência. A significância do trabalho reside em:

1. Inovação Metodológica: Introduzir a incorporação de padrões como um mecanismo para lidar com a ausência no aprendizado profundo, preenchendo a lacuna entre abordagens baseadas em imputação e a modelagem direta de indicadores de ausência.
2. Rigor Teórico: Provar que as PENNs podem atingir a taxa ótima de convergência mesmo quando o mecanismo de ausência é complexo e dependente, desde que a função de regressão exiba suavidade composicional por partes.
3. Utilidade Prática: Demonstrar que o método é robusto, funciona com ferramentas de imputação padrão e produz ganhos empíricos substanciais sobre métodos de ponta existentes em cenários sintéticos e do mundo real.

O artigo conclui que as PENNs oferecem uma solução principiada e eficaz para o aprendizado profundo com covariáveis ausentes, superando as limitações de simplesmente tratar os indicadores de ausência como recursos brutos adicionais.