Resumo Técnico: Imputação Distribucionalmente Fiel via Estimativa de Densidade de Kernel Semidefinida Positiva

1. Formulação do Problema

O artigo aborda o desafio dos dados ausentes na inferência estatística e no aprendizado de máquina. Embora os valores ausentes sejam ubíquos, os métodos de imputação existentes frequentemente dependem de heurísticas ou suposições paramétricas restritivas (ex: Normalidade multivariada) que falham em capturar a verdadeira distribuição conjunta dos dados. Além disso, métricas populares como o Erro Quadrático Médio (RMSE) recompensam previsões pontuais (médias condicionais), mas ignoram dependências multivariadas e incertezas.

Os autores focam no mecanismo de Dados Ausentes Completamente ao Acaso (MCAR). Eles reformulam o problema de imputação não como uma tarefa de regressão, mas como um problema de estimativa de densidade a partir de observações mascaradas. O objetivo central é estimar uma distribuição $p$ tal que suas marginais observadas correspondam exatamente às marginais empíricas dos dados. Formalmente, dada uma densidade geradora de dados verdadeira $p^\star$ e uma distribuição de máscara $\mu$, o objetivo é encontrar $p$ tal que $p_S = p^\star_S$ para $\mu$-quase todo $S$.

O objetivo de aprendizagem é definido pela minimização do risco KL mascarado:
$$L(p) := \sum_{S \subseteq [d]} \mu(S) \text{KL}(p^\star_S \parallel p_S)$$
Esta formulação garante que os dados imputados reproduzam a estrutura conjunta da verdade fundamental, permitindo tanto imputações simples quanto múltiplas.

2. Metodologia: PSD-Impute

A solução proposta, PSD-Impute, utiliza Densidades de Kernel Semidefinidas Positivas (PSD) para transformar o problema não convexo de estimativa de densidade em uma tarefa de otimização convexa com marginais em forma fechada.

2.1 O Modelo

O método aproxima a densidade $p(x)$ usando um mapa de características $\phi(x)$ derivado de um kernel Gaussiano $k_\eta(x, x') = \exp(-\eta \|x - x'\|^2)$ e um conjunto de pontos de ancoragem $W = \{w_1, \dots, w_\ell\}$. A densidade é parametrizada por uma matriz PSD $Q \in \mathbb{S}^d_+$:
$$p_Q(x) = \phi(x)^\top Q \phi(x)$$
Para garantir que $p_Q$ seja uma densidade de probabilidade válida, ela é normalizada via matriz de momentos $H = \int \phi(x)\phi(x)^\top dx$, impondo a restrição $\text{Tr}(QH) = 1$.

2.2 Propriedades Principais

A escolha das densidades de kernel PSD é motivada por quatro propriedades:

1. Universalidade: A classe de modelos pode aproximar qualquer densidade contínua conforme o número de âncoras $\ell \to \infty$.
2. Marginais em Forma Fechada: Diferente dos estimadores de densidade de kernel padrão, as marginais de densidades PSD podem ser computadas analiticamente. Para um subconjunto $S$, a marginal é:
   $$p_{Q,S}(x_S) = c_{2\eta}^{N_S} \text{Tr}(Q (K_S(x_S) \circ H_{N_S}))$$
   onde $K_S$ é uma matriz de kernel de posto um e $H_{N_S}$ é uma matriz pré-computável que depende apenas das dimensões não observadas.
3. Convexidade: A log-verossimilhança negativa das observações mascaradas é convexa em relação a $Q$.
4. Aproximação Ótima: A família alcança taxas minimax ótimas para densidades suaves, quebrando as barreiras da maldição da dimensionalidade associadas a histogramas de kernel não negativos.

2.3 Otimização

O problema de minimização do risco empírico é formulado como:
$$\min_{Q \succeq 0, \text{Tr}(QH)=1} \left[ -\frac{1}{N} \sum_{i=1}^N \log \text{Tr}(Q A_i) + \lambda \text{Tr}(Q A_0) \right]$$
onde $A_i$ é uma matriz dependente dos dados derivada da máscara observada $S_i$ e dos pontos de ancoragem. O termo $\lambda \text{Tr}(Q A_0)$ atua como um regularizador (controlando a norma RKHS), e uma barreira log-det é usada para impor a semidefinitude positiva.

Os autores resolvem isso usando um método de ponto interior de Newton amortecido. Ao explorar a estrutura de Kronecker das matrizes envolvidas, o algoritmo escala eficientemente, evitando a necessidade de truques estocásticos ou treinamento não convexo.

3. Garantias Teóricas

O artigo estabelece consistência estatística e taxas de convergência para o estimador $\hat{p}$:

• Consistência: O estimador converge para a densidade verdadeira $p^\star$ em termos do risco KL mascarado.
• Taxa de Convergência: Sob suposições de suavidade de Hölder ($s$) e suporte compacto, o limite do excesso de risco é $O(N^{-s/(6s+2d)})$.
• Dimensionalidade: A taxa se adapta à regularidade da distribuição de probabilidade, oferecendo uma maneira de superar a maldição da dimensionalidade para probabilidades muito regulares.
• Estratégia de Prova: A análise decompõe o erro em um erro de aprendizagem (estimando $Q$ a partir de amostras finitas) e um erro de aproximação (o quão bem a classe PSD aproxima $p^\star$), limitando ambos separadamente antes de combiná-los.

4. Resultados Experimentais

Os autores relatam experimentos preliminares em um conjunto de dados sintético e onze conjuntos de dados do mundo real.

• Desempenho: O PSD-Impute demonstra acurácia distribucional competitiva em comparação com baselines populares (incluindo MICE, missForest e modelos generativos profundos).
• Métricas: A avaliação foca em métricas de distribuição (Distância de Energia, Transporte Ótimo) em vez de apenas RMSE, mostrando que o PSD-Impute preserva melhor a estrutura conjunta dos dados.
• Capacidades: A densidade ajustada única gera com sucesso tanto imputações simples (via médias condicionais) quanto imputações múltiplas (via amostragem), unificando essas duas abordagens.

5. Significância e Contribuições

O artigo afirma preencher uma lacuna crítica na literatura ao fornecer um método que é simultaneamente:

1. Flexível: Livre de suposições gaussianas ou de baixo posto.
2. Distribucionalmente Principiado: Otimiza a distribuição conjunta em vez de erros pontuais.
3. Convexo: Ancorado na otimização convexa, garantindo ótimos globais.
4. Computacionalmente Viável: Solucionável em CPUs modestas via passos de Newton estruturados.

Os autores posicionam este trabalho como um passo em direção ao "tratamento principiado e consciente da distribuição de dados ausentes". Eles observam que, embora o trabalho atual foque em MCAR, o framework de Máxima Verossimilhança se estende naturalmente para cenários MAR. As direções futuras mencionadas incluem a extensão para MAR/MNAR, aceleração da seleção de âncoras e a combinação de modelos PSD com kernels profundos para dados de alta dimensão, como imagens ou texto.

O artigo conclui que, embora mais engenharia seja necessária, as garantias teóricas e os resultados empíricos preliminares sugerem uma forte promessa prática para o PSD-Impute em cenários onde preservar as propriedades estatísticas dos dados é primordial.