Resumo Técnico: Modelagem Autoregressiva Agnóstica à Ordem com Dados Ausentes

Declaração do Problema

Sistemas de aprendizado do mundo real operam frequentemente sob observabilidade parcial, onde características estão ausentes devido a falhas de sensores, custos de aquisição ou restrições de privacidade. Sistemas eficazes nesses domínios devem abordar três desafios centrais: (i) aprender a partir de dados incompletos, (ii) imputar valores ausentes no momento da inferência e (iii) decidir quais variáveis não observadas adquirir quando as observações são custosas (Aquisição Ativa de Características).

Embora modelos generativos profundos ofereçam teoricamente uma abordagem unificada ao modelar a distribuição conjunta completa, os métodos existentes enfrentam limitações significativas. Autoencoders Variacionais (VAEs) dependem de inferência aproximada, limitando a precisão condicional. Redes Generativas Adversariais (GANs) frequentemente carecem de verossimilhanças tratáveis e densidades condicionais principiais. Modelos de Difusão, embora produzam amostras de alta qualidade, exigem cadeias de amostragem iterativas e lutam para condicionar com precisão subconjuntos arbitrários de variáveis observadas. Modelos Autoregressivos Clássicos (ARMs) fornecem verossimilhanças tratáveis, mas dependem de uma ordem de geração fixa, impedindo a condicionamento em subconjuntos arbitrários de variáveis.

Metodologia: MO-ARM

Os autores introduzem Modelos Autoregressivos Agnósticos à Ordem Conscientes da Ausência (MO-ARM), um framework que reinterpreta Modelos Autoregressivos Agnósticos à Ordem (OA-ARMs) através da lente de dados ausentes.

1. Insight Teórico: OA-ARMs e MCAR

O artigo estabelece primeiro uma conexão teórica entre o treinamento padrão de OA-ARMs e a imputação Ausente Completamente ao Acaso (MCAR). OA-ARMs são treinados em permutações aleatórias de variáveis, tratando efetivamente a ordem de geração como uma variável latente. Os autores demonstram que o objetivo de treinamento padrão, que envolve prever uma variável com base em um subconjunto aleatoriamente selecionado de variáveis previamente reveladas, simula implicitamente um processo de corrupção MCAR. Consequentemente, OA-ARMs treinados apenas em dados totalmente observados generalizam naturalmente para tarefas de imputação sob mecanismos MCAR sem modificação.

2. O Framework MO-ARM

Construindo sobre esse insight, os autores propõem um framework principial para treinar OA-ARMs diretamente em conjuntos de dados incompletos sob mecanismos de ausência gerais (abrangendo MCAR até Ausente Não Ao Acaso, ou MNAR).

• Formulação Probabilística: O modelo fatora a distribuição conjunta dos dados observados ($x_{z_o}$), dados ausentes ($x_{z_m}$) e a máscara de ausência ($z_o$) como:
  $$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$$
  Aqui, $p_\theta$ representa o modelo generativo (um OA-ARM), e $p_\phi$ é um mecanismo de ausência aprendido.
• Objetivo de Treinamento: O modelo maximiza a verossimilhança logarítmica dos dados observados usando um limite inferior variacional (ELBO).
  • Para MCAR, o termo de ausência é independente dos dados e pode ser omitido.
  • Para MNAR, o modelo aprende explicitamente o processo de ausência $p_\phi$ usando um modelo Bernoulli elemento a elemento parametrizado por uma rede neural. Isso permite que o modelo accounte dependências entre a ausência e valores não observados.
• Estratégia de Imputação:
  • MCAR: A imputação é realizada marginalizando sobre possíveis trajetórias de desmascaramento das variáveis ausentes usando amostragem de Monte Carlo.
  • MNAR: O modelo emprega ponderação por importância auto-normalizada. Amostras completadas são reponderadas com base na verossimilhança da máscara observada sob o modelo de ausência aprendido $p_\phi$, garantindo que completamentos consistentes com o padrão de ausência observado sejam priorizados.

3. Aquisição Ativa de Informação

MO-ARM aproveita sua estimação amortizada de densidade condicional para realizar Aquisição Ativa de Características (AFA). Ao estimar a informação mútua condicional $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ entre uma variável alvo $x_\Phi$ e uma característica candidata $x_{z_i}$ dadas as observações atuais, o modelo pode selecionar sequencialmente as variáveis ausentes mais informativas para adquirir, maximizando o desempenho preditivo a jusante.

Contribuições Principais

1. Reinterpretação de OA-ARMs: O artigo demonstra que o treinamento padrão de OA-ARMs realiza implicitamente imputação MCAR, explicando seu desempenho robusto fora da amostra em configurações de dados ausentes.
2. Treinamento Principial em Dados Incompletos: Os autores introduzem o primeiro framework para treinar OA-ARMs diretamente em conjuntos de dados incompletos sob mecanismos de ausência gerais (MCAR e MNAR), preservando verossimilhanças exatas e permitindo amostragem condicional eficiente.
3. Framework Unificado para Imputação e Aquisição: O modelo unifica imputação de dados ausentes e aquisição ativa de informação, utilizando as mesmas distribuições condicionais amortizadas para ambas as tarefas.
4. Validação Empírica: O MO-ARM proposto é avaliado em benchmarks do mundo real, incluindo dados tabulares (conjuntos de dados UCI) e inpainting de imagens (CelebA-HQ).

Resultados Experimentais

Os autores avaliam o MO-ARM contra baselines estabelecidos, incluindo MIWAE, not-MIWAE (para MNAR), VAEAC, DiffPuter e métodos clássicos como MissForest e MICE.

• Imputação Tabular: Em sete conjuntos de dados UCI com tipos de características variados (contínuos e categóricos), o MO-ARM supera consistentemente baselines generativos estabelecidos sob mecanismos de ausência MCAR e MNAR. Notavelmente, sob MNAR, o MO-ARM supera o not-MIWAE, a única outra baseline projetada explicitamente para este mecanismo.
• Inpainting de Imagens: No conjunto de dados CelebA-HQ, o MO-ARM demonstra desempenho superior na preservação de identidade e estrutura grosseira em comparação com o RePaint (uma baseline baseada em difusão), alcançando pontuações PSNR mais altas, particularmente à medida que a porcentagem ausente aumenta (até 98%).
• Aquisição Ativa: Em tarefas de aquisição sequencial de características, o MO-ARM iguala ou supera as baselines na redução do erro de previsão à medida que mais características são adquiridas, demonstrando a utilidade de suas distribuições condicionais para tomada de decisão.

Significado e Alegações

O artigo alega que o MO-ARM constitui uma ferramenta poderosa e anteriormente subestimada para raciocínio sob dados incompletos. Os autores argumentam que modelos autoregressivos agnósticos à ordem oferecem uma alternativa prática e principial às abordagens baseadas em variáveis latentes (VAE) e difusão para problemas de dados ausentes. As vantagens principais destacadas incluem:

• Verossimilhanças Tratáveis: Ao contrário de GANs ou VAEs aproximados, os MO-ARMs fornecem verossimilhanças exatas.
• Condicionamento Arbitrário: Ao contrário dos ARMs clássicos, eles suportam condicionamento em subconjuntos arbitrários de variáveis observadas.
• Eficiência: Eles podem ser consultados repetidamente à medida que as observações são reveladas, apoiando a tomada de decisão sequencial sem a necessidade de longas cadeias de amostragem iterativa exigidas por modelos de difusão.

Os autores reconhecem limitações, observando que a geração exata permanece cara em configurações de alta dimensionalidade (embora mitigada por desmascaramento bloqueado) e que o desempenho degrada à medida que o contexto observado se torna extremamente esparsos. Eles também notam que, embora o framework se estenda a MNAR, esse regime permanece mais desafiador do que MCAR e merece estudos adicionais.