📊 statistics

Missing Data Imputation under Manifold Hypothesis

Este artigo propõe um método de imputação de dados ausentes baseado em modelos que aproveita autoencoders variacionais de mistura e difusão no espaço latente para amostrar da distribuição condicional de valores ausentes, respeitando assim a geometria da variedade de dados subjacente ao mesmo tempo que fornece quantificação de incerteza e imputação eficiente em tempo real.

Autores originais: Zelong Bi, Amuchechukwu Ibenegbu

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zelong Bi, Amuchechukwu Ibenegbu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando terminar um mosaico gigante e intrincado, mas alguém recortou centenas de pequenas peças. Você consegue ver as peças ao redor e sabe que a imagem deve ser uma paisagem suave e fluida, não um amontoado irregular de cores aleatórias. Este é o luta diária dos cientistas de dados ao lidar com "dados ausentes". No mundo real, sensores quebram, pesquisas são ignoradas e registros são perdidos, deixando buracos em nossos mapas digitais. Por décadas, a maneira padrão de preencher esses buracos era adivinhar com base no que havia por perto, como um vizinho preenchendo uma parede vazia com os tijolos que sobraram na calçada. Mas e se a parede não for plana? E se a imagem for, na verdade, uma escultura curva e retorcida, como uma pista de montanha-russa ou uma fita torcida? Se você tentar preencher as lacunas em uma pista curva usando suposições de linhas retas e planas, acabará com uma peça que parece aceitável de perto, mas que cai da pista quando você se afasta.

Este artigo mergulha em um canto específico da matemática chamado "hipótese do manifold" (hipótese da variedade). Pense nisso como a ideia de que, embora nossos dados possam parecer uma nuvem caótica de pontos em uma sala enorme e de alta dimensão (imagine uma sala com centenas de direções para onde você pode se mover), os pontos na verdade vivem em uma superfície muito menor e mais suave escondida dentro dessa sala. É como perceber que todas as formigas em uma pilha caótica estão, na verdade, marchando em uma linha única e sinuosa sobre uma folha de papel. O artigo também utiliza "Autoencoders Variacionais" (VAEs), que são como câmeras inteligentes e flexíveis que podem aprender a pegar um objeto 3D complexo e achatá-lo em um desenho 2D simples, e depois reconstruir o objeto 3D perfeitamente a partir desse desenho. A grande questão é: se perdermos algumas partes do objeto 3D, podemos usar esse desenho 2D para descobrir exatamente como as peças que faltam deveriam ser, respeitando a curva da pista em vez de apenas adivinhar?

Os autores, Zelong Bi e Amuchechukwu Ibenegbu, propõem uma nova maneira de consertar esses mosaicos quebrados, tratando os dados como uma superfície curva em vez de uma folha plana. Eles argumentam que os métodos mais populares usados atualmente, como uma ferramenta chamada MissForest, são ótimos para encontrar padrões, mas frequentemente falham em respeitar a "geometria" dos dados. Para visualizar isso, imagine o MissForest tentando preencher um espaço vazio em um círculo desenhando uma linha reta através da lacuna; o resultado pode estar matematicamente próximo dos vizinhos, mas quebra o círculo. O método dos autores, no entanto, entende que os dados vivem em uma curva, então ele preenche a lacuna seguindo o arco, mantendo a forma intacta.

Para fazer isso, eles usam um truque de mágica em duas etapas. Primeiro, eles usam um "Mix de VAEs" (Mistura de Autoencoders Variacionais) para aprender a forma da superfície oculta. Imagine isso como ter uma equipe de artistas, cada um responsável por uma seção diferente da curva (como um artista para o topo da colina, outro para a base). Eles mapeiam os dados desordenados de alta dimensão para um "espaço latente" simples e de baixa dimensão, onde as curvas são fáceis de ver. Então, quando uma peça está faltando, eles não apenas adivinham; eles utilizam um procedimento estatístico chamado "Amostragem-Importância-Reamostragem" (SIR). Pense no SIR como um jogo de "batata quente" onde eles geram milhares de palpites possíveis para a peça ausente, mas só mantêm aqueles que se encaixam perfeitamente com as partes conhecidas da curva, descartando os que parecem estranhos ou fora de lugar. Isso permite que eles não apenas deem uma resposta, mas mostrem uma gama de respostas possíveis, quantificando efetivamente o quão incertos estão sobre o preenchimento.

Mas eles não pararam por aí. Eles perceberam que, às vezes, os artistas (os VAEs) não têm exemplos suficientes para aprender cada curva e volta da trajetória perfeitamente. Por isso, adicionaram um "processo de difusão conjunta". Imagine isso como uma névoa mágica que lentamente se dissipa. Você começa com um palpite completamente borrado e ruidoso da peça ausente e da forma da curva e o modelo lentamente "denoisa" (remove o ruído), refinando o palpite passo a passo até que ele se ajuste de forma nítida e perfeita, respeitando tanto os detalhes locais quanto a forma global. Isso acontece no espaço de baixa dimensão, tornando o processo muito mais rápido e eficiente do que tentar limpar o ruído na enorme sala de alta dimensão.

Os resultados de seus experimentos são bastante convincentes. Quando testaram seu método em dados sintéticos com formatos de círculos, esferas e donuts (toros), sua abordagem produziu imputações que preservaram muito melhor a verdadeira forma dos dados do que os métodos líderes. Embora o método padrão (MissForest) às vezes obtivesse uma "pontuação de erro" (RMSE) menor por simplesmente adivinhar números próximos aos vizinhos, ele frequentemente quebrava a forma geométrica. O método dos autores, no entanto, alcançou a menor "distância de Wasserstein", uma forma sofisticada de dizer que a forma geral e a distribuição dos dados preenchidos eram muito mais parecidas com a imagem original e ininterrupta.

Em conjuntos de dados do mundo real, como registros de supercondutores (materiais que conduzem eletricidade com resistência zero) e consumo de energia, os autores descobriram que seu método é um forte competidor. Ele teve um desempenho quase tão bom quanto o MissForest quando os dados estavam faltando de forma aleatória, mas brilhou quando os dados ausentes eram complicados ou quando uma grande quantidade deles havia sumido. Nesses cenários difíceis, seu método permaneceu robusto, enquanto outros começaram a desmoronar. Por exemplo, no conjunto de dados de supercondutividade, seu método manteve as menores taxas de erro mesmo quando a ausência de dados não era aleatória, sugerindo que compreender a geometria subjacente ajuda o modelo a adivinhar corretamente mesmo quando os dados estão se "escondendo" de forma não aleatória.

No entanto, o artigo é cuidadoso ao notar que isso não é uma varinha mágica para todos os problemas. O método depende fortemente da suposição de que os dados realmente seguem uma curva suave e de baixa dimensão (a hipótese do manifold). Se os dados forem apenas ruído aleatório ou não possuírem uma forma clara, o método pode enfrentar dificuldades. Eles também descobriram que, em um conjunto de dados pequeno como os dados de qualidade do vinho, o método não teve um desempenho tão bom, provavelmente porque não havia dados suficientes para ensinar os artistas a desenhar a curva. Nesses casos, métodos mais simples que apenas olham para os vizinhos mais próximos funcionaram melhor.

Em última análise, este artigo sugere que, ao combinar a compreensão geométrica do aprendizado de manifold com o poder generativo dos modelos de difusão, podemos preencher dados ausentes de uma maneira que pareça "correta" para a forma do universo de onde os dados provêm. É uma mudança de apenas tapar buracos com o tijolo disponível mais próximo para esculpir a peça que falta para que ela se ajuste perfeitamente à curva da parede. Embora exija mais poder computacional e um tipo específico de estrutura de dados para funcionar, oferece um caminho promissor para uma recuperação de dados mais precisa e confiável, especialmente em campos onde a forma dos dados é tão importante quanto os números em si.

Resumo Técnico: Imputação de Dados Ausentes sob a Hipótese da Variedade (Manifold Hypothesis)

Definição do Problema

A imputação de dados ausentes busca estimar e substituir sistematicamente valores faltantes em um conjunto de dados. Embora a hipótese da variedade (manifold hypothesis) postule que dados de alta dimensão se concentram próximo a uma variedade de baixa dimensão incorporada, os métodos de imputação convencionais têm falhado amplamente em aproveitar essa estrutura geométrica. Métodos de estado da arte atuais, como o MissForest, frequentemente falham em respeitar a geometria subjacente quando ela existe, levando a imputações que podem ser pontualmente precisas (baixo RMSE), mas geometricamente inconsistentes com a distribuição dos dados. Além disso, muitas abordagens atuais são transdutivas, o que significa que otimizam as imputações para um conjunto de dados específico sem aprender um modelo reutilizável, tornando-as ineficientes para lidar com novos dados ou imputação online.

Metodologia

O framework proposto aborda essas limitações combinando aprendizado de variedades com amostragem probabilística e modelos de difusão. A metodologia procede em três estágios principais:

1. Aprendizado de Variedade via VAEs de Mistura

A abordagem assume que os dados residem em uma variedade de baixa dimensão de dimensão intrínseca $d \ll p$ . Para capturar essa estrutura, os autores utilizam uma mistura de Autoencoders Variacionais (VAEs). Nesta formulação:

A variedade é coberta por múltiplas "cartas" (charts) sobrepostas.
Cada carta $c \in \{1, \dots, C\}$ está associada a um sistema de coordenadas local $z \in \mathbb{R}^d$ .
O modelo aprende um codificador $E_c$ e um decodificador $D_c$ para cada carta, aproximando as distribuições condicionais $p(z|x, c)$ e $p(x|z, c)$ como Gaussianas.
Esta formulação de múltiplas cartas permite que o modelo recupere fielmente a geometria subjacente, algo que VAEs de carta única frequentemente não conseguem fazer.

2. Imputação via Amostragem-Importância-Reamostragem (SIR)

A tarefa central de imputação é amostrar da distribuição condicional $p(x_{mis} | x_{obs})$ . Como a posterior conjunta $p(z, c | x_{obs})$ é intratável, os autores empregam um procedimento de Amostragem-Importância-Reamostragem (SIR):

Amostragem: Amostras latentes conjuntas $(z_k, c_k)$ são extraídas dos dados de treinamento usando o modelo de variedade aprendido.
Ponderação: Para um vetor observado específico $x_{obs}$ , os pesos são computados como $w_k = p(x_{obs} | z_k, c_k)$ .
Reamostragem: Um novo par latente $(z^*, c^*)$ é amostrado do conjunto de pares de treinamento de acordo com os pesos normalizados.
Geração: Os valores ausentes são gerados através da amostragem de $p(x_{mis} | z^*, c^*)$ , que é Gaussiana devido à estrutura do modelo.
Este processo resulta em uma imputação indutiva baseada em modelo que respeita tanto as restrições geométricas quanto as distribuicionais e permite a quantificação de incerteza.

3. Processo de Difusão Latente Conjunta

Para superar a limitação de estar restrito ao suporte das amostras observadas de treinamento, os autores introduzem um processo de difusão conjunta no espaço latente $(z, c)$ .

Processo de Avanço (Forward Process): Ruído é adicionado independentemente às coordenadas latentes contínuas $z_t$ e aos rótulos de carta discretos $c_t$ .
Processo Reverso (Reverse Process): Uma rede neural é treinada para prever as variáveis latentes limpas $(z_0, c_0)$ a partir do estado ruidoso $(z_t, c_t)$ e do passo de tempo $t$ .
Amostragem: O processo reverso permite a geração de amostras latentes de alta qualidade em uma escala arbitrária, que são então decodificadas para produzir as imputações. Isso melhora a qualidade da imputação, particularmente em regiões do espaço de dados não cobertas densamente pelo conjunto de treinamento original.

Principais Contribuições

Imputação Baseada em Modelo via SIR: Os autores propõem um procedimento que amostra diretamente de $p(x_{mis} | x_{obs})$ usando SIR, aproveitando as estruturas de variedade aprendidas. Esta abordagem é indutiva, suporta a imputação imediata (on-the-fly) sem necessidade de retreinamento e fornece quantificação de incerteza.
Difusão Latente Conjunta: Um novo processo de difusão conjunta é desenvolvido para o espaço latente, que atualiza simultaneamente as coordenadas contínuas e os rótulos de pertencimento de carta discretos. Isso melhora a geração de amostras de alta qualidade que preservam a geometria e a distribuição subjacentes.
Desempenho Consciente da Geometria: O método é projetado para respeitar a geometria intrínseca dos dados, abordando a falha dos métodos tradicionais em manter a consistência estrutural.

Resultados Experimentais

O método proposto foi avaliado em conjuntos de dados sintéticos (círculos, esferas, toros) e seis conjuntos de dados do mundo real (supercondutividade, energia, finanças, usina elétrica, vinho, expressão facial) sob mecanismos de Ausência Completamente ao Acaso (MCAR), Ausência ao Acaso (MAR) e Ausência Não Ao Acaso (MNAR).

Métricas: A avaliação utilizou o Erro Quadrático Médio (RMSE) e a distância de Wasserstein. Os autores observam que, enquanto o RMSE mede a precisão pontual, a distância de Wasserstein captura melhor o alinhamento com a geometria e a distribuição subjacentes.
Dados Sintéticos: O método proposto alcançou a menor distância de Wasserstein em todos os conjuntos de dados sintéticos, indicando uma preservação superior da estrutura geométrica em comparação com baselines como MissForest, MICE e GAIN.
Dados do Mundo Real:
- O método apresentou desempenho competitivo com o MissForest, muitas vezes superando-o conforme as taxas de ausência aumentavam ou sob mecanismos de ausência complexos (MAR/MNAR).
- No conjunto de dados de supercondutividade, o método demonstrou robustez, mantendo o menor RMSE médio e a menor distância de Wasserstein através dos mecanismos de ausência.
- Em tarefas de predição downstream (regressão linear nos dados de supercondutividade), o método proposto alcançou o melhor desempenho preditivo sob MNAR e o segundo melhor sob MCAR/MAR.
- O método mostrou limitações no conjunto de dados de vinho (pequeno tamanho de amostra), onde o KNN teve um desempenho melhor, sugerindo que o aprendizado de variedade confiável requer casos totalmente observados suficientes.

Significância e Alegações

O artigo afirma que sua principal significância reside em preencher a lacuna entre o aprendizado de variedades e a imputação de dados ausentes. Ao tratar a imputação como um problema de amostragem de uma estrutura geométrica aprendida, o método fornece uma maneira sistemática de preencher valores ausentes que são consistentes com a variedade intrínseca dos dados.

Os autores enfatizam que sua abordagem é indutiva, permitindo a imputação de novos pontos de dados sem a necessidade de reotimizar todo o procedimento, uma vantagem distinta sobre métodos transdutivos. Além disso, a natureza probabilística da amostragem permite a quantificação de incerteza das imputações, um recurso frequentemente ausente em métodos determinísticos.

O artigo reconhece modestamente as limitações: o método depende da suposição de que os dados satisfazem a hipótese da variedade, o que pode ser difícil de verificar na prática. Adicionalmente, devido à dependência de estruturas suaves, o método é primariamente adequado para variáveis contínuas e pode não ser diretamente aplicável a dados discretos sem modificações. Por fim, os autores observam que o desenvolvimento de métricas que capturem simultaneamente a fidelidade geométrica e a consistência de distribuição permanece como uma direção aberta para trabalhos futuros.