📊 statistics

Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

Este artigo introduz duas classes de gráficos de ausência baseados em clusters para analisar a recuperabilidade a partir de informações estruturais grosseiras, estabelecendo condições gráficas para recuperar distribuições conjuntas e efeitos causais a fim de esclarecer quando dados de ausência em nível de cluster são suficientes para inferência válida versus quando é necessária uma modelagem mais granular.

Autores originais: Willow Scott, Eugenio Valdano, Charles Assaad

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Willow Scott, Eugenio Valdano, Charles Assaad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça gigante para entender como diferentes partes de um sistema funcionam em conjunto — como a saúde mental, os hábitos sexuais e o status de HIV podem estar conectados. Mas há um problema: algumas peças do quebra-cabeça estão faltando. No mundo da ciência de dados, isso é chamado de "dados ausentes".

Geralmente, os cientistas tentam resolver isso examinando cada peça ausente individualmente. Eles perguntam: "Por que esta peça específica está faltando? É por causa da peça ao lado? Ou da que está do outro lado da sala?" Isso é como ter um mapa detalhado de cada rua de uma cidade.

No entanto, na vida real, muitas vezes não temos esse nível de detalhe. Podemos apenas saber que bairros inteiros (agrupamentos) de informações estão ausentes, sem saber exatamente qual casa no bairro está vazia. Este artigo, de Willow Scott e colegas, pergunta: Podemos ainda resolver o quebra-cabeça se tivermos apenas um mapa dos bairros, em vez das ruas individuais?

Os Dois Tipos de Mapas

Os autores introduzem duas maneiras de desenhar esses "mapas de bairro" para lidar com dados ausentes:

O Mapa de "Bairro Detalhado" (m-C-DMG):
Imagine que você sabe que o bairro "Comportamento Sexual" tem dados ausentes. Neste mapa, você ainda mantém o registro de qual casa específica naquele bairro está vazia. Você sabe que a casa "Uso de Preservativo" está faltando, mas a casa "Número de Parceiros" está presente. Você mantém os indicadores individuais de ausência separados, mesmo agrupando-os em um bairro.
- Analogia: Você sabe que o distrito "Centro" tem um apagão, mas ainda tem uma lista de exatamente quais postes de iluminação estão apagados.
O Mapa de "Bairro Embaçado" (cm-C-DMG):
Este é um mapa mais grosseiro. Aqui, você apenas sabe que todo o bairro "Comportamento Sexual" está com problemas. Você não sabe se é a casa "Uso de Preservativo" ou a casa "Número de Parceiros" que está faltando; você vê apenas um grande letreiro "Ausente" sobre todo o distrito.
- Analogia: Você vê um letreiro de "Apagão no Distrito do Centro", mas não faz ideia de quais postes de iluminação específicos são afetados.

A Grande Descoberta: O Que Ainda Podemos Aprender?

O artigo explora se ainda podemos descobrir a imagem completa (a "distribuição conjunta") ou as relações de causa e efeito (como "O comportamento A causa o resultado B?") usando esses mapas embaçados.

1. O Mapa "Embaçado" é Menos Poderoso
Os autores descobriram que o mapa de "Bairro Embaçado" (cm-C-DMG) é um certo retrocesso. Como ele funde todos os detalhes ausentes em um único bloco grande, às vezes esconde pistas necessárias para resolver o quebra-cabeça.

A Metáfora: Se você só sabe que o distrito "Centro" tem dados ausentes, pode assumir que todo o distrito é pouco confiável. Mas no mapa "Detalhado", você pode perceber que apenas uma casa específica está faltando, e o resto do distrito está, na verdade, bem. O mapa embaçado pode fazer você descartar bons dados pensando que tudo está ruim, enquanto o mapa detalhado permite salvá-los.
A Regra: Se você pode resolver o quebra-cabeça usando o mapa "Embaçado", certamente pode resolvê-lo com o mapa "Detalhado". Mas o inverso não é verdadeiro. Às vezes, o mapa "Detalhado" permite resolver um quebra-cabeça que o mapa "Embaçado" torna impossível.

2. Resolver o Quebra-cabeça (Recuperando a Distribuição Conjunta)
O artigo fornece um conjunto específico de regras (uma lista de verificação) para ver se você pode reconstruir a imagem completa a partir dos dados ausentes.

A Regra: Você pode recuperar a imagem completa se os sinais "Ausente" não tiverem uma conexão direta e sorrateira com os dados que deveriam estar escondendo.
Analogia: Imagine um detetive tentando encontrar um relógio roubado. Se o ladrão (o mecanismo de dados ausentes) está parado ao lado do relógio sussurrando segredos para ele, o detetive não consegue descobrir o que aconteceu. Mas se o ladrão está em outro cômodo e o único caminho entre eles é bloqueado por um "colisor" (uma terceira pessoa que bloqueia o caminho), o detetive ainda pode resolver o caso. O artigo diz: desde que os sinais "Ausente" não estejam sussurrando diretamente para os dados ou conectados por um tipo específico de caminho secreto, você pode reconstruir a história completa.

3. Descobrindo Causa e Efeito (Efeitos Causais Macroscópicos)
Os autores também examinaram se podemos descobrir causa e efeito (por exemplo, "Mudar o comportamento X causa uma mudança no resultado Y?") mesmo quando os dados estão ausentes.

A Surpresa: Nem sempre é necessário reconstruir todo o quebra-cabeça para saber como uma peça afeta outra.
Analogia: Você pode não conseguir reconstituir toda a imagem do quebra-cabeça da cidade, mas ainda pode provar que "engarrafamentos causam atrasos" olhando apenas as peças de tráfego e relógio.
O artigo mostra que, mesmo que o mapa "Embaçado" torne impossível conhecer o estado completo do sistema, ainda pode ser possível descobrir relações específicas de causa e efeito usando um conjunto de regras lógicas (chamadas "do-cálculo").

Por Que Isso Importa?

No mundo real, os cientistas frequentemente não têm dados perfeitos. Eles podem saber que "Saúde Mental" e "Comportamento Sexual" estão ligados, mas não conhecem a relação exata entre cada pergunta da pesquisa.

Este artigo nos diz:

Não há problema em agrupar dados em clusters se for necessário, mas precisamos ter cuidado.
Se agruparmos demais (usando o mapa "Embaçado"), podemos perder a capacidade de responder a certas perguntas.
No entanto, mesmo com um mapa embaçado, muitas vezes ainda podemos responder a importantes perguntas "E se?" sobre causa e efeito, desde que sigamos os passos lógicos corretos.

Em resumo, o artigo fornece um conjunto de ferramentas para que os cientistas saibam exatamente quanto detalhe precisam coletar. Se tiverem um mapa "Embaçado", agora sabem quais perguntas ainda podem responder e quais exigem que voltem e obtenham um mapa "Detalhado".

Resumo Técnico: Dados Ausentes e Grafos de Clusters

Declaração do Problema
Dados ausentes são um desafio pervasivo em domínios científicos como saúde pública, ciências ambientais e ciências sociais. Embora a teoria clássica de dados ausentes (por exemplo, Rubin [1976], Mohan et al. [2013]) forneça estruturas rigorosas para recuperabilidade usando modelos de ausência de variáveis totalmente especificados (especificamente m-ADMGs), muitas aplicações modernas carecem do conhecimento granular necessário para especificar esses modelos. Na prática, as variáveis são frequentemente agrupadas em clusters devido ao conhecimento limitado, requisitos de interpretabilidade ou à disponibilidade apenas de informações estruturais agregadas. Por exemplo, em estudos de risco de HIV, o "comportamento sexual" pode ser tratado como um cluster de medidas (por exemplo, uso de preservativo, número de parceiros) onde as relações internas não são especificadas. Os métodos existentes lutam para abordar a recuperabilidade quando apenas essas representações abstratas, em nível de cluster, dos mecanismos de ausência estão disponíveis.

Metodologia
Os autores introduzem duas classes de grafos de ausência abstratos projetados para operar no nível de cluster, mantendo compatibilidade com os modelos causais estruturais subjacentes em nível de variável:

m-C-DMG (m-DMG de ausência): Esta abstração retém os indicadores de ausência específicos de variável ( $R_X$ ) para cada variável dentro de um cluster, mas representa as relações causais entre variáveis no nível de cluster. Ela preserva a distinção entre os mecanismos de ausência de variáveis individuais dentro do mesmo cluster.
cm-C-DMG (m-DMG de ausência clusterizada): Esta é uma abstração mais grosseira, onde todos os indicadores de ausência em nível de variável dentro de um cluster específico são fundidos em um único vértice de ausência em nível de cluster ( $R_C$ ). Esta representação agrega mecanismos de ausência, perdendo a distinção entre as causas de ausência de variáveis específicas.

O artigo formaliza o conceito de compatibilidade entre esses grafos abstratos e o conjunto de m-ADMGs subjacentes em nível de variável. Uma consulta é definida como recuperável em um grafo abstrato se puder ser estimada consistentemente para cada m-ADMG em nível de variável compatível com esse grafo abstrato. Os autores utilizam ferramentas da inferência causal, incluindo d-separação, grafos mutilados e o do-cálculo, adaptados para esses grafos baseados em clusters (que podem conter ciclos, ao contrário dos ADMGs padrão).

Principais Contribuições e Resultados

Hierarquia de Abstração e Recuperabilidade: Os autores estabelecem uma relação de inclusão estrita entre as classes de compatibilidade dos dois grafos. A classe de compatibilidade de um m-C-DMG é um subconjunto da de seu cm-C-DMG correspondente. Consequentemente, se uma consulta é recuperável a partir de um cm-C-DMG, ela é necessariamente recuperável a partir do m-C-DMG correspondente. No entanto, o inverso não se aplica; o cm-C-DMG pode suprimir distinções específicas de variáveis essenciais para a recuperação, tornando algumas consultas não recuperáveis no nível de cluster, mesmo que sejam recuperáveis no nível de variável.
Recuperabilidade de Distribuições Conjuntas: O artigo fornece condições gráficas necessárias e suficientes para recuperar a distribuição conjunta de clusters ($Pr(C)$) a partir de m-C-DMGs e cm-C-DMGs. A condição exige que, para qualquer cluster parcialmente observado $C_X$ , $C_X$ e seu indicador de ausência associado $R_X$ não sejam vizinhos, e que não haja um caminho entre eles onde todos os vértices intermediários sejam colapsadores pertencentes ao conjunto de clusters parcialmente ou totalmente observados. Este resultado estende os critérios de recuperabilidade de Mohan e Pearl [2014] para grafos de clusters, demonstrando que a aciclicidade não é essencial para este tipo específico de recuperabilidade.
Recuperabilidade de Efeitos Causais Macro: Os autores derivam condições para recuperar efeitos causais macro (por exemplo, o efeito de um cluster $C_X$ sobre um cluster $C_Y$ ) usando o do-cálculo adaptado para grafos de clusters. Eles demonstram, por meio de exemplos, que a recuperabilidade de um efeito causal macro não depende estritamente da recuperabilidade da distribuição conjunta completa. Um efeito causal pode ser identificável mesmo quando a distribuição conjunta não o é, desde que condições específicas de d-separação em grafos mutilados permitam a remoção de operadores do e indicadores de ausência.

Significância e Afirmações
O artigo afirma contribuir para a compreensão teórica de problemas de dados ausentes sob abstração estrutural. Sua significância principal reside em esclarecer quando informações de ausência em nível de cluster são suficientes para inferência válida e quando modelagem mais granular é necessária. Ao formalizar o trade-off entre a simplicidade de representações abstratas e a perda de informações sobre mecanismos de ausência específicos, o trabalho fornece uma maneira principiante de analisar cenários onde apenas conhecimento estrutural grosseiro está disponível.

Os autores observam que seus resultados são conservadores: uma consulta considerada não recuperável a partir de um grafo abstrato pode ainda ser recuperável em grafos específicos compatíveis em nível de variável. Além disso, a utilidade do cm-C-DMG depende de se o agrupamento escolhido preserva as informações de ausência relevantes para a consulta alvo. O artigo conclui identificando questões em aberto, incluindo a completude das condições derivadas para efeitos causais macro e o desenvolvimento de algoritmos diretos para recuperabilidade nesses grafos abstratos.

Os Dois Tipos de Mapas

A Grande Descoberta: O Que Ainda Podemos Aprender?

Por Que Isso Importa?

Resumo Técnico: Dados Ausentes e Grafos de Clusters

Mais como este