Resumo Técnico: ImputeViz

Declaração do Problema

Dados ausentes permanecem como uma barreira crítica na pesquisa científica, de ciências sociais e de saúde pública, frequentemente introduzindo viés e forçando analistas a depender de etapas de pré-processamento de "caixa-preta". Os fluxos de trabalho atuais frequentemente carecem de suporte para comparação visual entre métodos ou para a inspeção da proveniência dos valores imputados. Analistas são frequentemente compelidos a executar modelos sequencialmente, reconciliando mentalmente mudanças de escalas e parâmetros, o que dificulta o diagnóstico de mecanismos de ausência (MCAR, MAR, MNAR) e a seleção da estratégia de imputação mais apropriada baseada em evidências, em vez de familiaridade.

Metodologia e Design do Sistema

ImputeViz é um dashboard de análise visual integrada projetado para suportar o fluxo de trabalho completo de imputação: diagnóstico de ausência, configuração de modelos, comparação de resultados e inspeção de proveniência. O sistema é construído sobre um backend Python/FastAPI e um frontend React/TypeScript/D3.js.

Componentes Principais

1. Modelos de Imputação: O sistema integra algoritmos amplamente utilizados, incluindo MICE (IterativeImputer com cadeias de ridge), Random Forest, XGBoost, regressão linear e kNN não espacial.
2. gKNN (Geographically informed kNN): Uma contribuição inovadora do sistema, o gKNN estende o kNN padrão ao misturar distâncias socioeconômicas e espaciais. Ele computa uma matriz de distância $D_{blend} = \alpha D_{socio} + (1-\alpha) D_{geo}$, onde o peso de mistura $\alpha$ e o tamanho da vizinhança $k$ são otimizados via otimização Bayesiana usando dados de treinamento.
3. Estrutura de Avaliação: Para garantir uma comparação justa, o sistema aplica uma máscara de holdout aleatória consistente de 20% (e mascaramento estruturado para cenários do tipo supressão) em todos os algoritmos. Ele reporta Erro Médio Absoluto (MAE), Erro Quadrático Médio (RMSE), $\Delta$RMSE e tempo de execução.
4. Interface de Análise Visual: O dashboard apresenta sete painéis coordenados (Figura 2) que facilitam um fluxo de trabalho iterativo:
   • Diagnóstico: Mapas de calor e resumos de co-ausência revelam estruturas de ausência e correlações com covariáveis.
   • Comparação: Uma tabela de "Resumo de Comparação de Métodos" classifica os algoritmos por métricas de desempenho.
   • Validação: Gráficos de dispersão e histogramas vinculados com escalas de eixos travadas permitem que analistas inspecionem visualmente mudanças distributivas e a preservação de relações ao alternar entre métodos.
   • Proveniência: Para dados geoespaciais, uma visualização de mapa geométrico expõe os condados doadores e suas contribuições, permitindo que analistas verifiquem se os valores imputados dependem de vizinhos geograficamente e socioeconomicamente plausíveis.

Objetivos de Design

O sistema é guiado por quatro objetivos principais:

• DG1: Tornar a ausência legível através de resumos imediatos e visualizações de relações pré-imputação.
• DG2: Permitir a comparação justa entre métodos via mascaramento consistente, tratamento de atributos e visualizações de escala estável.
• DG3: Suportar verificações de plausibilidade visual para detectar artefatos locais, distorções de cauda ou clusters implausíveis que métricas de erro agregadas podem ocultar.
• DG4: Preservar a proveniência e a interpretabilidade espacial, permitindo que usuários interroguem o "quem" e o "porquê" por trás de valores imputados específicos.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Um Fluxo de Trabalho de Análise Visual: Um ambiente agnóstico a métodos para diagnóstico de ausência e comparação entre métodos sob visualizações de escala estável e vinculadas, reduzindo a carga cognitiva durante a alternância de modelos.
2. Backend de Benchmarking: Um sistema que faz o cache de execuções por método e impõe uma avaliação consistente baseada em holdout, garantindo que as comparações sejam impulsionadas por evidências, em vez de uma reconciliação mental sequencial.
3. Algoritmo gKNN: Uma variante de kNN geograficamente informada com proveniência de doadores que pode ser diretamente interrogada na interface, misturando distâncias socioeconômicas e espaciais para melhorar a robustez em dados com autocorrelação espacial.

Resultados

O sistema foi avaliado em dois conjuntos de dados:

1. Mortalidade por Prescrição de Opioides nos EUA (2000–2022): Um conjunto de dados geoespacial com ausência estruturada (supressão em condados de baixa contagem).
2. Conjunto de Dados de Churn de Telecomunicações: Um conjunto de dados não geográfico usado para testar a imputação não espacial.

Descobertas de Desempenho:

• Contexto Espacial: No conjunto de dados de mortalidade por opioides, o gKNN alcançou o menor MAE médio em todas as configurações de mascaramento (Supressão, Intermediária e Aleatória), com ganhos mais significativos em configurações do tipo supressão, onde o contexto geográfico é crítico. Testes de Wilcoxon pareados confirmaram a superioridade do gKNN sobre o kNN padrão ($p \approx 0.0396$).
• Contexto Não Espacial: No conjunto de dados de churn de telecomunicações, o Random Forest superou o MICE e o gKNN, demonstrando que nenhum imputador é universalmente superior e que modelos não lineares flexíveis podem dominar em contextos puramente tabulares.
• Utilidade da Proveniência: Casos de estudo revelaram que, embora o kNN padrão pudesse alcançar pontuações de erro competitivas, ele às vezes dependia de doadores de longo alcance que eram socioeconomicamente similares, mas geograficamente distantes. A visualização de proveniência do gKNN permitiu que analistas identificassem esses descompassos e preferissem as estimativas do gKNN, que são mais localizadas e contextualmente apropriadas.

Usabilidade:
Em um estudo formativo com 7 participantes, o sistema recebeu uma pontuação média de 75,4 na Escala de Usabilidade do Sistema (SUS). Os participantes valorizaram especificamente a capacidade de alternar métodos com atualizações visuais imediatas e as escalas de eixos estáveis que facilitavam a comparação direta.

Significância e Alegações

O artigo afirma que o ImputeViz desloca o paradigma do tratamento de dados ausentes de uma tarefa preditiva para um problema de raciocínio analítico. Ao integrar execução, benchmarking quantitativo e visuais conscientes de proveniência, o sistema:

• Democratiza a Seleção de Métodos: Impede o "aprisionamento algorítmico" ao permitir que analistas selecionem estratégias baseadas em evidências específicas da estrutura de ausência de seus dados (ex: espacial vs. tabular).
• Aumenta a Confiança: Através da proveniência ao nível do doador e escalas visuais estáveis, torna o processo de imputação auditável, permitindo que analistas verifiquem se os valores emprestados são plausíveis dentro de seu contexto de domínio específico.
• Suporta a Robustez: Destaca que a imputação informada espacialmente melhora a precisão quando a ausência está estruturalmente ligada ao lugar, ao mesmo tempo em que reconhece que modelos não espaciais permanecem superiores em contextos puramente tabulares.

Os autores concluem que o sistema melhora a transparência e apoia a escolha de modelos baseada em evidências, embora notem limitações relativas aos custos computacionais para análises de incerteza mais ricas e escalabilidade em resoluções geográficas mais finas.