Resumo Técnico: Além da Acurácia: Um Estudo Empírico de Estimativa de Incerteza em Imputação

1. Definição do Problema

Lidar com dados ausentes é uma etapa fundamental em pipelines de análise estatística e aprendizado de máquina. Embora os métodos modernos de imputação tenham avançado significativamente na reconstrução de valores ausentes com alta precisão pontual (por exemplo, minimizando MAE ou MSE), existe uma lacuna crítica na compreensão da confiabilidade e calibração das estimativas de incerteza que esses métodos produzem.

Em aplicações práticas, como saúde, finanças e ciências sociais, saber o quão confiante um modelo é em um valor imputado é tão crucial quanto o próprio valor. A incerteza confiável permite:

• Imputação Ativa: Priorizar entradas de alta incerteza para revisão por especialistas ou nova coleta de dados.
• Imputação Seletiva: Sinalizar estimativas que não devem direcionar decisões sensíveis (ex: aprovações de crédito).
• Robustez: Detectar quando um modelo opera fora de sua distribuição de treinamento (desvio de conjunto de dados).

Apesar da disponibilidade de métodos que geram incerteza (ex: Imputação Múltipla, abordagens Bayesianas, modelos generativos profundos), permanece incerto se essas estimativas de incerteza são calibradas — isto é, se as probabilidades nominais (ex: um intervalo de predição de 90%) correspondem às frequências empíricas de conter o valor verdadeiro. Além disso, os trade-offs entre acurácia pontual, qualidade de calibração e tempo de execução computacional através de diferentes mecanismos de ausência (MCAR, MAR, MNAR) são mal compreendidos.

2. Metodologia

2.1 Desenho Experimental

Os autores conduziram um estudo empírico sistemático comparando métodos de imputação representativos através de três grandes famílias:

1. Estatísticos/Baseados em Modelos: MICE (Imputação por Cadeias de Equações Múltiplas).
2. Matriciais/Baseados em Otimização: SoftImpute (recuperação de baixo rank) e OT-Impute (alinhamento de distribuição via Transporte Ótimo).
3. Generativos Profundos: GAIN (adversarial), MIWAE (inferência variacional) e TabCSDI (baseado em difusão).

Conjuntos de Dados e Mecanismos de Ausência:
O estudo utilizou cinco conjuntos de dados tabulares numéricos (habitação, biodegradação, câncer, energia, vinho). Valores ausentes foram injetados sinteticamente em taxas controladas (10–30%) sob três mecanismos:

• MCAR (Missing Completely at Random): Máscara aleatória uniforme.
• MAR (Missing at Random): Máscara dependente de características observadas.
• MNAR (Missing Not at Random): Máscara dependente do próprio valor ausente.

2.2 Estratégias de Extração de Incerteza

Para garantir uma comparação justa, o estudo padronizou a extração de incerteza em três rotas complementares:

1. Execuções Repetidas do Modelo: Executar o imputador múltiplas vezes com diferentes sementes ou dados de bootstrap (ex: MICE, GAIN multi-run). Isso captura a variabilidade da inicialização/treinamento.
2. Amostragem Condicional: Desenhar múltiplas amostras de uma distribuição condicional de um modelo treinado e fixo (ex: GAIN-S, MIWAE-S, TabCSDI-S). Isso sonda a incerteza aleatória.
3. Modelagem de Distribuição Preditiva: Usar modelos explicitamente treinados para produzir parâmetros de distribuição (média e variância) para cada célula (ex: GAIN-U, MIWAE-U).

2.3 Métricas de Avaliação

O estudo avaliou os métodos em dois eixos:

• Acurácia: Medida pelo Erro Absoluto Médio (MAE) nas células mascaradas.
• Calibração: Medida usando Curvas de Calibração (plotando cobertura empírica vs. confiança nominal) e o Erro de Calibração Esperado (ECE). Um ECE mais baixo indica que a confiança declarada pelo modelo se alinha com sua acurácia real.

3. Principais Contribuições

1. Estrutura Unificada Centrada em Incerteza: O artigo estabelece um protocolo padronizado para extrair e avaliar a incerteza através de diversos paradigmas de imputação (estatísticos, de otimização e aprendizado profundo), indo além do foco exclusivo na acurácia pontual.
2. Evidência Empírica de Desalinhamento: O estudo fornece evidências robustas de que alta acurácia de reconstrução não garante uma incerteza calibrada de forma confiável. Métodos que se destacam em predição pontual frequentemente falham em fornecer intervalos de confiança bem calibrados.
3. Análise Abrangente de Trade-offs: Os autores mapeiam os trade-offs entre acurácia, calibração e tempo de execução através de diferentes mecanismos de ausência (MCAR, MAR, MNAR) e características dos conjuntos de dados.
4. Insights Específicos por Método:
   • MICE: Demonstra a calibração mais estável e confiável entre os conjuntos de dados, apesar de possuir, por vezes, menor acurácia pontual.
   • SoftImpute: Alcança acurácia competitiva, mas exibe má calibração devido à sua natureza determinística e falta de modelagem de incerteza inerente.
   • Modelos Generativos Profundos (MIWAE, TabCSDI): Mostram potencial para equilibrar acurácia e calibração, mas incorrem em custos computacionais significativamente maiores.
   • GAIN: Embora acurado, o GAIN padrão produz incerteza superdispersa (subconfiante); variantes heterocedásticas (GAIN-U) melhoram a calibração, mas introduzem instabilidade no treinamento.

4. Principais Resultados

• Acurácia vs. Calibração: Um desalinhamento consistente foi observado. Por exemplo, o SoftImpute frequentemente ranqueia alto em MAE, mas possui alto ECE (má calibração). Inversamente, o MICE mantém um ECE baixo (boa calibração) mesmo quando seu MAE não é o menor.
• Impacto dos Mecanismos de Ausência: Tanto a acurácia quanto a calibração geralmente degradam de MCAR para MAR e para MNAR. No entanto, conjuntos de dados específicos (ex: habitação) mostraram exceções onde a colinearidade de características permitiu que as imputações MAR/MNAR superassem a MCAR.
• Desempenho de Aprendizado Profundo:
  • MIWAE alcança um equilíbrio favorável entre acurácia e calibração, utilizando amostragem ponderada por importância para aproximar a verdadeira distribuição dos dados.
  • TabCSDI (baseado em difusão) mostrou baixo ECE em conjuntos de dados com fortes correlações (vinho), mas exibiu confiança mista (sobre/subconfiança) em outros (energia).
  • Amostragem vs. Cabeças de Variância: Para GAIN e MIWAE, variantes que modelam explicitamente a variância (variantes-U) ou usam amostragem condicional (variantes-S) geralmente melhoraram a calibração em relação à abordagem vanilla de múltiplas execuções, embora ao custo de maior complexidade ou tempo de execução.
• Tempo de Execução: Métodos clássicos (MICE, SoftImpute) são geralmente mais rápidos. Modelos generativos profundos, particularmente o TabCSDI baseado em difusão, são computacionalmente caros devido ao treinamento e aos passos sequenciais de denoising.

5. Significância e Alegações

O artigo afirma que a escolha da estratégia de imputação deve ser impulsionada pelos requisitos da tarefa downstream, e não apenas pela acurácia.

• Para Tomada de Decisão Confiável: Em cenários que exigem supervisão humana, gestão de risco ou automação seletiva (ex: triagem médica), métodos que produzem incerteza bem calibrada (como MICE ou MIWAE) são preferíveis, mesmo que sacrifiquem alguma acurácia pontual.
• Para Eficiência e Velocidade: Quando velocidade e alta acurácia pontual são as principais restrições, métodos eficientes podem ser adequados, desde que suas estimativas de incerteza sejam calibradas post-hoc ou que a tarefa não dependa dos intervalos de confiança.

Os autores concluem que os métodos de imputação devem ser julgados não apenas por "o quão perto eles chegam em média", mas por "se sua confiança declarada corresponde às frequências observadas". Este trabalho serve como um guia para profissionais selecionarem imputadores conscientes da incerteza que se alinhem às necessidades de confiabilidade de pipelines de limpeza de dados e de aprendizado de máquina downstream.

Limitações e Direções Futuras:
O estudo é limitado a conjuntos de dados tabulares numéricos. Os autores observam que estender este framework para dados categóricos e de tipos mistos é um próximo passo necessário. Além disso, enquanto o estudo avalia a calibração geral, ele não separa explicitamente a incerteza aleatória da epistêmica, o que permanece como uma área aberta para investigação futura. Finalmente, o custo computacional dos modelos de difusão limitou sua avaliação em todos os conjuntos de dados.