Unmeasured but Not Unbiased: The Missingness Demographic Leakage Audit (MDLA) for Calibration-Aware Fairness Evaluation in Critical Care Mortality Prediction

Este artigo apresenta a Auditoria de Vazamento Demográfico de Dados Ausentes (MDLA), um framework reprodutível que revela como padrões de dados clínicos ausentes em modelos de mortalidade em cuidados críticos podem atuar como proxies demográficos sutis e não medidos, tornando necessária a integração de auditoria consciente da ausência de dados e avaliação consciente da calibração nos pipelines de validação de IA clínica.

O essencial

Imagine que você está tentando prever quem pode ficar doente na unidade de terapia intensiva (UTI) de um hospital usando um programa de computador. Você alimenta o programa com dados como frequência cardíaca, pressão arterial e resultados de exames laboratoriais. Normalmente, quando pesquisadores verificam se esse programa é "justo", eles olham para os números que ele vê. Eles perguntam: "O programa comete os mesmos erros para pacientes negros que para pacientes brancos?"

Mas este artigo aponta uma enorme área cega. Ele faz uma pergunta diferente: "O que o programa aprende com os números que estão faltando?"

Aqui está a história do artigo, decomposta em conceitos e analogias simples.

1. A "Pista Silenciosa" (O Problema)

Imagine que você está tentando adivinhar a origem de alguém apenas olhando para sua lista de compras.

• A Maneira Óbvia: Você olha para o que eles compraram (por exemplo, "Eles compraram couve, então podem ser conscientes da saúde").
• A Maneira Oculta: Você olha para o que eles não compraram. Talvez eles nunca tenham comprado um tipo específico de carne cara porque a loja local não a tem em estoque, ou devido à quantidade de dinheiro que possuem.

Na UTI, os médicos solicitam exames (como gases sanguíneos) para os pacientes. Às vezes, um exame está faltando.

• Visão Padrão: "Ah, o exame está faltando. Vamos apenas estimar o valor ou ignorá-lo."
• Visão deste Artigo: "Espere! O fato de o exame estar faltando pode, na verdade, ser uma pista secreta sobre a raça ou o status de seguro do paciente."

Os autores descobriram que, em seus dados, certos exames estavam faltando muito mais frequentemente para pacientes negros do que para pacientes brancos. Não foi aleatório; foi um padrão. O programa de computador, se for inteligente o suficiente, pode acidentalmente aprender a usar esses padrões de "falta" como um atalho para adivinhar a raça do paciente, mesmo que você nunca tenha informado a raça do paciente.

2. A Ferramenta do Detetive: MDLA

Para pegar essa "pista silenciosa", os autores construíram uma nova ferramenta chamada MDLA (Auditoria de Vazamento Demográfico por Ausência). Pense nisso como um detector de metais para viés oculto.

Em vez de apenas verificar a resposta final que o computador dá, o MDLA verifica as "pegadas" deixadas pelos dados ausentes.

• Passo 1: Eles criaram uma lista de "Bandeiras de Ausência" (como uma lista de verificação onde um marcador significa "Este exame foi pulado").
• Passo 2: Eles perguntaram a um modelo de computador simples: "Você consegue adivinhar a raça de um paciente apenas olhando para esta lista de verificação de exames ausentes?"
• O Resultado: Sim! O modelo conseguiu adivinhar a raça melhor do que virando uma moeda. Isso provou que a ausência de dados carrega informações demográficas.

3. O Momento "Eureca": O Computador Está Usando a Pista

A parte mais importante do artigo é o que acontece quando eles permitem que o modelo principal de previsão veja essas "Bandeiras de Ausência".

• O Experimento: Eles treinaram um modelo para prever o risco de morte. Primeiro, deram a ele apenas os números reais (frequência cardíaca, etc.). Depois, deram a ele os números reais mais as "Bandeiras de Ausência".
• A Surpresa: Quando o modelo foi permitido ver as "Bandeiras de Ausência", a lacuna no desempenho entre diferentes grupos raciais ficou pior.
• A Analogia: Imagine um aluno fazendo uma prova. Se ele for permitido espiar uma cola que diz "Se o professor não fez a Pergunta 5, o aluno provavelmente é do Grupo A", o aluno pode começar a adivinhar com base nisso em vez da matemática real. O artigo descobriu que o computador estava fazendo exatamente isso: estava usando os padrões de "exame faltante" como um atalho, o que tornava as previsões menos justas para certos grupos.

4. Consertando o "Termômetro Quebrado" (Calibração)

O artigo também analisou o quão "confiante" o computador estava em suas respostas.

• O Problema: Às vezes, o computador diz: "Há 20% de chance de morte", mas para pacientes negros, a taxa real de morte pode ser 30%. O computador está "mal calibrado" para aquele grupo. É como um termômetro que sempre lê 5 graus abaixo para um quarto específico.
• A Solução: Os autores tentaram diferentes maneiras de "recalibrar" o computador. Eles descobriram que um conserto simples chamado Escala Global de Platt funcionou melhor.
• O Resultado: Este conserto simples tornou a confiança do computador muito mais precisa (reduzindo erros em 94%) sem piorar as previsões gerais. É como ajustar o termômetro para que ele leia a temperatura correta para todos, sem precisar construir um termômetro totalmente novo.

5. A Grande Conclusão

O artigo conclui com uma mensagem clara para qualquer pessoa que constrói ou usa essas ferramentas de IA hospitalar:

"Dados ausentes não são apenas um erro; são uma mensagem."

Se você ignorar o fato de que certos exames estão faltando com mais frequência para certos grupos, sua IA pode estar secretamente usando essas lacunas para tomar decisões injustas. Antes de permitir que uma IA ajude a tomar decisões de vida ou morte em um hospital, você precisa realizar uma "Auditoria de Ausência" (como a ferramenta MDLA) para garantir que o computador não esteja dependendo desses atalhos ocultos e injustos.

Em resumo: O artigo não encontrou apenas um bug; encontrou uma maneira totalmente nova de os bugs se esconderem (nos espaços vazios dos dados) e deu aos médicos uma nova lista de verificação para encontrá-los antes que causem danos.

Resumo técnico

1. Declaração do Problema

Modelos de predição clínica treinados em Registros Eletrônicos de Saúde (RES) são auditados rotineiramente quanto à equidade com base em valores de características observadas. No entanto, existe uma ponto cego crítico: auditorias padrão ignoram os padrões de dados ausentes. Em cuidados intensivos, a ausência de medições (por exemplo, valores laboratoriais, sinais vitais) frequentemente não é aleatória (Ausente Não Aleatoriamente - MNAR). Em vez disso, os padrões de ausência podem refletir inequidades estruturais, diferenças nas práticas de solicitação e disponibilidade de recursos vinculados à raça, status de seguro e posição socioeconômica.

Os autores hipotetizam que esses "padrões de ausência" funcionam como proxies demográficos latentes. Se modelos de aprendizado de máquina aprenderem inadvertidamente com esses indicadores de ausência, podem codificar viés demográfico sem usar explicitamente variáveis demográficas, um caminho invisível para auditorias padrão de equidade.

2. Metodologia

O estudo introduz a Auditoria de Vazamento Demográfico por Ausência (MDLA), um framework de informática reprodutível de quatro etapas, e aplica-o à predição de mortalidade em UTI.

• Conjuntos de Dados:
  • Desenvolvimento: MIMIC-IV v2.2 (n=50.827 internações em UTI, centro único, Boston).
  • Validação Externa: eICU-CRD v2.0 (n=137.773 internações em UTI, multicêntrico, 208 hospitais dos EUA).
  • Coorte total: ~188.600 internações de pacientes.
• Engenharia de Características:
  • 43 características clínicas (20 sinais vitais, 21 exames laboratoriais, 2 compostos).
  • 44 Indicadores Binários de Ausência: Criados para cada característica (incluindo as excluídas, como troponina), onde miss_X = 1 se o valor estava ausente.
• Framework MDLA (4 Etapas):
  1. Construção de Indicadores: Criação de bandeiras binárias para ausência antes da imputação.
  2. Teste de Previsibilidade Demográfica: Treinamento de uma regressão logística multinomial apenas nos 44 indicadores de ausência para prever raça/etnia e tipo de seguro.
  3. Associação Nível de Característica: Testes de qui-quadrado (corrigidos por Bonferroni) para vincular indicadores específicos de ausência a grupos demográficos, quantificados pelo V de Cramér.
  4. Ablação de Dependência do Modelo: Retreinamento de modelos XGBoost com e sem os indicadores de ausência para medir a mudança na disparidade racial de AUROC.
• Auditoria de Equidade e Calibração:
  • Avaliados cinco critérios: Odds Equilibrados, Oportunidade Equitativa, Paridade Demográfica, Paridade Preditiva e Equidade de Calibração (Erro de Calibração Esperado - ECE).
  • Testadas seis estratégias de recalibração post-hoc (Platt Global, Platt Condicional por Grupo, Isotônica, Escala de Temperatura Consciente de Equidade) em uma Fronteira de Pareto de Equidade-Utilidade.
• Padrões: Seguiu as diretrizes TRIPOD+AI; todos os parâmetros de pré-processamento foram derivados do conjunto de desenvolvimento e aplicados sem modificação à validação externa.

3. Contribuições Principais

1. Framework MDLA: Um protocolo estruturado para detectar sinais demográficos "codificados na ausência", provando que padrões de ausência carregam informações demográficas estatisticamente significativas.
2. Evidência de Ablação: Demonstrou que adicionar indicadores de ausência aos modelos aumenta a disparidade de desempenho racial sem melhorar a precisão global, confirmando que os modelos dependem desses caminhos sutis de viés.
3. Solução Centrada em Calibração: Identificou que a Escala de Platt Global é a estratégia post-hoc ótima, alcançando melhorias massivas na calibração com perda zero de discriminação, e transferindo-se com sucesso para validação externa sem retreinamento.
4. Validação Empírica: Validou as descobertas em dois bancos de dados distintos e institucionalmente diversos (centro único vs. multicêntrico) totalizando quase 190.000 pacientes.

4. Resultados Principais

A. Ausência como Proxy Demográfico (Etapas 1–3 da MDLA)

• Previsibilidade: Padrões de ausência sozinhos previram a pertença ao grupo racial com um AUROC de 0,543 (IC 95%: 0,540–0,546) e o tipo de seguro com AUROC 0,534.
• Características Significativas: 18 das 43 características mostraram associações significativas por Bonferroni com a raça.
• Lacunas Específicas: Medições de gases arteriais (PaCO₂, PaO₂, pH) apresentaram as maiores lacunas de ausência racial (até 14 pontos percentuais; por exemplo, pacientes negros tiveram 51,6% de ausência vs. 47,9% para pacientes brancos).
• Tamanho do Efeito: Embora estatisticamente significativos, os tamanhos de efeito foram pequenos (todos os V de Cramér < 0,10), indicando um sinal sutil, mas pervasivo.

B. Dependência do Modelo (Etapa 4 da MDLA)

• Impacto da Ablação: Quando o XGBoost foi treinado com indicadores de ausência adicionados ao conjunto de características, a disparidade racial de AUROC aumentou 10,7% (de 0,063 para 0,069).
• Desempenho Global: O AUROC global permaneceu estável (0,910 vs. 0,912), provando que o modelo estava ponderando sinais demográficos via ausência em vez de melhorar a predição clínica.

C. Desempenho de Equidade e Calibração

• Desempenho Interno: O XGBoost alcançou AUROC=0,910. No entanto, exibiu lacunas significativas de equidade, com uma lacuna de Odds Equilibrados (TPR) de 0,214 entre grupos raciais.
• Validação Externa: O modelo sofreu uma lacuna de generalização (AUROC caiu para 0,799) e má calibração severa (ECE=0,377).
• Teorema da Impossibilidade: O estudo confirmou que taxas basais de mortalidade diferentes entre subgrupos tornam matematicamente impossível satisfazer simultaneamente Odds Equilibrados, Paridade Preditiva e Equidade de Calibração. Os autores argumentam que a Equidade de Calibração é o critério clinicamente crítico para predição de risco.

D. Estratégias de Recalibração

• Escala de Platt Global: Reduziu o erro de calibração geral (ECE) em 94% (de 0,124 para 0,007) internamente e em 69% externamente, com perda zero de AUROC.
• Falha Condicional por Grupo: Calibradores específicos por grupo (por raça) performaram pior que calibradores globais devido ao sobreajuste em subgrupos minoritários pequenos (por exemplo, hispânicos n≈400, asiáticos n≈200).
• Escala de Temperatura: Falhou em melhorar a calibração porque a má calibração do modelo era impulsionada pelo intercepto, enquanto a escala de temperatura ajusta apenas a dispersão dos logits.

5. Significado e Implicações

• Redefinição da Detecção de Viés: O artigo estabelece que "dados ausentes" não são meramente um incômodo a ser imputado, mas um potencial caminho de viés a montante. Auditorias padrão de equidade que olham apenas para valores observados perdem esse vazamento crítico.
• Implantação Clínica: Para IA clínica, a calibração (estimativa precisa de risco absoluto) é mais importante que a discriminação para a tomada de decisão. O estudo prova que uma recalibração simples e global (escala de Platt) pode corrigir má calibração severa sem sacrificar equidade ou desempenho, e generaliza-se bem para novos hospitais.
• Política e Governança: Os autores recomendam integrar Auditoria Consciente de Ausência e Avaliação Consciente de Calibração como etapas obrigatórias em pipelines de validação de IA clínica antes da implantação.
• Limitações: O estudo é retrospectivo; o sinal de ausência é sutil (requer grandes tamanhos de amostra para detecção); e a validação externa foi limitada pela falta de dados de seguro no banco de dados eICU.

Conclusão: O estudo conclui que a ausência de medições clínicas é um sinal demográfico estruturado. O framework MDLA fornece uma ferramenta necessária para detectar isso, e a escala de Platt global oferece um remédio robusto e implantável para garantir que os modelos sejam calibrados de forma justa em populações diversas.