Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

No hospital moderno, a história de um paciente é frequentemente contada não apenas pelo que é escrito, mas pelo que está faltando. Quando um médico solicita um exame de sangue, o resultado aparece no registro eletrônico. Mas se o exame nunca for solicitado, ou se a máquina falhar ao enviar os dados, o registro mostrará um espaço em branco. Por décadas, pesquisadores que analisavam esses arquivos digitais massivos trataram esses espaços em branco como simples erros a serem corrigidos ou ignorados. Eles assumiram que um resultado de laboratório ausente era apenas um número faltando, sem relação com a condição do paciente ou com os hábitos do hospital. No entanto, na realidade, um valor ausente é frequentemente uma mensagem. Pode significar que um médico decidiu que um teste não era necessário, ou que um hospital específico carece de equipamento para realizá-lo. Quando essas lacunas não são aleatórias, mas seguem padrões ligados ao hospital ou ao histórico do paciente, elas podem silenciosamente distorcer toda a imagem do que os dados estão dizendo.

Este é o desafio central explorado em um novo estudo que investigou como os pesquisadores lidam com essas peças de informação faltantes em bancos de dados de cuidados críticos. Os pesquisadores queriam saber se as formas padrão de preencher as lacunas estavam, de fato, alterando as respostas para questões médicas importantes. Eles focaram em um cenário específico e de alto risco: comparar o risco de morte no hospital entre diferentes grupos raciais e étnicos. O objetivo não era provar que um grupo é biologicamente mais frágil do que outro, mas ver se o método usado para limpar os dados poderia fazer parecer que havia uma diferença onde ela não existia, ou esconder uma diferença que estava realmente lá. Ao testar esses métodos contra uma verdade conhecida criada em uma simulação de computador, o estudo revelou que a escolha de como lidar com dados ausentes não é apenas um detalhe técnico; é uma decisão que muda fundamentalmente quem está sendo estudado e o que os resultados significam.

Os pesquisadores recorreram a duas coleções massivas de dados do mundo real de unidades de terapia intensiva nos Estados Unidos. Um banco de dados, conhecido como eICU, reuniu informações de 206 hospitais diferentes, capturando as diversas formas como o cuidado médico é entregue em todo o país. O outro, MIMIC-IV, veio de um único e grande hospital acadêmico. Eles focaram em oito testes de sangue comuns realizados dentro do primeiro dia de internação do paciente, tais como medições de glóbulos brancos, função renal e saúde hepática. No mundo real, esses testes nem sempre estão disponíveis. No banco de dados de hospital único, apenas cerca de 24% dos pacientes tinham todos os oito resultados registrados. No banco de dados de múltiplos hospitais, o número era ligeiramente superior, 36%, mas as lacunas estavam longe de serem aleatórias. Alguns hospitais tinham dados para quase todos os pacientes, enquanto outros tinham resultados ausentes para quase todos. Em alguns casos, hospitais inteiros não tinham valores registrados para testes específicos como lactato ou bilirrubina, sugerindo que os dados ausentes eram uma característica estrutural desses centros médicos específicos, não uma falha aleatória.

Para ver como essa ausência afetava os resultados, a equipe aplicou cinco métodos diferentes e padrão usados por cientistas para lidar com registros incompletos. Um método simplesmente descartava qualquer paciente com um único teste ausente. Outro preenchia as lacunas com o valor médio encontrado nos dados e adicionava uma nota dizendo que o valor estava ausente. Um terceiro método tentava ponderar os pacientes restantes para representar aqueles que foram descartados. Outros dois métodos usavam algoritmos de computador complexos para adivinhar os números ausentes com base nas outras informações disponíveis para aquele paciente, com uma versão tentando levar em conta o hospital específico onde o paciente foi tratado. Os pesquisadores então usaram essas cinco versões diferentes dos dados para calcular a diferença nas taxas de mortalidade entre grupos raciais.

Os resultados foram surpreendentes. Dependendo de qual método fosse usado, a estimativa da diferença nas taxas de mortalidade entre os grupos oscilava drasticamente. Em um caso, ao comparar pacientes asiáticos com pacientes brancos no banco de dados de hospital único, o método que simplesmente descartava registros incompletos sugeriu que os pacientes asiáticos tinham um risco de morte menor. No entanto, um método diferente que preenchia os números ausentes sugeriu que eles tinham um risco maior. O tamanho dessa oscilação foi de quase três pontos percentuais, uma diferença grande o suficiente para mudar completamente a conclusão do estudo. No banco de dados de múltiplos hospitais, as oscilações foram igualmente dramáticas, com as estimativas para pacientes hispânicos mudando de um risco menor para um risco maior, dependendo do fluxo de trabalho. O estudo mostrou que o método escolhido não apenas adicionou um pouco de ruído aos dados; ele mudou a direção do achado.

Para entender por que isso aconteceu, os pesquisadores construíram uma simulação de computador onde sabiam a verdade exata. Eles criaram um mundo virtual de 60 hospitais e milhares de pacientes, programando os dados ausentes para aparecerem em padrões específicos que mimetizavam o mundo real. Como eles conheciam a resposta verdadeira nesta simulação, puderam medir exatamente o quão errados cada método estava. Eles descobriram que, quando os dados ausentes estavam ligados à estrutura do hospital, mesmo os métodos mais sofisticados tinham dificuldades. O método que tentava levar em conta o contexto hospitalar teve um desempenho melhor do que alguns, mas não foi perfeito. Ele ainda produzia erros e intervalos de confiança muito estreitos para serem confiáveis. A simulação também revelou que nenhum método poderia corrigir totalmente o problema se os dados ausentes estivessem relacionados à gravidade não registrada do paciente de uma forma que o computador não pudesse ver. Quando a ausência era impulsionada por fatores que o modelo não poderia conhecer, todos os métodos permaneceram enviesados, produzindo estimativas que estavam erradas por vários pontos percentuais.

O estudo também examinou como a confiança dos pesquisadores em seus resultados era afetada. Na ciência, um resultado é geralmente acompanhado por uma faixa de incerteza, uma margem de erro que diz o quão certos estamos. Os pesquisadores descobriram que alguns métodos produziam intervalos que eram excessivamente apertados, dando uma falsa sensação de precisão. Na simulação, quando os dados ausentes eram densos e estruturados pelo hospital, os intervalos de confiança para alguns métodos cobriam a resposta verdadeira menos de 30% das vezes, embora devessem cobri-la 95% das vezes. Isso significa que, se um pesquisador usasse um desses métodos falhos, ele estaria afirmando estar muito certo sobre um resultado que era, na verdade, bastante instável. O estudo destacou que simplesmente relatar um número sem verificar como os dados ausentes foram tratados é como medir uma sala com uma régua que encolhe e expande dependendo da temperatura.

Uma das descobertas mais significativas foi que a escolha do método mudou a população que estava sendo estudada. Quando os pesquisadores simplesmente descartavam pacientes com dados ausentes, restava-lhes um grupo que parecia diferente da multidão original. Nos dados do mundo real, os pacientes que tinham todos os seus resultados laboratoriais eram frequentemente mais velhos ou tinham características diferentes daqueles que não os tinham. Ao preencher as lacunas com médias ou suposições complexas, os pesquisadores estavam efetivamente criando uma nova população sintética que poderia não existir no mundo real. O estudo mostrou que a diferença de risco "padronizada" que eles calcularam não era uma verdade universal sobre a doença, mas uma resposta específica a uma pergunta específica sobre um grupo específico de pessoas definido pelo método usado para limpar os dados.

Os pesquisadores concluíram que não existe uma solução única e mágica para dados ausentes em registros hospitalares. A ideia de que um modelo matemático mais complexo resolveria automaticamente o problema foi provada falsa em suas simulações. Mesmo um modelo que explicitamente tentasse levar em conta as diferenças entre os hospitais não garantiu um resultado preciso. O estudo argumenta que os pesquisadores devem parar de tratar os dados ausentes como uma etapa técnica de limpeza e começar a tratá-los como uma parte fundamental da pergunta que estão fazendo. Antes de tirar quaisquer conclusões, eles precisam mapear exatamente onde os dados estão faltando e por quê. Eles devem ser honestos sobre qual grupo de pessoas seus resultados realmente representam. E devem testar seus achados contra diferentes suposições sobre por que os dados estão faltando, reconhecendo que, se a ausência for impulsionada por fatores ocultos, os resultados podem estar errados.

Em última análise, este trabalho serve como um aviso e um guia para o futuro da pesquisa médica utilizando registros eletrônicos. Ele mostra que a maneira como lidamos com as lacunas em nossos dados pode ser tão importante quanto os dados que temos. Se ignorarmos os padrões de ausência, corremos o risco de construir o conhecimento médico sobre uma fundação que muda a cada mudança de metodologia. O estudo não oferece uma nova ferramenta perfeita para resolver o problema, mas fornece um mapa claro de onde estão as armadilhas. Ele sugere que o caminho a seguir exige transparência, testes rigorosos e uma disposição para aceitar que algumas perguntas sobre disparidades de saúde podem permanecer incertas até que possamos entender melhor por que os dados estão faltando. O objetivo não é encontrar um número perfeito, mas entender os limites do que nossos dados podem nos dizer.