📊 statistics

Correcting heterogeneous diagnostic bias when developing clinical prediction models using causal hidden Markov models

Este artigo propõe uma estrutura de modelo de Markov oculto causal para corrigir o viés diagnóstico heterogêneo em modelos de previsão clínica, estimando probabilidades de diagnóstico contrafactuais, melhorando significativamente a calibração e reduzindo erros sistemáticos em grupos subdiagnosticados, conforme demonstrado em simulações e em um estudo de caso de doença renal crônica.

Autores originais: Jose Benitez-Aurioles, Ricardo Silva, Brian McMillan, Matthew Sperrin

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jose Benitez-Aurioles, Ricardo Silva, Brian McMillan, Matthew Sperrin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Efeito do "Holofote"

Imagine um consultório médico como um quarto escuro, e os pacientes são pessoas caminhando nele. Algumas pessoas estão vestindo jaquetas brilhantes e refletivas (grupos de alto risco, como aqueles com diabetes), enquanto outras estão vestindo roupas escuras e foscas (grupos de menor risco ou menos monitorados).

Em um mundo perfeito, um médico iluminaria todos igualmente para ver se estão doentes. Mas, no mundo real, o médico tende a direcionar o holofote brilhante apenas para as pessoas nas jaquetas refletivas, porque elas parecem precisar de ajuda. As pessoas com roupas escuras frequentemente permanecem nas sombras.

O resultado: O médico encontra muitas pessoas "doentes" na luz brilhante, mas perde muitas pessoas "doentes" na escuridão. Se o médico então tentar criar um programa de computador para prever quem ficará doente no futuro, o programa aprenderá uma lição falsa: "Pessoas com roupas escuras estão saudáveis". Não é que elas estejam saudáveis; é apenas que ninguém as olhou de perto o suficiente para encontrar a doença.

Isso é o que o artigo chama de viés diagnóstico heterogêneo. Ocorre quando certos grupos (baseados em sexo, etnia ou status socioeconômico) são testados com menos frequência, levando a casos "ocultos" de doença.

A Solução: Uma Simulação de "Viagem no Tempo"

Os autores propõem uma nova maneira de corrigir isso usando um método que chamam de Modelo Oculto de Markov Causal (HMM).

Pense na saúde de um paciente não como uma única foto, mas como um rolo de filme.

A Parte Oculta: O filme tem cenas onde o paciente está realmente ficando mais doente (o estágio "latente" da doença), mas a câmera (o médico) ainda não está gravando. Não podemos ver essas cenas nos dados reais.
A Parte Visível: Só vemos as cenas onde a câmera está gravando (quando um teste é feito).

Os autores construíram uma "máquina do tempo" matemática (o HMM) que olha para as cenas visíveis e tenta adivinhar o que aconteceu nas cenas ocultas. Ela pergunta: "Se esta pessoa com roupas escuras estivesse vestindo uma jaqueta refletiva e fosse testada com a mesma frequência que o grupo de alto risco, teríamos encontrado a doença dela mais cedo?"

Como o Método Funciona (Passo a Passo)

Assistindo ao Filme: O computador analisa os dados do mundo real (quem foi testado, quando e qual foi o resultado).
Preenchendo as Lacunas: Usando o HMM, ele estima o filme "oculto". Ele adivinha que muitas pessoas que não foram testadas estavam realmente doentes, mas não diagnosticadas, assim como as pessoas nas sombras.
O Cenário "E Se": O computador então executa uma simulação. Ele pergunta: "E se forçássemos o médico a iluminar todos igualmente, assim como fazem com o grupo de alto risco?"
Reescrevendo o Roteiro: Com base nessa simulação, o computador cria uma nova versão "justa" dos dados. Nessa nova versão, as pessoas que anteriormente foram ignoradas agora são marcadas como "diagnosticadas", porque a simulação diz que elas teriam sido encontradas se o teste tivesse sido justo.
Treinando o Novo Modelo: Finalmente, eles treinam um novo modelo de previsão nesses dados "justos". Esse novo modelo não aprende o viés do mundo real; ele aprende o risco real da doença.

Os Resultados: Consertando a Bússola Quebrada

Os autores testaram isso de duas maneiras:

1. A Simulação (O Treino)
Eles criaram um mundo falso com 50.000 pacientes onde sabiam exatamente quem estava doente e quem não estava.

O Jeito Antigo: Um modelo padrão olhou para os dados e pensou que o grupo "desassistido" era muito mais saudável do que realmente era. Era como uma bússola apontando para o Norte quando deveria apontar para o Leste.
O Jeito Novo: O método HMM deles corrigiu a bússola. Eles perceberam que o grupo desassistido estava tão doente quanto os outros, apenas menos testado. A proporção "Observado vs. Esperado" (uma medida de precisão) caiu de um bagunçado 1,34 (significando que o modelo estava muito errado) para 1,02 (quase perfeito). Mesmo quando quebraram algumas de suas próprias regras (como tornar os testes imperfeitos), o novo método ainda funcionou melhor que o antigo.

2. O Teste do Mundo Real (Doença Renal Crônica)
Eles aplicaram isso a dados reais do Reino Unido (UK Biobank) sobre Doença Renal Crônica (DRC).

A Descoberta: Eles descobriram que ter Diabetes foi o maior fator para ser testado. Pessoas com diabetes foram testadas 10 vezes mais frequentemente do que aquelas sem diabetes.
O Viés: Por causa disso, modelos padrão subestimaram o risco para pessoas sem diabetes. Eles pensaram que essas pessoas estavam seguras, mas o HMM mostrou que elas estavam realmente em alto risco, apenas ignoradas pelo sistema.
O Conserto: Quando usaram seu novo método para prever o risco, o modelo parou de ignorar o grupo sem diabetes. A precisão para esse grupo saltou de um enviesado 1,55 (muitos casos perdidos) para um perfeito 1,01.

A Conclusão

O artigo argumenta que não podemos simplesmente ignorar "atributos protegidos" (como raça ou gênero) para corrigir o viés. Às vezes, esses atributos nos dizem quem está sendo testado e quem está sendo ignorado.

Ao usar essa simulação de "viagem no tempo", os autores criaram um modelo que separa o risco biológico real do viés sistêmico de testes. É como limpar uma janela suja: a vista lá fora (a verdadeira saúde do paciente) sempre esteve lá, mas a sujeira (o viés de teste) fazia parecer embaçada. O método deles limpa a janela, dando aos médicos uma imagem muito mais clara de quem realmente precisa de ajuda.

Resumo Técnico: Correção de Viés Diagnóstico Heterogêneo Usando Modelos Ocultos de Markov Causais

Declaração do Problema

Modelos de previsão clínica desenvolvidos usando registros eletrônicos de saúde (RES) rotineiros frequentemente sofrem de viés diagnóstico heterogêneo. No cuidado rotineiro, indivíduos identificados como de alto risco (devido a fatores clínicos) ou pertencentes a grupos demográficos específicos (por exemplo, sexo, etnia, status socioeconômico) são frequentemente testados com mais frequência do que outros. Isso resulta em atraso diagnóstico diferencial, onde certos grupos são subdiagnosticados ou diagnosticados mais tarde do que seriam sob condições de teste iguais.

Consequentemente, modelos treinados com tais dados aprendem a prever a taxa de diagnóstico observada em vez do risco real subjacente da doença. Isso leva a uma subestimação sistemática do risco para grupos subdiagnosticados, causando erros de calibração e potencial injustiça na tomada de decisão clínica. Abordagens padrão frequentemente falham em abordar isso porque o status real da doença é não observado para indivíduos não diagnosticados, e o viés é impulsionado pela interação entre atributos do paciente e o comportamento de teste do sistema de saúde.

Metodologia

Os autores propõem uma estrutura de inferência causal utilizando um Modelo Oculto de Markov (HMM) para corrigir esse viés. A abordagem envolve três componentes principais:

1. Modelagem Causal via Grafos Acíclicos Dirigidos (DAG)

Os autores definem um DAG onde:

$X_n$ : Covariáveis de linha de base (fatores de risco).
$A_n$ : Atributos de observabilidade (por exemplo, sexo, etnia, comorbidades) que influenciam tanto o risco da doença quanto a probabilidade de teste.
$\tilde{A}_n$ : A apresentação de $A_n$ afetando especificamente a decisão de teste condicional ao estágio da doença.
$S_{n,t}$ : Estágio latente da doença (0: Sem doença, 1: Estágio inicial, 2: Estágio tardio).
$R_{n,t}$ : Resultados do teste (Negativo, Positivo Inicial, Positivo Tardio ou Nenhum Teste).
$D_{n,t}$ : Diagnóstico (ocorre se um teste for positivo).

O objetivo é estimar um estimando contrafactual: a probabilidade de diagnóstico $P(D_{n,T}^{\tilde{A}_n=0} = 1 | X_n, A_n)$ , representando o risco se o indivíduo estivesse sujeito à taxa de teste de um grupo de referência (tipicamente o grupo com os menores atrasos diagnósticos), mantendo sua progressão real da doença e fatores de risco.

2. Formulação do Modelo Oculto de Markov

O processo longitudinal da doença é modelado como um HMM com:

Núcleo de Transição ( $Q$ ): Define a probabilidade de mover entre estágios da doença (0 $\to$ 1 $\to$ 2). Assume-se uma doença progressiva onde a regressão é impossível. A transição de "Sem doença" para "Estágio inicial" é governada por uma função de risco $h(X_n, A_n, t)$ , enquanto a transição de "Inicial" para "Tardio" é uma probabilidade constante $\beta_{S=1 \to 2}$ .
Probabilidades de Emissão ( $\Gamma$ ): Define a probabilidade de observar um resultado de teste $R_{n,t}$ dado o estágio latente $S_{n,t}$ e o atributo de observabilidade $A_n$ . Crucialmente, as taxas de teste para doença em estágio inicial ( $\beta_{S=1, A_n}^R$ ) são permitidas a variar por $A_n$ , capturando a heterogeneidade diagnóstica. As taxas de teste em estágio tardio são assumidas independentes de $A_n$ devido a sintomas graves.
Estado Inicial ( $\pi$ ): A distribuição de probabilidade do estágio da doença na linha de base.

Os parâmetros do modelo são estimados via máxima verossimilhança usando um algoritmo de forward e otimização baseada em gradiente (L-BFGS no PyTorch), marginalizando sobre os estados latentes não observados.

3. Imputação de Resultado Contrafactual

Uma vez ajustado o HMM, o método gera um conjunto de dados contrafactual para treinar um modelo de previsão padrão:

Reconstrução: O HMM estima a probabilidade da trajetória da doença latente para cada indivíduo dada sua história de teste observada.
Intervenção: As probabilidades de emissão são modificadas para refletir a taxa de teste do grupo de referência ( $\tilde{A}_n = 0$ ).
Imputação: Probabilidades de diagnóstico contrafactual ( $p_{n,T}^{cf}$ ) são calculadas. Para evitar inflar a incidência, os autores aplicam uma hipótese de monotonicidade: se um indivíduo foi diagnosticado na realidade ( $D=1$ ), ele permanece diagnosticado no contrafactual ( $D^{cf}=1$ ). Apenas indivíduos não diagnosticados ( $D=0$ ) no grupo subdiagnosticado são reimputados com base em sua probabilidade contrafactual.
Recalibração: As probabilidades contrafactuais para casos reimputados são reescaladas para garantir que a incidência contrafactual total corresponda à incidência populacional contrafactual estimada.
Treinamento: Um modelo padrão de regressão logística é treinado neste conjunto de dados reimputado para prever o resultado contrafactual.

Contribuições Principais

Estrutura HMM Causal: O artigo introduz uma aplicação novel de HMMs causais para modelar e corrigir explicitamente o atraso diagnóstico diferencial em doenças progressivas, indo além da simples correção de rótulos.
Identificabilidade e Robustez: Através de simulações, os autores demonstram que os parâmetros do HMM são identificáveis e que a abordagem permanece robusta mesmo quando as hipóteses (como sensibilidade perfeita do teste ou taxas de progressão uniformes) são violadas.
Aplicação no Mundo Real: O método é aplicado a um grande conjunto de dados do UK Biobank para prever a incidência de 5 anos de Doença Renal Crônica (DRC), corrigindo com sucesso o viés em múltiplos subgrupos.
Justiça Centrada nos Dados: A abordagem alinha-se com a justiça "centrada nos dados" ao modelar os mecanismos de gravação de dados (comportamento de teste) que geram viés, em vez de simplesmente remover atributos protegidos do modelo.

Resultados

Estudos de Simulação

Em simulações com 50.000 pacientes, o método proposto superou significativamente os modelos padrão "Ingênuo" (treinado em dados observados) e "Cego" (treinado sem atributos protegidos):

Calibração: A razão Observado:Esperado (O:E) para o grupo subdiagnosticado melhorou de 1,34 (Ingênuo) para 1,02 (Proposto), indicando calibração quase perfeita.
Robustez: Mesmo quando as hipóteses foram violadas (por exemplo, sensibilidade imperfeita do teste ou taxas de progressão variáveis), o método proposto manteve melhor calibração do que os modelos padrão, embora o viés na estimação de parâmetros tenha aumentado.

Estudo de Caso: Doença Renal Crônica (DRC)

Usando 123.460 indivíduos do UK Biobank:

Heterogeneidade Diagnóstica: O HMM identificou diabetes como o principal motor da observabilidade (Odds Ratio: 10,36 para taxas de teste), seguido por hipertensão. Ser do sexo feminino foi associado a taxas de teste mais baixas (OR: 0,69).
Correção de Viés:
- O modelo Ingênuo subestimou severamente o risco para pacientes sem diabetes (razão O:E: 1,55).
- O modelo Imputado corrigiu isso, alcançando uma razão O:E de 1,01 para o grupo não diabético, mantendo a calibração para o grupo diabético (O:E: 1,01).
Utilidade Clínica: A análise da curva de decisão mostrou benefício líquido aprimorado em ambos os grupos, particularmente para a população subdiagnosticada, sem reduzir o desempenho para grupos bem monitorados.
Estratificação de Risco: O modelo corrigido aumentou o risco estimado para pacientes sem diabetes, refletindo seu risco subjacente real em vez de sua menor probabilidade de ser testado.

Significado e Alegações

Os autores afirmam que sua abordagem oferece um método teoricamente fundamentado e empiricamente validado para reduzir o viés e a injustiça em modelos de previsão clínica sem exigir dados externos de incidência ou suposições fixas sobre a prevalência da doença.

Ao modelar explicitamente o "processo diagnóstico" como uma variável latente influenciada por atributos do paciente, o método permite a estimativa de risco sob um cenário contrafactual justo onde as taxas de teste são equalizadas. Os autores enfatizam que isso leva a uma estratificação de risco mais precisa, garantindo que populações subdiagnosticadas não sejam sistematicamente negligenciadas nos cuidados preventivos. Eles posicionam este trabalho como um passo em direção à justiça "centrada nos dados", abordando as causas raiz do viés em dados clínicos rotineiros em vez de apenas mitigar os sintomas no modelo final.

O artigo conclui modestamente, observando que, embora o método dependa de suposições específicas (por exemplo, progressão markoviana, taxas de teste constantes em estágio tardio), ele fornece uma estrutura flexível que pode ser estendida para trajetórias de doença mais complexas e múltiplos tipos de teste em trabalhos futuros.