Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Resumo Técnico: Predição Seletiva como um Portão de Triagem para Rastreamento de Depressão na Atenção Primária

Declaração do Problema
A atenção primária na China carece de ferramentas estruturadas de avaliação de saúde mental, e os modelos de aprendizado de máquina (ML) existentes para o rastreamento de depressão são frequentemente desenvolvidos em amostras fortemente selecionadas. Os autores argumentam que os critérios cumulativos de inclusão e exclusão, tipicamente tratados como etapas neutras de limpeza de dados, introduzem uma "distorção dupla":

1. Distorção Epidemiológica: Funis de seleção comprimem ou alteram associações epidemiológicas (ex: a relação entre doenças crônicas e depressão), potencialmente tornando os achados de amostras selecionadas não generalizáveis para a população alvo.
2. Distorção de Métricas: As métricas de desempenho de aprendizado de máquina, particularmente a Área Sob a Curva (AUC), são frequentemente infladas em amostras selecionadas devido à redução da heterogeneidade, enquanto o erro de calibração pode degradar. Isso cria uma impressão enganosa de prontidão do modelo para implantação clínica.

Além disso, os indicadores de incerteza padrão incorporados aos modelos falham frequentemente em distinguir efetivamente casos "fáceis" de "difíceis" em dados epidemiológicos, limitando a utilidade da predição seletiva (classificação com uma opção de rejeição).

Metodologia
O estudo utiliza o conjunto de dados basal CHARLS 2011 (n=17.705) com validação externa temporal na onda CHARLS 2018. A metodologia é estruturada em torno de três objetivos:

1. Quantificando o Viés de Seleção (O Funil):

   • Um funil de seleção de quatro níveis (L0–L3) foi construído para simular processos padrão de exclusão epidemiológica.
     • L0: Amostra completa após Imputação Múltipla por Equações Encadeadas (MICE).
     • L1: Restrita a idade ≥60.
     • L2: Exigiu respostas completas ao CES-D-10.
     • L3: Exigiu covariáveis sociodemográficas completas (educação, seguro, residência).
   • Análise de Associação: Modelos de regressão logística foram ajustados em cada nível para rastrear o desvio nas Razões de Chances (OR) para cinco doenças crônicas contra a depressão.
   • Análise de Desempenho: Cinco classificadores (Regressão Logística, Random Forest, XGBoost, LightGBM, Gradient Boosting) foram avaliados através dos níveis usando validação cruzada aninhada e SMOTE. Tendências monotônicas em AUC, escore de Brier e Erro de Calibração Esperado (ECE) foram testadas usando o teste de Page L.

2. Mitigando o Viés via Predição Seletiva:

   • Incerteza Incorporada ao Modelo: O estudo testou se o escore de incerteza interna de cada modelo (ex: entropia preditiva, variância de árvores, intervalos de resíduos de quantil) poderia filtrar efetivamente as amostras para melhorar a AUC.
   • Estrutura de Preditor-Seletor Desacoplada: Para superar as limitações dos escores incorporados, os autores propuseram uma abordagem desacoplada onde um seletor independente avalia a confiabilidade preditiva. Nove seletores candidatos foram avaliados, sendo o resíduo de validação cruzada do XGBoost identificado como o seletor externo ideal. Este seletor foi aplicado a todos os cinco preditores para determinar um subconjunto "confiável" da população.

3. Implantação Clínica via Regras Interpretáveis:

   • Estratificação de Risco: As amostras no conjunto analítico final (L3) foram estratificadas em grupos de baixo, médio e alto risco baseados em resíduos robustos (mediana de cinco configurações de hiperparâmetros).
   • Extração de Regras CART: Uma árvore de classificação e regressão (CART) foi ajustada aos resíduos robustos usando 15 características clínicas para extrair regras "caixa-branca" interpretáveis que definem os limites do domínio de predição confiável.
   • Verificações de Estabilidade: Análises de multi-parâmetros (5 configurações) e multi-semente (10 sementes) foram realizadas para garantir que a estratificação de risco fosse uma propriedade estrutural dos dados.

Principais Resultados

• Distorção por Viés de Seleção:

  • O tamanho da amostra caiu de 17.705 (L0) para 4.256 (L3) (24,0%).
  • Atenuação de Associação: A OR para câncer-depressão caiu de 1,78 (IC 95% 1,32–2,41) em L0 para 1,39 (IC 95% 0,74–2,63) em L3, perdendo a significância estatística. Outras associações mostraram graus variados de compressão.
  • Inflação de Métricas: As AUCs para todos os cinco modelos aumentaram direcionalmente de L0 para L3 (ex: XGBoost de 0,775 para 0,783), mas essas tendências não foram estatisticamente significativas após a correção para múltiplas comparações. Inversamente, o erro de calibração (ECE) aumentou significativamente para quatro dos cinco modelos conforme a seleção se tornava mais rigorosa.

• Desempenho da Predição Seletiva:

  • Incerteza Incorporada: Apenas o XGBoost, utilizando um intervalo de resíduo de quantil fora da amostra (out-of-fold) personalizado, alcançou ganhos significativos de predição seletiva (AUC ~0,83 com ~52% de cobertura). Outros indicadores incorporados falharam em identificar um pico de AUC superior à cobertura total.
  • Estrutura Desacoplada: Ao usar os resíduos de validação cruzada do XGBoost como um seletor externo para todos os cinco modelos, todos os classificadores alcançaram ganhos consistentes de predição seletiva.
    • Cobertura: Aproximadamente 20% das amostras foram identificadas como confiáveis.
    • Desempenho: As AUCs de teste variaram de 0,888 a 0,901 em todos os modelos nesta cobertura. A precisão foi de ~0,85–0,86 e o recall de ~0,89–0,90.
    • Estabilidade: O limiar de cobertura de 20% foi altamente consistente entre diferentes arquiteturas de modelos, indicando que o seletor identifica um "domínio confiável" estável.

• Regras de Triagem Interpretáveis:

  • A análise CART identificou quatro variáveis principais para triagem: Saúde autorreferida, Escolaridade, Severidade da dor e Estado civil.
  • Domínio de Baixo Resíduo (Confiável): Caracterizado por maior escolaridade, perfis de dor específicos ou saúde autorreferida ruim com drivers somáticos claros.
  • Domínio de Alto Resíduo (Incerto): Caracterizado por menor escolaridade, fatores psicossociais complexos e alta prevalência de depressão (56,9%), onde as predições do modelo são pouco confiáveis.
  • Validação Externa: A aplicação das regras CART derivadas de 2011 ao coorte de 2018 mostrou AUCs estáveis em nível de grupo, confirmando a robustez temporal da lógica de triagem.

Significância e Alegações
O artigo afirma fornecer um caminho de triagem de atenção primária implantável que aborda o problema da "caixa-preta" no rastreamento de saúde impulsionado por ML. Sua significância reside em três áreas:

1. Correção Metodológica: Demonstra que o viés de seleção cumulativo produz uma distorção dupla (associações comprimidas e métricas infladas) que deve ser explicitamente relatada. Os autores argumentam que as métricas de desempenho devem sempre ser reportadas com seu nível de seleção, cobertura e trajetória de calibração.
2. Estrutura para Confiabilidade: Estabelece que a predição seletiva desacoplada usando resíduos de validação cruzada é um método robusto para identificar um subconjunto de pacientes de alta confiança, superando os indicadores de incerteza incorporados aos modelos, que frequentemente falham em contextos epidemiológicos.
3. Capacidade de Ação Clínica: Ao converter a incerteza complexa de ML em uma regra CART simples de quatro variáveis, o estudo oferece um "portão de triagem" prático. Isso permite que médicos generalistas direcionem aproximadamente 20% dos pacientes (o domínio confiável) para pontuação assistida por algoritmo, enquanto direcionam os 80% restantes (o domínio incerto) para avaliação humana, garantindo assim a segurança do paciente e mantendo a interpretabilidade em ambientes com recursos limitados.

Os autores concluem que esta abordagem transforma o monitoramento da incerteza do modelo de uma etapa de pós-processamento estatístico em um ponto de verificação rotineiro de gestão de qualidade para sistemas de saúde em camadas.