A Cost-Sensitive and Explainable Evaluation Framework for Chronic Kidney Disease Prediction Models

Resumo Técnico: Uma Estrutura de Avaliação Sensível ao Custo e Explicável para Modelos de Predição de Doença Renal Crônica

Definição do Problema
A Doença Renal Crônica (DRC) afeta aproximadamente 14% dos adultos globalmente, progredindo frequentemente de forma assintomática até estágios avançados, onde a intervenção é difícil. Embora o aprendizado de máquina (ML) ofereça potencial para a detecção precoce, uma barreira significativa para a implantação clínica é a natureza de "caixa preta" dos modelos de conjunto (ensemble) de alto desempenho, que carecem da interpretabilidade dos modelos estatísticos tradicionais. Além disso, as métricas de avaliação padrão (ex.: acurácia) frequentemente falham em considerar as consequências clínicas assimétricas de uma classificação errônea: um falso negativo (diagnóstico perdido) representa um risco muito maior para os desfechos do paciente do que um falso positivo (triagem desnecessária). A literatura existente frequentemente prioriza a acurácia preditiva em detrimento da avaliação conjunta de interpretabilidade, contribuição de variáveis e compensações sensíveis ao custo, limitando a utilidade prática desses modelos em sistemas de suporte à decisão clínica.

Metodologia
O estudo avalia três modelos de aprendizado supervisionado — Regressão Logística (LR), Random Forest (RF) e Extreme Gradient Boosting (XGBoost) — utilizando um conjunto de dados sintético de DRC contendo 1.659 registros de pacientes (1.524 casos positivos, 135 negativos). A metodologia emprega uma estrutura de avaliação multifacetada:

1. Pré-processamento de Dados: Valores numéricos ausentes foram imputados usando a mediana, e variáveis categóricas foram convertidas em variáveis dummy. Variáveis altamente correlacionadas (ex.: subtipos específicos de colesterol) foram agrupadas ou removidas para tratar a multicolinearidade, particularmente para o modelo LR. Os dados foram divididos em 80% para treinamento e 20% para teste usando amostragem estratificada.
2. Avaliação de Desempenho: Os modelos foram avaliados por meio de métricas padrão (acurácia, precisão, recall, F1-score, AUC) e validação cruzada de cinco dobras (five-fold cross-validation). Crucialmente, o estudo vai além do limiar de classificação padrão de 0,5 para realizar a otimização de limiar (threshold optimization).
3. Análise Sensível ao Custo: Uma estrutura de custo foi aplicada, onde falsos negativos receberam uma penalidade de \9.000 e falsos positivos de \5.000. Isso reflete a realidade clínica de que diagnósticos perdidos levam à progressão severa da doença, enquanto falsos positivos resultam em triagens adicionais e menos prejudiciais. Os limiares foram variados para identificar o ponto que minimiza o custo total.
4. Interpretabilidade:
   • Regressão Logística: Analisada via análise de coeficientes e importância por permutação.
   • Modelos de Conjunto (RF, XGBoost): Avaliados usando importância por permutação e SHapley Additive exPlanations (SHAP) para fornecer explicações tanto globais quanto locais das contribuições das variáveis.

Principais Resultados

• Desempenho Preditivo: No limiar padrão de 0,5, todos os modelos atingiram aproximadamente 92% de acurácia. No entanto, devido ao desequilíbrio severo das classes, a acurácia foi considerada menos informativa do que o recall, precisão e F1-scores, que permaneceram altos (F1 ~96%) em todos os modelos.
• Otimização Sensível ao Custo: A otimização de limiar alterou significativamente os resultados dos modelos.
  • Falsos Negativos: Em seus respectivos limiares otimizados, tanto o Random Forest quanto o XGBoost eliminaram inteiramente as previsões de falsos negativos. A Regressão Logística, embora tenha produzido o menor número de falsos positivos, foi o único modelo a reter falsos negativos.
  • Custo Total: Apesar de possuir menos falsos positivos, a Regressão Logística incorreu no maior custo total devido à presença de falsos negativos e à penalidade mais alta atribuída a eles. O XGBoost e o Random Forest alcançaram custos totais menores ao eliminar os falsos negativos, mesmo com um leve aumento nos falsos positivos.
• Estabilidade: O XGBoost demonstrou a maior Área Sob a Curva (AUC) e a maior estabilidade de validação cruzada, sugerindo capacidades de generalização superiores em comparação ao LR e RF.
• Importância das Variáveis: Todos os modelos identificaram consistentemente preditores clinicamente plausíveis.
  • Consenso Global: A Taxa de Filtração Glomerular (GFR) e a creatinina sérica foram identificadas como os contribuintes mais significativos em todos os modelos.
  • Especificidades do Modelo: O XGBoost também destacou proteína na urina, pressão arterial (sistólica/diastólica) e glicemia de jejum. A análise SHAP confirmou que aumentos na creatinina, BUN e pressão arterial, juntamente com diminuições na GFR, impulsionaram as previsões de risco mais elevadas.
  • Alinhamento Clínico: As variáveis identificadas pelos modelos de "caixa preta" (RF e XGBoost) alinharam-se com fatores de risco clínicos estabelecidos (ex.: diabetes e hipertensão), validando sua plausibilidade clínica.

Significância e Alegações
O artigo alega que estender a avaliação do modelo além da acurácia preditiva tradicional para incluir otimização de limiar, análise sensível ao custo e técnicas de explicabilidade fornece uma estrutura clinicamente mais relevante para avaliar a adequação da implantação de ML.

• Adequação Clínica: O estudo demonstra que modelos de conjunto, frequentemente descartados como "caixas pretas", podem ser tornados clinicamente confiáveis quando pareados com IA explicável (SHAP) e limiarização sensível ao custo. Especificamente, a capacidade do XGBoost e do RF de eliminar falsos negativos em limiares otimizados os torna operacionalmente superiores para a detecção precoce da doença em comparação com a Regressão Logística, que é mais interpretável, porém mais custosa, neste contexto específico.
• Construção de Confiança: Ao demonstrar que os preditores mais influentes nos modelos complexos alinham-se com a pesquisa médica estabelecida (ex.: o papel crítico da GFR e da creatinina), a estrutura ajuda a reduzir a lacuna entre o alto desempenho de ML e a confiança do clínico.
• Contribuição Metodológica: A pesquisa destaca que os limiares padrão são frequentemente subótimos para aplicações de saúde. Ela defende uma mudança em direção a estruturas de avaliação que pesem explicitamente os custos assimétricos de classificação errônea para guiar a seleção e implantação de modelos.

Limitações
Os autores reconhecem que o estudo se baseia em um conjunto de dados sintético gerado para fins educacionais, o que limita a generalização dos achados para registros clínicos do mundo real. Adicionalmente, os valores de custo (\9.000 vs. \5.000) são suposições desenhadas para estimular compensações clínicas, em vez de refletir a economia de saúde real. A falta de validação externa devido à escassez de conjuntos de dados clínicos comparáveis com variáveis de GFR também é observada como uma restrição.