Tipping the Balance: Impact of Class Imbalance Correction on the Performance of Clinical Risk Prediction Models

Este estudo demonstra que, em diversas tarefas de previsão de risco clínico, as técnicas comuns de correção de desequilíbrio de classes não melhoram a discriminação dos modelos e, na verdade, degradam sua calibração probabilística.

O essencial

Imagine que você é um médico tentando prever quem ficará doente e quem ficará saudável. Você usa um computador inteligente (um modelo de aprendizado de máquina) para ajudar nessa tarefa. O problema é que, na vida real, as pessoas que ficam doentes são muito poucas comparadas às que ficam saudáveis. É como tentar encontrar uma agulha em um palheiro gigante: a maioria dos palitos é de palha (saudáveis) e apenas alguns são agulhas (doentes).

Para ajudar o computador a encontrar essas "agulhas", muitos cientistas tentam "equilibrar a balança" antes de ensinar o computador. Eles fazem isso copiando as poucas agulhas várias vezes ou apagando alguns palhos, para que o computador veja quantidades iguais de agulhas e palhos durante o treinamento.

O que este estudo descobriu?

Os autores deste estudo, um grupo de pesquisadores dinamarqueses e alemães, decidiram testar se essa "ajustagem da balança" realmente ajuda na vida real. Eles pegaram 10 situações médicas diferentes (como prever diabetes, morte em UTI, doenças cardíacas) e mais de 600.000 pacientes. Eles treinaram computadores de várias formas:

1. Deixando os dados naturais (muitos saudáveis, poucos doentes).
2. Copiando os doentes (Oversampling).
3. Apagando os saudáveis (Undersampling).
4. Criando "falsos" doentes baseados nos reais (SMOTE).

A Grande Revelação: O Computador "Aprendeu" a Mentir

Aqui está a analogia principal:

Imagine que você está ensinando um aluno a prever a chuva.

• Cenário Natural: Você mostra 100 dias, onde 95 são de sol e apenas 5 chovem. O aluno aprende que "na maioria das vezes, o céu está limpo". Quando ele vê um dia cinza, ele diz: "Há 5% de chance de chuva". Isso é calibrado (preciso).

• Cenário "Equilibrado" (O que o estudo testou): Você força o aluno a estudar 50 dias de sol e 50 dias de chuva (copiando os dias de chuva). O aluno, confuso, começa a achar que chuva é muito comum. Quando ele vê um dia cinza, ele diz: "Há 50% de chance de chuva!".

O resultado? O aluno ainda consegue dizer qual dia vai chover melhor do que o outro (ele ainda sabe a ordem: "hoje é mais provável que chova do que amanhã"). Isso é chamado de discriminação (e o estudo mostrou que essa habilidade não melhorou).

Mas o problema é a confiança: O aluno agora está errado sobre a probabilidade. Ele superestima o risco. Se você confiar nele para levar um guarda-chuva, ele vai te fazer carregar um guarda-chuva todos os dias, mesmo quando o céu está limpo. Isso é má calibração.

O que os números disseram?

• Precisão de Classificação (Discriminação): Mudar os dados para equilibrar as classes não ajudou o computador a ser melhor em distinguir quem fica doente de quem não fica. Em alguns casos, ficou até pior.
• Precisão do Risco (Calibração): Aqui foi onde a coisa piorou. Os modelos que foram "equilibrados" passaram a dar números de risco totalmente errados. Eles diziam que o risco era muito maior do que realmente era.
  • Analogia: É como um termômetro que, em vez de marcar 37°C (febre real), marca 42°C. O paciente tem febre, mas o termômetro está exagerando tanto que perde a utilidade clínica.

Por que isso é importante para a medicina?

Na medicina, não basta saber quem vai ficar doente; precisamos saber quão provável é isso acontecer.

• Se um modelo diz que você tem 90% de chance de ter um infarto, você pode fazer uma cirurgia de risco.
• Se o modelo está descalibrado (por causa do "equilíbrio" artificial) e diz 90% quando na verdade é 10%, você pode passar por uma cirurgia desnecessária e perigosa.

A Conclusão Simples

O estudo conclui que, na maioria das vezes, não devemos mexer na balança dos dados (não devemos copiar ou apagar pacientes) quando queremos prever riscos médicos.

Em vez disso, a recomendação é:

1. Deixe o computador aprender com os dados reais (mesmo que desequilibrados).
2. Se o computador for muito "cauteloso" e não detectar os doentes, mude o gatilho de decisão (o ponto de corte), não o treinamento.
   • Analogia: Se o detector de metal é muito sensível e toca com uma moeda, não troque o detector. Apenas ajuste o volume para que ele só toque com armas.

Resumo em uma frase:
Tentar "forçar" o equilíbrio entre doentes e saudáveis nos dados de treinamento faz com que os modelos de inteligência artificial pareçam melhores em classificar, mas na verdade eles começam a mentir sobre a probabilidade real do risco, o que pode ser perigoso para os pacientes.

Resumo técnico

Título: Equilibrando a Balança: Impacto da Correção de Desequilíbrio de Classes no Desempenho de Modelos de Predição de Risco Clínico

1. Problema e Contexto

Modelos de predição de risco clínico baseados em aprendizado de máquina são cada vez mais utilizados para apoiar decisões médicas. No entanto, muitos eventos clínicos (como morte, sepse ou diabetes não diagnosticada) são raros, resultando em desequilíbrio de classes (muitos casos negativos, poucos positivos).

• O Dilema: Técnicas de correção de desequilíbrio (como reamostragem) são frequentemente aplicadas para melhorar métricas como sensibilidade ou acurácia.
• A Lacuna: Embora essas técnicas possam alterar a distribuição dos dados de treinamento, seu impacto na calibração (a concordância entre a probabilidade prevista e a taxa de evento real) e na discriminação em dados do mundo real não é bem compreendido. Uma má calibração pode levar a super ou subestimação de riscos, causando alarmes desnecessários ou falsas esperanças.

2. Metodologia

Os autores realizaram uma avaliação empírica cruzada abrangente para reavaliar o impacto das correções de desequilíbrio em tarefas clínicas reais.

• Dados: Foram analisados 10 conjuntos de dados clínicos distintos, cobrindo diversas áreas (diabetes, sepse, doenças cardiovasculares, mortalidade em UTI) e totalizando 605.842 pacientes. As taxas de prevalência de eventos variaram de 1,9% a 34,9%.
• Modelos: Foram avaliadas múltiplas famílias de algoritmos, incluindo modelos lineares (Regressão Logística) e não lineares (XGBoost, CatBoost, Random Forest, Redes Neurais Artificiais, TabPFN).
• Estratégias de Reamostragem (Treinamento): Os modelos foram treinados sob quatro condições:
  1. Original: Dados sem alteração.
  2. ROS (Random Oversampling): Duplicação aleatória da classe minoritária.
  3. RUS (Random Undersampling): Remoção aleatória da classe majoritária.
  4. SMOTE: Geração de amostras sintéticas da classe minoritária via interpolação.
     Nota: Todas as reamostragens visaram uma proporção de classes 1:1 no treinamento.
• Métricas de Avaliação:
  • Discriminação: ROC-AUC (área sob a curva) e PR-AUC (precisão-recall).
  • Calibração: Pontuação de Brier (erro quadrático médio), Intercepto de Calibração (viés sistemático) e Inclinação de Calibração (over/underfitting).
• Análise Estatística: Uso de bootstrap não paramétrico e teste de postos sinalizados de Wilcoxon para comparar as diferenças pareadas entre os modelos originais e os reamostrados.

3. Principais Contribuições

• Validação em Cenários Reais: Diferente de estudos anteriores baseados apenas em simulações, este trabalho valida os efeitos da reamostragem em dados clínicos reais e diversos algoritmos.
• Foco na Calibração: O estudo destaca que, embora a discriminação (ordenação de risco) possa ser preservada, a confiabilidade das probabilidades absolutas (calibração) é frequentemente degradada, um aspecto crítico para a tomada de decisão clínica.
• Reprodutibilidade: A equipe convidou os autores originais de alguns modelos a re-treinar seus algoritmos com as mesmas alterações, garantindo a fidelidade da implementação.

4. Resultados Chave

• Discriminação (ROC-AUC):
  • A reamostragem não trouxe melhorias generalizáveis na discriminação.
  • As mudanças no ROC-AUC foram pequenas e inconsistentes. Em alguns casos, houve leve degradação (ROS: -0,002; SMOTE: -0,01).
  • Apenas um caso (Hypoglycemia in eICU com RUS) mostrou leve melhoria no AUC, mas às custas de um aumento significativo no erro de calibração (Brier score).
• Calibração:
  • A reamostragem degradou consistentemente a calibração em todos os conjuntos de dados e famílias de modelos.
  • Pontuação de Brier: Aumentou significativamente (piorou) para todas as estratégias de reamostragem (variação de 0,029 a 0,080), indicando menor precisão probabilística.
  • Intercepto e Inclinação: Houve desvios marcantes em relação aos valores ideais (Intercepto = 0, Inclinação = 1), indicando que os modelos reamostrados tendiam a superestimar ou subestimar sistematicamente o risco absoluto, mesmo mantendo a capacidade de ordenar os pacientes corretamente.
• Conclusão dos Resultados: Existe uma dissociação clara: a reamostragem pode preservar a capacidade de classificar quem terá o evento (ranking), mas destrói a confiabilidade da estimativa de qual a probabilidade desse evento ocorrer.

5. Significado e Recomendações

• Impacto Clínico: A aplicação automática de técnicas de correção de desequilíbrio pode ser prejudicial em cenários onde a estimativa precisa de risco absoluto é necessária para guiar tratamentos.
• Recomendações dos Autores:
  1. Evitar Reamostragem Padrão: Não aplicar reamostragem (ROS, RUS, SMOTE) por padrão quando o objetivo é obter probabilidades de risco bem calibradas.
  2. Treinar com Dados Originais: Preferir o treinamento nos dados originais (não balanceados).
  3. Ajuste de Limiar (Threshold Tuning): Se o objetivo é melhorar a sensibilidade em um ponto de corte específico, deve-se ajustar o limiar de decisão em um modelo calibrado, em vez de re-treinar o modelo com dados balanceados.
  4. Validação Rigorosa: Se a reamostragem for utilizada, é imperativo validar a calibração em dados independentes e aplicar técnicas de recalibração antes do uso clínico.

Em suma, o estudo demonstra que, na prática clínica real, a correção de desequilíbrio de classes via reamostragem raramente melhora a performance preditiva e frequentemente compromete a confiabilidade das estimativas de risco, desaconselhando seu uso indiscriminado.