📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

Este artigo demonstra que a calibração analítica de modelos baseados em árvores treinados em dados desbalanceados com subamostragem leva a estimativas de prevalência não confiáveis e vieses inesperados, defendendo, em vez disso, o uso de métodos de calibração baseados em aprendizado, como a calibração beta.

Autores originais: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema da "Receita"

Imagine que você é um chef tentando aprender a fazer uma sopa perfeita. No entanto, sua cozinha está incrivelmente desequilibrada: você tem 10.000 batatas, mas apenas 10 cenouras. Se você tentar aprender a receita provando uma tigela que tem 10.000 batatas e 10 cenouras, você nunca aprenderá o gosto de uma cenoura. Você achará que a sopa é 99,9% batata.

Para corrigir isso, você decide fazer o subamostragem (undersampling). Você joga fora a maioria das batatas para ter uma tigela com 50 batatas e 10 cenouras. Agora, seus dados de treinamento estão equilibrados e você pode aprender a receita melhor.

A Armadilha: Quando você finalmente cozinha a sopa para o mundo real (onde existem, de fato, 10.000 batatas), suas papilas gustativas ainda estão acostumadas com a tigela equilibrada. Você acha que a sopa é 50% cenoura, mas na realidade ela ainda é 99,9% batata. Suas previsões são "viesadas".

A Correção Antiga: A "Fórmula Matemática"

Por muito tempo, os cientistas de dados usaram uma fórmula matemática específica (Equação 1 no artigo) para corrigir isso. A ideia era simples: "Sabemos que jogamos fora 90% das batatas. Vamos apenas multiplicar nossa previsão por um número para 'adicioná-las de volta' matematicamente".

Os autores deste artigo dizem: "Parem de fazer isso."

Eles descobriram que essa fórmula matemática não funciona bem para Modelos Baseados em Árvores (como Random Forests). Em vez de consertar a sopa, a fórmula torna o sabor absurdamente imprevisível.

Os Dois Principais Problemas Descobertos

1. O Problema do "Botão" (Número de Preditores)

Imagine que seu Random Forest é uma equipe de 500 detetives tentando resolver um mistério.

A Regra: A cada passo, os detetives podem olhar apenas um certo número de pistas (preditores) para decidir qual caminho seguir.
O Experimento: Os autores giraram um "botão de pistas". Às vezes, deixaram os detetives olharem para apenas 2 pistas. Às vezes, deixaram-nos olhar para 15 pistas.

O que aconteceu?
Quando usaram a antiga fórmula matemática para corrigir o viés, a resposta final mudava drasticamente dependendo de quantas pistas os detetives podiam observar.

Se olhassem para 2 pistas, o modelo previa 100 incêndios.
Se olhassem para 15 pistas, o modelo previa 140 incêndios.

A Analogia: É como pedir a um grupo de pessoas para adivinhar o peso de uma melancia. Se você disser para olharem apenas a cor, eles estimam 4 kg. Se você disser para olharem a cor, o caule, o som ao bater e a textura, eles estimam 7 kg.
Em um mundo perfeito, a fórmula matemática deveria ter corrigido essas estimativas para que todas chegassem ao mesmo peso real. Em vez disso, a fórmula fez as estimativas se distanciarem ainda mais. Quanto mais pistas os detetives usavam, mais a estimativa final saltava.

2. O "Viés Surpreendente" (Taxa de Amostragem)

Normalmente, pensamos que se você tiver poucos itens "minoritários" (como as 10 cenouras), o modelo irá ignorá-los e estimar um valor baixo.

A Crença Antiga: "Árvores de decisão ignoram a classe minoritária."
A Descoberta do Artigo: Em seus experimentos, as árvores de decisão fizeram o oposto! Elas superestimaram a classe minoritária.

A Analogia: Imagine que você está tentando adivinhar quantas bolas vermelhas há em um pote de 1.000 bolas (990 azuis, 10 vermelhas). Você pega uma pequena amostra.

Esperado: Você poderia dizer "talvez 1 ou 2 bolas vermelhas" (subestimando).
O que as Árvores Fizeram: As árvores olharam para a amostra e disseram: "Uau, bolas vermelhas estão por toda parte! Aposto que há 50 bolas vermelhas!"

Os autores descobriram que, conforme mudavam a taxa de amostragem (quantas batatas eram jogadas fora), a superestimação do modelo piorava. A fórmula matemática tentava corrigir isso, mas como a árvore já estava estimando alto demais, a fórmula apenas tornava o resultado final ainda mais caótico.

O Exemplo do Mundo Real: Incêndios Florestais

Os autores testaram isso com dados reais sobre incêndios florestais em Alberta, Canadá.

Incêndios florestais são raros (como as cenouras).
Eles usaram a "fórmula matemática" para corrigir os modelos.
O Resultado: Dependendo de como configuravam o "botão de pistas" (número de preditores) ou de como amostravam os dados, o modelo previava que o número de futuros incêndios poderia variar em 40%.
Por que isso importa: Se uma agência governamental usar esses modelos para decidir onde enviar caminhões de bombeiros, eles podem enviar caminhões demais para uma área e nenhum para outra, simplesmente porque ajustaram uma configuração no código do computador.

A Conclusão

O artigo conclui que a "fórmula matemática" (calibração analítica) é uma ferramenta quebrada para este trabalho específico. Ela cria uma situação em que:

Mudar uma configuração (como o número de pistas) muda a resposta, embora a resposta não devesse mudar.
Os modelos às vezes estimam que a classe minoritária é mais comum do que realmente é, e a fórmula falha em corrigir isso.

A Solução: Em vez de uma fórmula matemática rígida, os autores sugerem o uso de métodos de "aprendizado" (como a Calibração Beta). Pense nisso como contratar um provador de sabores que realmente prova a sopa final e aprende como ajustar o tempero, em vez de tentar calcular o ajuste com uma calculadora.

Resumo em Uma Sentença

Usar uma fórmula matemática simples para corrigir dados "desequilibrados" em modelos de árvores não funciona; isso torna as previsões extremamente instáveis e às vezes faz com que o modelo superestime eventos raros, portanto, precisamos de formas de aprendizado mais inteligentes para corrigir o viés em vez disso.

Resumo Técnico: Desafios na Calibração de Modelos Baseados em Árvores para Classificação Desbalanceada

Definição do Problema
Na classificação binária desbalanceada, é uma prática comum subamostrar a classe majoritária para criar um conjunto de dados de treinamento equilibrado. No entanto, este procedimento enviesa as probabilidades previstas pelo modelo porque a distribuição de treinamento não representa mais a população subjacente. Para corrigir isso, métodos de calibração analítica (especificamente a Eq. 1 derivada por Dal Pozzolo et al., 2015) foram propostos para mapear as previsões de modelos subamostrados de volta às verdadeiras probabilidades da população com base na taxa de amostragem. Embora amplamente aplicada a modelos como Florestas Aleatórias (RF), este artigo investiga se essa abordagem analítica produz estimativas de probabilidade bem calibradas quando aplicada a modelos baseados em árvores treinados em dados subamostrados.

Metodologia
Os autores empregam uma abordagem multifacetada para avaliar a eficácia da calibração analítica:

Análise Teórica: O artigo examina primeiro a validade matemática da aplicação da Eq. 1 a Florestas Aleatórias Balanceadas (Balanced Random Forests) (Chen et al., 2004). Demonstra que a derivação da Eq. 1 baseia-se em pressupostos sobre probabilidades de amostragem que são violados pelo procedimento de bootstrapping inerente às Florestas Aleatórias Balanceadas.
Estudo de Caso Empírico: Utilizando um conjunto de dados do mundo real de incêndios florestais causados pelo homem na região de Lac La Biche, Alberta (1996–2016), os autores treinam Florestas Aleatórias padrão em dados subamostrados. Eles variam sistematicamente dois hiperparâmetros: a taxa de amostragem da classe majoritária e o número de preditores considerados em cada divisão ( $m_{try}$ ). Os modelos são calibrados usando a Eq. 1, e as estimativas de prevalência resultantes (soma das probabilidades previstas) são comparadas contra o número real de eventos.
Estudo de Simulação: Para isolar variáveis e controlar o processo gerador de dados, um simulador é desenvolvido com 10 preditores e uma relação não linear complexa (Eq. 2). Isso permite a geração de conjuntos de dados com probabilidades verdadeiras conhecidas. Os autores repetem o estudo de caso empírico nesses conjuntos de dados simulados para avaliar a consistência dos achados.
Investigação de Mecanismo:
- Efeito de $m_{try}$ : Os autores analisam a distribuição das previsões antes e depois da calibração usando gráficos quantil-quantil para entender como a não linearidade da Eq. 1 interage com a "extremidade" das previsões da Floresta Aleatória.
- Efeito da Taxa de Amostragem: Os autores testam Árvores de Decisão individuais (ajustadas à pureza) em conjuntos de dados com níveis variados de desbalanceamento para determinar se as próprias árvores exibem um viés em direção à classe minoritária, o que explicaria a superestimação sistemática observada nas Florestas Aleatórias.

Principais Contribuições
O artigo apresenta três contribuições primárias:

Inaplicabilidade a Florestas Aleatórias Balanceadas: Demonstra que a calibração analítica (Eq. 1) é teoricamente inadequada para Florestas Aleatórias Balanceadas porque o processo de bootstrapping altera a probabilidade de inclusão das observações da classe minoritária ( $\mathbb{P}(S=1|Y=1) \approx 0.632$ ), violando os pressupostos necessários para a derivação da equação.
Sensibilidade de Hiperparâmetros em Florestas Aleatórias Padrão: Revela que, para Florestas Aleatórias padrão treinadas em dados subamostrados, a calibração analítica leva a estimativas de prevalência que não são invariantes às escolhas de hiperparâmetros. Especificamente, a prevalência estimada aumenta sistematicamente com tanto o número de preditores considerados em cada divisão quanto a taxa de amostragem utilizada.
Descoberta de Viés da Classe Minoritária em Árvores de Decisão: Contrariando a literatura predominante que sugere que árvores de decisão são enviesadas para a classe majoritária (ignorando ou subestimando a minoritária), os autores fornecem evidências de que as árvores de decisão podem ser enviesadas em direção à classe minoritária (superestimando probabilidades) quando treinadas em dados desbalanceados. Este viés persiste mesmo após a calibração analítica, levando à superprevisão sistemática.

Resultos

Previsão de Incêndios Florestais: Na aplicação do mundo real, o número previsto de incêndios florestais variou em mais de 40% dependendo da escolha dos hiperparâmetros, apesar de os modelos estarem calibrados. As estimativas mostraram correlações positivas claras tanto com a taxa de amostragem quanto com o número de preditores considerados em cada divisão.
Simulação: O estudo de simulação confirmou os achados do mundo real, mostrando que as estimativas de prevalência aumentaram com a taxa de amostragem e o número de preditores. Em muitos casos, os modelos calibrados superestimaram sistematicamente a prevalência real em até 20%.
Mecanismo de $m_{try}$ : A análise mostrou que as Florestas Aleatórias produzem previsões mais extremas (próximas de 0 ou 1) quando mais preditores são considerados em cada divisão. Embora as distribuições pré-calibração fossem semelhantes, a natureza não linear da Eq. 1 amplificou essas diferenças pós-calibração, fazendo com que o modelo com maior $m_{try}$ gerasse estimativas de prevalência significativamente maiores.
Mecanismo de Taxa de Amostragem: A investigação de árvores de decisão individuais revelou que, conforme o desbalanceamento de classe aumentava, a razão entre a probabilidade prevista e a probabilidade real aumentava (excedendo 1.0), indicando um viés de superprevisão em direção à classe minoritária. Este viés não foi eliminado pela calibração analítica.

Significância e Alegações
Os autores concluem que a calibração analítica é inadequada para calibrar modelos baseados em árvores treinados em dados subamostrados. O método falha em produzir estimativas de probabilidade bem calibradas porque a prevalência resultante depende de escolhas arbitrárias de hiperparâmetros e de vieses inerentes à estrutura da árvore que a fórmula analítica não consegue corrigir.

O artigo argumenta que, como boas estimativas de prevalência são uma condição necessária para uma boa calibração, a falha em produzir estimativas de prevalência estáveis indica uma falha fundamental na abordagem. Consequentemente, os autores sugerem que modelos baseados em árvores treinados em dados subamostrados devem utilizar métodos de calibração capazes de aprender o padrão de má calibração a partir dos dados, como a calibração beta ou a escala de Platt modificada, em vez de depender de correções analíticas.

A descoberta de que as árvores de decisão podem ser enviesadas em direção à classe minoritária é apresentada como um contraponto significativo à literatura existente, sugerindo que os profissionais não devem assumir automaticamente que as árvores de decisão negligenciarão a classe minoritária em configurações desbalanceadas. No entanto, os autores mantêm a modéstia, observando que este viés não foi observado consistentemente em todas as configurações (por exemplo, em algumas variações de implementação em R) e que mais trabalho é necessário para compreender totalmente as condições sob as quais este viés ocorre.