🤖 machine learning

An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

Autores originais: Mustafa Cavus, Przemysław Biecek

Publicado 2026-05-18

📖 6 min de leitura🧠 Leitura aprofundada

Autores originais: Mustafa Cavus, Przemysław Biecek

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema das "Muitas Respostas Corretas"

Imagine que você está tentando prever quem vencerá uma partida de xadrez. Você tem um conjunto de dados de partidas anteriores, mas há um problema: 90% das partidas foram vencidas pelas Brancas, e apenas 10% pelas Pretas. Isso é chamado de conjunto de dados desbalanceado.

Se você treinar um modelo de computador com esses dados sem corrigi-los, o computador fica preguiçoso. Ele aprende que "as Brancas sempre vencem", então prevê "Brancas" para cada nova partida. Ele obtém 90% de precisão, mas falha completamente ao prever as vitórias das Pretas.

Para corrigir isso, cientistas de dados usam métodos de balanceamento. Eles agem como um chef adicionando ingredientes a uma sopa:

Sobreamostragem (Oversampling): Eles copiam as partidas raras de "vitória das Pretas" para criar mais delas (como adicionar mais sal).
Subamostragem (Undersampling): Eles descartam algumas das partidas comuns de "vitória das Brancas" para tornar a panela menor (como remover o excesso de água).

O objetivo é fazer o computador prestar atenção à classe minoritária. Mas este artigo faz uma pergunta assustadora: Corrigir os dados cria um novo tipo de confusão?

O Efeito Rashomon: O Fenômeno das "Muitas Verdades"

O artigo utiliza um conceito chamado Efeito Rashomon. Imagine uma cena de crime onde cinco testemunhas diferentes contam cinco histórias diferentes. Todas as cinco histórias são plausíveis e se encaixam nos fatos igualmente bem, mas se contradizem entre si.

No aprendizado de máquina, o Conjunto Rashomon é um grupo de diferentes modelos de computador que todos performam quase exatamente da mesma forma (todos são "plausíveis"), mas fazem previsões diferentes para a mesma pessoa ou situação.

Modelo A diz: "Este solicitante de empréstimo é seguro."
Modelo B diz: "Este solicitante de empréstimo é arriscado."
Ambos os modelos têm a mesma pontuação geral de precisão.

Se você escolher um modelo aleatoriamente (seleção cega), pode acabar escolhendo aquele que nega um empréstimo a uma boa pessoa, mesmo que outro modelo igualmente preciso o teria aprovado. Isso é chamado de Multiplicidade Preditiva.

O Experimento: O Que Acontece Quando Balanceamos os Dados?

Os autores queriam saber: Usar métodos de balanceamento (sobreamostragem/subamostragem) torna esse problema das "Muitas Verdades" pior?

Eles pegaram 21 conjuntos de dados reais diferentes (como detecção de spam, fraude com cartão de crédito e qualidade de vinho) e os passaram por uma "fábrica de modelos" (uma ferramenta chamada Forester) que cria centenas de modelos ligeiramente diferentes para cada conjunto de dados. Eles fizeram isso duas vezes:

Usando os dados originais, desbalanceados.
Usando dados balanceados (após aplicar os métodos de balanceamento).

Em seguida, eles mediram três coisas para ver o quanto os modelos discordavam uns dos outros:

Ambiguidade: Quantas pessoas recebem respostas conflitantes? (ex: "5 em cada 100 pessoas recebem previsões diferentes.")
Discrepância: Qual é o cenário de pior caso? (ex: "Um modelo específico discorda dos outros em 20 pessoas.")
Obscuridade (Nova Métrica): Esta é a nova ideia do artigo. Ela mede a quantidade média de confusão. Em vez de apenas perguntar "Há um conflito?", ela pergunta "Quão bagunçado é o conflito em média?". Pense nisso como medir a "neblina" sobre os dados.

As Descobertas: O "Conserto" Tornou a Neblina Mais Espessa

Aqui está o que eles descobriram:

Métodos de Balanceamento Aumentam a Confusão: Quando usaram métodos de balanceamento (como SMOTE ou sobreamostragem aleatória), a Obscuridade e a Discrepância aumentaram.
- A Analogia: Imagine que você está tentando encontrar um cachorro perdido em um parque. No parque original (dados desbalanceados), todos os cães de busca concordam onde o cachorro está. Mas quando você adiciona "balanceamento" (como adicionar mais cães de busca ou mudar o terreno), os cães de busca começam a latir em direções diferentes. Eles ainda são todos cães "bons", mas não conseguem concordar sobre a localização.
O Conserto "Parcial" Não Funcionou: Alguns especialistas sugeriram usar "reamostragem parcial" (balancear os dados apenas um pouco, não 100%) para evitar essa bagunça. Os autores testaram isso, mas descobriram que não ajudou. A confusão permaneceu alta, independentemente de quanto eles balancearam os dados.
A Importância das Variáveis Mudou: Eles também verificaram se os modelos estavam olhando para pistas diferentes. Por exemplo, um modelo pode pensar que "renda" é o fator mais importante, enquanto outro pensa que "idade" é. Eles descobriram que, embora a ordem de importância não tenha mudado drasticamente em um sentido estatístico, os métodos de balanceamento fizeram os modelos se comportarem de maneira diferente no geral.

A Solução: Um Novo Painel de Controle

Como não conseguiram impedir que a confusão acontecesse, os autores propuseram uma maneira de monitorá-la.

Eles sugeriram usar um Gráfico de Ganho de Desempenho Estendido.

Imagine um painel de controle com dois mostradores.
Mostrador 1 (Horizontal): Mostra o quanto o modelo melhora ao prever corretamente (Ganho de Desempenho).
Mostrador 2 (Vertical): Mostra o quanto os modelos discordam uns dos outros (Multiplicidade/Obscuridade).

A Lição: Você não deve olhar apenas para o Mostrador 1. Você pode encontrar um método que melhora ligeiramente a precisão (Mostrador 1 sobe), mas que causa uma explosão massiva de discordância (Mostrador 2 sobe muito). Os autores dizem que você precisa olhar para ambos os mostradores para tomar uma decisão responsável.

Resumo das Afirmações do Artigo

Balancear dados é necessário para problemas desbalanceados, mas tem um custo oculto.
Métodos de balanceamento aumentam a "Multiplicidade Preditiva". Eles criam uma situação onde muitos modelos são igualmente precisos, mas dão respostas conflitantes às mesmas pessoas.
Nova Métrica: Eles introduziram a "Obscuridade" para medir o quão "nebuloso" ou conflitante são essas previsões de modelo em média.
Reamostragem Parcial não é uma bala de prata. Ela não resolve o problema do aumento da confusão.
IA Responsável: Ao escolher um modelo, você deve verificar não apenas se ele é preciso, mas se é estável. Se você escolher um modelo cegamente de um "Conjunto Rashomon" criado por métodos de balanceamento, corre o risco de tomar decisões arbitrárias que prejudicam indivíduos.

O artigo conclui que, embora os métodos de balanceamento sejam um "refúgio" para resolver dados desbalanceados, os pesquisadores devem ter cuidado para não entrar cegamente em uma neblina de previsões conflitantes. Eles precisam usar o novo "painel de controle" (o gráfico estendido) para ver o trade-off entre precisão e estabilidade.

Resumo Técnico: Um Estudo Experimental sobre o Efeito Rashomon de Métodos de Balanceamento em Classificação Desbalanceada

Enunciado do Problema
Na IA centrada em dados, o desbalanceamento de classes é um desafio prevalente onde os modelos tendem a favorecer a classe majoritária, resultando em desempenho pobre na classe minoritária. Embora os métodos de balanceamento (por exemplo, sobreamostragem, subamostragem) sejam abordagens padrão centradas em dados para mitigar isso, seu impacto no comportamento do modelo permanece pouco explorado. Especificamente, há uma falta de compreensão sobre como esses métodos influenciam o efeito Rashomon — um fenômeno onde múltiplos modelos alcançam precisão preditiva aproximadamente igual, mas podem gerar previsões conflitantes para as mesmas observações. Isso leva à multiplicidade preditiva, onde a seleção cega de um modelo de um conjunto de modelos igualmente precisos pode resultar em resultados conflitantes, representando riscos para a validação do modelo, explicação e equidade. O artigo investiga se os métodos de balanceamento inflacionam essa multiplicidade preditiva e alteram as ordens de importância das variáveis.

Metodologia
Os autores conduziram experimentos utilizando um conjunto de 21 conjuntos de dados de referência desbalanceados, com razões de desbalanceamento variando de 1,54 a 129,53. O estudo empregou a seguinte estrutura metodológica:

Métodos de Balanceamento: Quatro técnicas foram avaliadas: Sobreamostragem Aleatória, SMOTE (Técnica de Sobreamostragem Sintética da Classe Minoritária), Subamostragem Aleatória e Near Miss.
Construção do Conjunto Rashomon: O Forester (uma ferramenta de AutoML baseada em árvores) foi utilizado para gerar o conjunto Rashomon. Essa abordagem permite o controle do tamanho do conjunto via parâmetros de otimização bayesiana, criando um espaço de hipóteses empírico de modelos com valores de perda dentro de um limiar específico ( $\epsilon = 0,05$ ) do modelo de referência.
Métricas para Multiplicidade Preditiva:
- Métricas Existentes: Ambiguidade (razão de observações com previsões conflitantes) e Discrepância (razão máxima de observações conflitantes entre o modelo de referência e qualquer modelo concorrente).
- Métrica Proposta: Obscuridade, definida como a razão média de previsões conflitantes para observações em todos os modelos do conjunto Rashomon. Essa métrica visa capturar a abundância de conflitos de observação de forma mais granular do que a ambiguidade binária.
- Discrepância na Ordem de Importância das Variáveis (VIOD): Uma nova métrica proposta para medir a dissimilaridade nas ordens de importância das variáveis entre o modelo de referência e outros modelos no conjunto, baseada no coeficiente de correlação $\tau$ de Kendall.
Variáveis Experimentais: O estudo variou as razões de reamostragem (razões de desbalanceamento resultantes de 1,0 a 1,25) para testar a reamostragem parcial como uma estratégia potencial de mitigação.
Análise Estatística: Os resultados foram resumidos usando gráficos estatísticos e avaliados por meio dos testes pareados de Kruskal-Wallis, Friedman e Dunnett.

Principais Resultados
Os experimentos abordaram quatro perguntas de pesquisa específicas (PRs):

PR1 (Impacto na Multiplicidade Preditiva): Os métodos de balanceamento foram encontrados inflacionando a multiplicidade preditiva. A análise visual e os testes estatísticos (Kruskal-Wallis, $p < 0,05$ ) demonstraram que os modelos treinados em conjuntos de dados balanceados exibiram obscuridade e discrepância significativamente maiores em comparação com aqueles treinados em dados originais desbalanceados. As zonas dos métodos de balanceamento no eixo de obscuridade não se sobrepunham às zonas do conjunto de dados original, indicando um aumento distinto em previsões conflitantes.
PR2 (Impacto na Importância das Variáveis): Em relação à Discrepância na Ordem de Importância das Variáveis (VIOD), o estudo encontrou nenhuma diferença estatisticamente significativa nos valores medianos de VIOD entre modelos treinados em conjuntos balanceados versus originais. Isso contrasta com algumas descobertas anteriores em conjuntos de dados menores, sugerindo que, embora os conflitos de previsão aumentem, a classificação fundamental da importância das variáveis permanece relativamente estável através do conjunto Rashomon neste contexto experimental mais amplo.
PR3 (Reamostragem Parcial): A hipótese de que a reamostragem parcial (por exemplo, visando uma razão de desbalanceamento de 1,25) poderia mitigar mudanças no comportamento do modelo foi rejeitada. Testes estatísticos (teste de Friedman) não mostraram diferença significativa nas métricas Rashomon através de diferentes razões de reamostragem, indicando que a reamostragem parcial não resolve o problema de multiplicidade introduzido pelo balanceamento.
PR4 (Monitoramento de Trade-offs): O estudo validou a utilidade de um gráfico de ganho de desempenho estendido. Essa visualização mapeia o trade-off entre ganho de desempenho (medido pela melhoria do AUC) e multiplicidade (obscuridade/discrepância). Os resultados destacaram que, embora os métodos de sobreamostragem (Sobreamostragem, SMOTE) geralmente melhorassem o desempenho, eles também aumentavam a multiplicidade. Por outro lado, os métodos de subamostragem às vezes falhavam em melhorar o desempenho enquanto ainda aumentavam a multiplicidade.

Significado e Alegações
O artigo alega ser o primeiro estudo a examinar o efeito Rashomon especificamente no contexto de métodos de balanceamento para classificação desbalanceada. Suas principais contribuições são:

Evidência Empírica de Inflação: Fornece evidências de que os métodos de balanceamento, embora destinados a melhorar a precisão, inadvertidamente aumentam a multiplicidade preditiva (previsões conflitantes) dentro do conjunto Rashomon.
Nova Métrica (Obscuridade): A introdução da obscuridade oferece uma visão mais matizada da multiplicidade preditiva, medindo a razão média de conflitos em vez de apenas a existência de conflito.
Refutação da Reamostragem Parcial: Desafia a noção de que a reamostragem parcial é uma solução suficiente para mudanças no comportamento do modelo induzidas pelo balanceamento.
Estrutura de Modelagem Responsável: Os autores propõem o uso do gráfico de ganho de desempenho estendido como uma ferramenta prática para profissionais de IA centrada em dados. Essa ferramenta permite o monitoramento do trade-off entre ganhos de desempenho e os riscos associados à multiplicidade preditiva, defendendo um processo de seleção de modelos mais responsável que considere não apenas a precisão, mas também a estabilidade e a consistência das previsões do modelo.

O artigo conclui que, embora os métodos de balanceamento sejam um "refúgio" para classificação desbalanceada, os pesquisadores devem levar em conta o risco aumentado de multiplicidade. A seleção cega do conjunto Rashomon resultante é arriscada; portanto, o gráfico de ganho de desempenho estendido é essencial para conduzir processos de modelagem de forma responsável.