🤖 machine learning

Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark

Este artigo apresenta um benchmark abrangente multidomínio demonstrando que a combinação de predição conformal condicional à classe (Mondrian) com abstinção controlada por custo resolve eficazmente a subcobertura severa de classes minoritárias raras e minimiza os custos de decisão esperados em sistemas de suporte à decisão desbalanceados de alto risco.

Autores originais: Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

Publicado 2026-07-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial navegando por um campo de asteroides denso e nebuloso. O computador da sua nave é brilhante em detectar os milhares de rochas flutuantes inofensivas (a classe "majoritária"), mas continua deixando passar os asteroides raros e perigosos que podem destruir a nave (a classe "minoritária"). No mundo da inteligência artificial, este é um problema comum chamado "dados desbalanceados". Quando um computador aprende com um conjunto de dados onde um resultado ocorre 99 vezes e outro apenas uma vez, ele fica preguiçoso e começa a adivinhar o resultado comum todas as vezes para parecer inteligente. Isso é perigoso em funções de alto risco, como detectar fraudes de cartão de crédito, diagnosticar doenças raras ou prever falhas em máquinas de fábrica, onde perder o evento raro custa uma fortuna ou até vidas.

Para corrigir isso, os cientistas usam uma rede de segurança chamada "Predição Conformal". Pense nisso como um corrimão inteligente que não dá apenas uma resposta única de "sim" ou "não", mas diz: "Tenho 90% de certeza de que a resposta está neste grupo". Se o computador estiver confiante, o grupo tem um item. Se estiver confuso, o grupo pode ter dois itens, ou pode até estar vazio, sinalizando: "Eu não tenho ideia, por favor, pergunte a um humano!". A grande questão que os pesquisadores têm feito é: essa rede de segurança funciona igualmente bem para os asteroides raros e perigosos, ou ela apenas protege as rochas comuns e entediantes?

Este artigo, intitulado "Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support", mergulha profundamente exatamente nesse problema. Os autores, Manpreet Singh, Akshata Srikantha e Shyamal Lakhanpal, realizaram um experimento massivo em 15 conjuntos de dados diferentes do mundo real, testando 7 tipos diferentes de modelos de IA. Eles descobriram que a versão padrão dessa rede de segurança (chamada de "Marginal Conformal Prediction") está, na verdade, falhando nos casos raros de forma espetacular. Em seus testes, enquanto o sistema prometia 90% de segurança geral, ele estava capturando os eventos raros e perigosos menos de 1% das vezes nos piores casos. Era como um corrimão que protege a calçada, mas deixa a beira do precipício completamente aberta.

A principal descoberta do artigo é que um upgrade específico chamado "Mondrian Conformal Prediction" conserta esse corrimão quebrado. Em vez de usar uma única rede de segurança gigante para tudo, a Mondrian CP constrói redes separadas e personalizadas para as rochas comuns e para os asteroides raros. Os resultados foram dramáticos: este método restaurou a cobertura de segurança para os eventos raros para sólidos 92,2% em média, uma melhoria massiva de 61,7 pontos percentuais sobre o método padrão.

Mas o artigo não para apenas em capturar os eventos raros; ele também descobre quando vale a pena pagar um humano para intervir. Os autores introduziram uma regra de "abstenção controlada por custo". Imagine que a IA é um aluno fazendo uma prova. Se o aluno estiver incerto, ele pode escolher "abster-se" (deixar a resposta em branco) e deixar um professor corrigir, mas o professor cobra uma taxa pelo seu tempo. O artigo calculou o exato ponto de "equilíbrio": se a taxa para o professor for baixa o suficiente, é matematicamente mais barato deixar a IA pular as perguntas difíceis e enviá-las para um humano, em vez de arriscar uma resposta errada que custa uma fortuna. Eles provaram que, ao usar este método Mondrian melhorado combinado com esta regra inteligente de "pular e perguntar", o custo total de tomar decisões caiu significativamente em comparação aos métodos padrão.

Em suma, o artigo argumenta que, para decisões de alto risco envolvendo eventos raros, as antigas redes de segurança de "tamanho único" são perigosas. Em vez disso, precisamos de redes customizadas para casos raros e de um sistema inteligente que saiba exatamente quando dizer: "Eu não sei, deixe um humano lidar com isso", para economizar dinheiro e evitar desastres. Os autores testaram isso através de milhares de cenários e descobriram que esta abordagem não é apenas uma boa ideia, mas uma necessidade estatisticamente comprovada para manter erros raros e caros sob controle.

Resumo Técnico: Predição Conformal Sensível ao Custo e Abstenção com Humano no Ciclo para Suporte à Decisão em Cenários de Alto Risco e Desbalanceados

Definição do Problema
Sistemas de decisão de alto risco em domínios como pontuação de crédito, detecção de fraude, saúde e segurança industrial operam sob severo desbalanceamento de classes e custos de erro assimétricos. Nesses contextos, o custo de um falso negativo (ex: perder uma transação fraudulenta ou uma doença grave) frequentemente excede vastamente o custo de um falso positivo. Embora modelos de classificação padrão forneçam previsões pontuais ou escores de confiança, eles frequentemente falham em quantificar a incerteza real da previsão, levando a decisões automatizadas arriscadas.

A Predição Conformal (CP) oferece um framework livre de distribuição para quantificação de incerteza, garantindo que o rótulo verdadeiro esteja dentro de um conjunto de predição com uma probabilidade de pelo menos $1-\alpha$ . No entanto, a predição conformal marginal padrão oferece validade apenas em média sobre todo o conjunto de dados. Em conjuntos de dados desbalanceados, isso resulta em um modo de falha crítico: o preditor satisfaz a meta de cobertura global ao super-cobrir a classe majoritária, enquanto sub-cobre severamente a classe minoritária de alto custo. Evidências empíricas neste estudo mostram que a CP marginal pode reduzir a cobertura da classe minoritária para menos de 1% em razões de desbalanceamento extremas, deixando casos raros, porém críticos, desprotegidos.

Metodologia
Os autores propõem um framework abrangente integrando Predição Conformal de Classe-Condicional (Mondrian) com Abstenção Controlada por Custo.

Predição Conformal Mondrian: Para abordar o déficit de cobertura da classe minoritária, o método divide o conjunto de calibração em subconjuntos específicos por classe ( $D^{(0)}_{cal}$ e $D^{(1)}_{cal}$ ). Quantis de não-conformidade independentes ( $q_0$ e $q_1$ ) são computados para cada classe. Isso garante que a garantia de cobertura $P(Y \in \hat{C}(X) \mid Y=y) \geq 1-\alpha$ seja válida para cada classe individualmente, em vez de apenas marginalmente.
Mecanismo de Abstenção Controlada por Custo: O sistema mapeia os outputs dos conjuntos de predição para ações baseadas em uma matriz de custo assimétrica ( $C_{FN}, C_{FP}$ $C_{F N}, C_{F P}$ ) e um custo de revisão humana ( $C_{rev}$ $C_{r e v}$ ).
- Se o conjunto de predição for um singleton (ex: $\{0\}$ ou $\{1\}$ ), o sistema executa a decisão automatizada.
- Se o conjunto de predição for ambíguo (multirrótulo $\{0, 1\}$ ) ou vazio ( $\emptyset$ ), o sistema se abstém e delega a instância a um especialista humano.
- O framework modela o custo esperado de deferimento, contabilizando o custo operacional da revisão e potenciais taxas de erro humano ( $\epsilon_{hum}$ ).
Análise de Ponto de Equilíbrio (Break-Even): Os autores derivam um limiar de forma fechada ( $C^*_{rev}$ ) que representa o custo máximo de revisão no qual o deferimento de instâncias ambíguas para humanos gera um custo de decisão total esperado menor do que preditores pontuais padrão ou ajuste de limiar Bayesiano-ótimo.

Benchmark Experimental
O estudo conduz uma avaliação empírica rigorosa através de:

15 Datasets do Mundo Real: Extraídos do OpenML, cobrindo finanças, saúde, segurança industrial e monitoramento ambiental, com razões de desbalanceamento variando de 2.3:1 a 580:1.
7 Classificadores Base: Incluindo HistGradientBoosting, Regressão Logística, Random Forest, Extra Trees, Gradient Boosting, AdaBoost e Gaussian Naive Bayes.
3 Técnicas de Calibração: Não calibrado, Platt Scaling e Regressão Isotônica.
Escala: 3.150 execuções experimentais totais (10 sementes aleatórias por configuração).

Resultados Principais

Restauração da Cobertura da Classe Minoritária: A CP marginal padrão alcançou uma cobertura média da classe minoritária de apenas 30,5%, caindo frequentemente abaixo de 1% em datasets extremos (ex: aps_failure). Em contraste, a CP Mondrian restaurou sistematicamente a validade da cobertura, atingindo uma cobertura média da classe minoritária de 92,2%. Isso representa uma melhoria média de 61,7 pontos percentuais sobre a CP marginal ( $p < 10^{-80}$ ).
Redução de Custos: Acoplar a CP Mondrian com a abstenção controlada por custo reduziu significativamente o custo de decisão esperado por instância. Com um custo de revisão humana moderado ( $C_{rev} = 0,5$ ), o método proposto alcançou um custo médio de 0,313, uma redução de 54,1% comparado à classificação pontual padrão e uma redução de 38,6% comparado aos limiares ajustados pelo custo Bayesiano.
Limiares de Ponto de Equilíbrio: O estudo quantificou limiares de ponto de equilíbrio específicos para cada dataset quanto à revisão humana. Demonstrou que, mesmo com revisão humana ruidosa ( $\epsilon_{hum} > 0$ ), o deferimento permanece economicamente vantajoso, desde que a taxa de erro humano permaneça abaixo de aproximadamente 18% sob parâmetros operacionais padrão.
Robustez: A restauração da cobertura e os benefícios de custo foram consistentes em todos os sete classificadores base e três métodos de calibração, confirmando a natureza agnóstica ao modelo da abordagem.

Significância e Alegações
O artigo afirma fornecer princípios acionáveis para o implante de quantificação de incerteza livre de distribuição e de custo-otimizado em sistemas de suporte à decisão baseados em conhecimento. Suas principais contribuições são:

Quantificação Empírica: Demonstrar que a CP marginal é fundamentalmente inadequada para tarefas de alto risco e desbalanceadas devido ao severo sub-cobertura da classe minoritária.
Solução Sistemática: Provar que a CP Mondrian restaura a validade para classes raras sem exigir retreinamento de modelos complexos.
Framework Econômico: Estabelecer um vínculo formal entre outputs de conjuntos conformes e custos de decisão clínicos/financeiros, derivando limiares específicos onde o deferimento com humano no ciclo é economicamente superior ao ajuste automatizado.
Diretrizes de Implantação: Oferecer um sistema de arquitetura de quatro níveis para integrar esses métodos em ambientes corporativos, incluindo considerações para limites de capacidade humana (teoria das filas) e mudanças de distribuição.

Os autores concluem que, embora o método dependa de dados tabulares e assuma permutabilidade (exchangeability), ele fornece uma abordagem robusta e teoricamente fundamentada para gerenciar incerteza e custo em cenários de tomada de decisão crítica onde erros raros carregam consequências desproporcionais. Trabalhos futuros são sugeridos para inferência adaptativa online, roteamento assistido por LLM, extensões focadas em equidade (fairness) e generalização multiclasse.

Mais como este