📊 statistics

Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification

Este artigo introduz um framework de reformulação e otimização com restrições exatas (ERO) que permite a otimização direta e eficaz de precisão, recall e F1-score em classificação binária desbalanceada sem depender de aproximações suaves, demonstrando desempenho superior em relação aos métodos de estado da arte em múltiplos conjuntos de dados de referência.

Autores originais: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo do aprendizado de máquina, os computadores aprendem a classificar coisas em categorias, de forma muito semelhante a um bibliotecário organizando livros por gênero. Esse processo, conhecido como classificação, é um pilar da tecnologia moderna, alimentando desde o diagnóstico médico até a detecção de fraudes. No entanto, o mundo real raramente apresenta um equilíbrio perfeito de categorias. Em muitas situações críticas, um grupo é vastamente menor do que o outro. Um banco pode ver milhões de transações legítimas, mas apenas um punhado de transações fraudulentas; um hospital pode tratar milhares de pacientes saudáveis, mas apenas alguns com uma doença rara. Esse desequilíbrio cria uma armadilha para programas de computador padrão. Se um sistema simplesmente adivinhar a classe majoritária todas as vezes, ele parecerá altamente preciso pelo puro volume, mas falhará completamente em seu trabalho mais importante: encontrar os casos raros e críticos.

Para corrigir isso, cientistas há muito tempo tentam ensinar os computadores a se importarem mais com o grupo raro. Eles desenvolveram várias maneiras de medir o sucesso que vão além da simples precisão, focando, em vez disso, em quão bem o sistema encontra os itens raros (uma medida chamada revocação ou recall) e o quão certo ele está quando afirma ter encontrado um (uma medida chamada precisão). O desafio reside no fato de que esses objetivos frequentemente puxam em direções opostas. Um sistema que é excessivamente cauteloso pode perder muitos casos raros para evitar alarmes falsos, enquanto um sistema que é muito ávido pode capturar todos os casos, mas também sinalizar muitos inocentes. Por décadas, pesquisadores lutaram para construir algoritmos que possam otimizar diretamente esses objetivos específicos, particularmente quando precisam garantir um certo nível de desempenho, como capturar pelo menos 95% de todas as fraudes, mantendo os alarmes falsos baixos. As ferramentas matemáticas necessárias para fazer isso têm sido notoriamente difíceis de usar porque as regras que governam essas decisões são irregulares e descontínuas, tornando-as resistentes às melhorias suaves e passo a passo das quais a maioria do aprendizado de máquina depende.

Uma equipe de pesquisadores desenvolveu agora uma nova abordagem que atravessa essa dificuldade matemática para resolver esses problemas diretamente. Em vez de suavizar as arestas ásperas das regras de decisão, como fizeram métodos anteriores, eles encontraram uma maneira de reescrever o problema para que o computador possa navegar pelo terreno irregular exatamente como ele é. O trabalho deles foca em três cenários específicos que importam profundamente para aplicações do mundo real: maximizar a descoberta de itens raros garantindo um alto nível de certeza, maximizar a certeza garantindo um alto nível de descoberta, e encontrar o melhor equilíbrio possível entre os dois. Ao criar uma reformulação matemática precisa dessas tarefas, eles permitiram o uso de poderosas ferramentas de otimização que anteriormente eram incapazes de lidar com a natureza nítida e binária dessas decisões.

Os pesquisadores testaram seu novo método em uma variedade de conjuntos de dados do mundo real, incluindo imagens médicas, registros de texto e registros de transações financeiras. Nesses testes, eles compararam sua abordagem com as melhores ferramentas existentes atualmente. Os resultados foram impressionantes. Enquanto os métodos antigos frequentemente falhavam em atender aos requisitos rigorosos estabelecidos para eles — às vezes produzindo soluções que eram matematicamente impossíveis de usar na prática — o novo método consistentemente encontrou soluções que satisfaziam as restrições. Por exemplo, ao serem incumbidos de encontrar pelo menos 90% dos casos positivos mantendo uma alta precisão, a nova abordagem teve sucesso onde outros falharam, entregando modelos que eram tanto viáveis quanto altamente eficazes. Em cenários onde o objetivo era equilibrar precisão e revocação, o novo método novamente superou seus competidores, encontrando melhores compensações que levaram a sistemas mais confiáveis.

O cerne desse sucesso reside em como os pesquisadores lidaram com a função "indicadora", um interruptor matemático que liga ou desliga dependendo se uma previsão está correta. Tentativas anteriores de resolver esses problemas substituíram esse interruptor nítido por uma aproximação suave e curva, semelhante a tentar desenhar um círculo quadrado para facilitar o cálculo. Embora isso tornasse a matemática mais fácil, introduziu erros que tornavam os resultados finais não confiáveis, especialmente quando as regras eram estritas. O novo método evita essa armadilha inteiramente. Ele introduz um conjunto de variáveis auxiliares que atuam como uma ponte, permitindo que o computador trabalhe com as regras nítidas e exatas sem perder a capacidade de calcular gradientes, ou direções de melhoria. Isso permite que o algoritmo suba em direção à melhor solução possível sem ficar preso ou se perder devido a erros de aproximação.

A equipe também demonstrou que seu método é robusto em diferentes tipos de dados. Quer estivessem lidando com imagens de ossos, textos descrevendo condições médicas ou registros de uso de cartão de crédito, a abordagem se manteve. Em muitos casos, os métodos antigos produziram modelos que pareciam bons no papel, mas falhavam em atender aos requisitos básicos quando testados em novos dados não vistos. O novo método, por outro lado, manteve seu desempenho, encontrando soluções que não eram apenas ótimas para os dados de treinamento, mas que também se sustentavam quando aplicadas a novas situações. Isso sugere que o método não busca apenas um truque matemático para se ajustar aos dados, mas realmente aprende uma maneira mais confiável de tomar decisões.

Embora os pesquisadores reconheçam que seu trabalho atual é determinístico e possa precisar de mais desenvolvimento para escalar para conjuntos de dados massivos, os resultados apresentados são um passo significativo à frente. Eles demonstraram que é possível otimizar essas métricas difíceis do mundo real diretamente, sem depender do terreno instável das aproximações. Isso abre as portas para sistemas de IA mais confiáveis em campos de alto risco, onde perder um evento raro ou levantar um alarme falso pode ter consequências sérias. Ao fornecer um framework que pode lidar com a natureza exata e não suavizada desses problemas, o trabalho oferece um caminho mais claro para a construção de sistemas inteligentes que podem ser confiados para desempenhar exatamente o que é necessário, mesmo quando os dados são fortemente desequilibrados e os riscos são altos.

Resumo Técnico: Reformulação Exata e Otimização para Otimização Direta de Métricas em Classificação Binária Desbalanceada

Definição do Problema
Na classificação binária desbalanceada (IC), métricas padrão como a acurácia podem ser enganosas. Embora os métodos existentes frequentemente otimizem a acurácia balanceada ou utilizem aproximações suaves para lidar com a natureza não diferenciável de métricas como precisão, recall e o F1-score, essas abordagens enfrentam limitações significativas. Especificamente, quando a significância das classes varia ou níveis específicos de métricas devem ser garantidos (por exemplo, garantir que o recall $\ge$ 95% enquanto se maximiza a precisão), as aproximações suaves podem levar a soluções inviáveis ou pontos operacionais subótimos devido a discrepâncias numéricas e gradientes evanescentes.

O artigo aborda três problemas de Otimização Direta de Métricas (DMO) para IC binária:

FPOR: Fixar Precisão, Otimizar Recall (maximizar o recall sujeito a precisão $\ge \alpha$ ).
FROP: Fixar Recall, Otimizar Precisão (maximizar a precisão sujeito a recall $\ge \alpha$ ).
OFOS: Otimizar o F1-score (maximizar a métrica F1 diretamente).

O desafio técnico central é que essas métricas envolvem funções indicadoras ( $1\{f_\theta(x) > t\}$ ), que possuem gradiente zero em quase todos os pontos, tornando a otimização baseada em gradiente padrão inaplicável. Além disso, as restrições em FPOR e FROP são não convexas e não lineares, dificultando a busca por pontos viáveis.

Metodologia
Os autores propõem um framework de Reformulação e Otimização Exata (ERO) que evita completamente as aproximações suaves. A metodologia consiste em três componentes principais:

Reformulação Contínua Exata:
Em vez de aproximar a função indicadora com uma sigmoide, os autores introduzem variáveis auxiliares contínuas $s \in [0, 1]^N$ e reformulam a restrição indicadora $s_i = 1\{f_\theta(x_i) > t\}$ usando uma nova equivalência baseada em funções lineares por partes.
- Eles estabelecem que para $a \neq t$ , a condição $s = 1\{a > t\}$ é equivalente a $s + [s + a - 1 - t]_+ - [s + a - t]_+ = 0$ , onde $[\cdot]_+ = \max(\cdot, 0)$ .
- Esta transformação substitui a função indicadora descontínua por uma função contínua, linear por partes ( $H_t$ ) que possui gradientes não nulos em quase todos os pontos, permitindo o uso de métodos baseados em gradiente.
- Para garantir a estabilidade computacional e evitar pontos singulares onde $f_\theta(x_i) = t$ , as restrições de igualdade são relaxadas para restrições de desigualdade, e um termo de regularização de estilo barreira (baseado em entropia cruzada) é adicionado ao objetivo para incentivar que $s$ e $f_\theta$ se alinhem em valores extremos (0 ou 1).
Equivalência Teórica:
O artigo prova que, sob condições brandas (especificamente, não singularidade onde $f_\theta(x_i) \neq t$ ), as soluções globais dos problemas reformulados são equivalentes às soluções globais dos problemas DMO originais. Isso garante que a otimização do problema reformulado produza soluções válidas para as restrições de métricas originais.
Otimização de Penalidade Exata:
Para resolver o problema de otimização restrita resultante, os autores empregam um método de penalidade exata com uma função de penalidade do tipo $\ell_1$ . Diferente dos métodos de penalidade quadrática ou métodos Lagrangianos (usados em frameworks como o TFCO), que podem apenas garantir a viabilidade assintoticamente ou exigir condições específicas de multiplicadores, o método de penalidade exata garante que uma solução viável possa ser obtida para um parâmetro de penalidade suficientemente grande (mas finito). O algoritmo resolve iterativamente subproblemas não restritos usando métodos de gradiente projetado (ex: ADAM).

Principais Contribuições

Reformulação Inovadora: A primeira reformulação restrita exata para problemas DMO que lida com funções indicadoras sem aproximações suaves, induzindo gradientes não triviais em quase todos os pontos.
Garantias Teóricas: Prova de equivalência entre os problemas DMO originais e as versões reformuladas, estabelecendo que as soluções globais de um correspondem às soluções globais do outro.
Framework Algorítmico: Um framework de otimização unificado usando métodos de penalidade exata que encontra de forma confiável pontos viáveis para restrições não convexas e não lineares.
Superioridade Empírica: Experimentos extensos em quatro conjuntos de dados de referência (Eyepacs, MURA, ADE-Corpus-V2 e CreditCard) cobrindo dados de imagem, texto e tabulares.

Resultados
O método ERO foi comparado com métodos de estado da arte (SOTA), incluindo a biblioteca TensorFlow Constrained Optimization (TFCO) (que utiliza aproximações suaves e métodos Lagrangianos) e vários baselines baseados em perda ou amostragem (WCE, Focal Loss, LDAM, etc.).

Desempenho de Otimização: O ERO superou consistentemente todos os métodos concorrentes na busca por soluções viáveis que satisfaçam as restrições de métricas (ex: precisão $\ge$ 0.9). Em contraste, os baselines não-DMO frequentemente falharam em produzir soluções viáveis, e o TFCO frequentemente permaneceu inviável, particularmente na tarefa FPOR.
Generalização: O ERO alcançou o melhor ou quase melhor desempenho em conjuntos de teste em todas as tarefas. Embora existissem lacunas de generalização (um problema comum em IC), o ERO manteve os trade-offs mais competitivos entre o objetivo e as restrições.
Descobertas Específicas:
- No FPOR (Fix Precision), o ERO foi o único método a alcançar viabilidade consistente em todos os datasets.
- No FROP (Fix Recall), o ERO alcançou os maiores valores de objetivo entre as soluções viáveis.
- No OFOS (Optimize F1), o ERO alcançou consistentemente os maiores escores de F1 durante o treinamento e permaneceu no nível superior nos conjuntos de teste.

Significância e Alegações
O artigo afirma que o framework ERO representa um avanço significativo sobre as abordagens DMO existentes ao eliminar a dependência de aproximações suaves, que são propensas a discrepâncias numéricas e gradientes evanescentes. Ao fornecer uma reformulação exata, o método garante que as métricas otimizadas adiram estritamente às restrições definidas pelo usuário, um requisito crítico para aplicações de alto risco, como saúde e finanças.

Os autores observam que, embora seu trabalho atual se concentre em IC binária e três métricas específicas, a técnica subjacente é generalizável para outras métricas (ex: acurácia, NDCG, precisão@k) e outros cenários de aprendizado (multiclasse, detecção de objetos). Eles identificam como trabalho futuro a extensão desses métodos para otimização estocástica em datasets de larga escala e a compreensão das propriedades de generalização de aprendizado profundo restrito com modelos superparametrizados. O código é disponibilizado para facilitar pesquisas futuras.

Mais como este