Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

No mundo do aprendizado de máquina, os computadores são frequentemente ensinados a reconhecer padrões mostrando-lhes exemplos do que estão procurando e exemplos do que não são. Imagine um médico tentando ensinar um algoritmo a detectar um tipo específico de tumor. O computador precisa ver imagens claras de tumores e imagens claras de tecido saudável para aprender a diferença. Mas em muitas situações do mundo real, obter esses exemplos claros de "saudável" é difícil. Frequentemente, os pesquisadores possuem apenas uma lista de casos positivos confirmados e uma pilha grande e desordenada de dados não rotulados que contém uma mistura tanto dos casos positivos quanto dos negativos, sem qualquer forma de distingui-los. Isso é conhecido como aprendizado positivo-não rotulado (positive-unlabeled learning). O objetivo é construir um sistema que ainda consiga classificar os bons casos com maior prioridade do que os ruins, mesmo quando os casos ruins estão escondidos dentro da multidão. A forma padrão de medir o quão bem um sistema faz isso é calculando uma pontuação que representa sua capacidade de distinguir entre os dois grupos. No entanto, quando o grupo negativo está escondido e misturado, a pontuação padrão torna-se enganosa. Ela diz o quão bem o sistema classifica em relação à pilha desordenada, não em relação aos verdadeiros negativos, e geralmente apresenta esse número como um ponto único e exato, sem qualquer indicação de quanto esse número pode estar errado devido ao acaso.

Um pesquisador chamado Vincent Looten abordou este problema desenvolvendo uma nova maneira de medir o desempenho que leva em conta a mistura oculta e fornece uma faixa de confiança confiável. O cerne do trabalho é uma correção matemática que remove a contaminação dos dados não rotulados para revelar o verdadeiro desempenho em relação aos casos negativos. O pesquisador descobriu que você não pode simplesmente olhar para a pilha desordenada e adivinhar a resposta; você deve primeiro estimar quanto dessa pilha é, de fato, o caso positivo que você está procurando. Uma vez que você tenha essa estimativa, pode usar uma fórmula específica para ajustar a pontuação de desempenho. Mas o pesquisador foi além, percebendo que simplesmente ajustar o número não é suficiente. Como a estimativa da mistura é, por si só, incerta, essa incerteza deve ser levada através do cálculo. O estudo mostra que, se você ignorar essa incerteza, sua pontuação final estará errada. Ao rastrear cuidadosamente como a incerteza na estimativa da mistura afeta a pontuação final, o pesquisador derivou um método para produzir um intervalo calibrado. Esse intervalo atua como uma rede de segurança, dizendo ao usuário a faixa dentro da qual o verdadeiro desempenho quase certamente reside, em vez de apenas fornecer um número único e potencialmente enganoso.

O estudo revela que este método funciona maravilhosamente quando os casos positivos e negativos são distintos o suficiente para serem separados. Nestas situações claras, o novo método produz uma faixa de dois lados que captura o verdadeiro desempenho quase tão precisamente quanto uma regra estatística padrão esperaria. No entanto, o pesquisador também descobriu um limite rígido para esta abordagem. Quando os casos positivos e negativos são tão semelhantes que se fundem, a mistura torna-se impossível de definir com certeza. Neste cenário específico, a faixa de dois lados falha porque a matemática simplesmente não consegue sustentá-la. Em vez de forçar uma falsa faixa, o método muda para um limite de um lado só. Este limite fornece um piso mínimo garantido de desempenho, admitindo que, embora o escore exato seja desconhecido, o sistema é certamente pelo menos tão bom quanto aquilo. Esta mudança não é uma falha do método, mas sim uma característica dele, garantindo que o relatório permaneça honesto mesmo quando os dados são ambíguos demais para suportar uma estimativa precisa.

Para testar essas ideias, o pesquisador aplicou o método a dados do mundo real, especificamente usando registros médicos de câncer de mama onde os rótulos verdadeiros eram conhecidos, mas tratados como ocultos para simular o problema. Os resultados foram drásticos. Uma abordagem tradicional que ignora a mistura oculta e relata um número único falhou completamente, nunca capturando o desempenho real nos testes. Outra abordagem que tentou corrigir o número, mas usou uma estimativa simples para a mistura, também teve dificuldades, especialmente quando os dados não seguiam uma curva de sino perfeita. Apenas o novo método, que combinou a correção com uma forma robusta de estimar a mistura e um cálculo cuidadoso da incerteza, teve sucesso. Ele produziu consistentemente intervalos que continham o desempenho real, desde que os casos positivos e negativos não fossem muito semelhantes. O estudo confirma que a chave para obter uma resposta confiável não é apenas o algoritmo realizando a classificação, mas a qualidade da estimativa usada para descrever a mistura oculta. Se essa estimativa for tendenciosa ou imprecisa, a pontuação de desempenho final estará errada, não importa quão sofisticado seja o sistema de classificação.

O trabalho também esclarece quando um pesquisador deve confiar em uma faixa de dois lados e quando deve se contentar com um piso de um lado só. O ponto de transição depende de quão distintos os dois grupos são em relação à quantidade de dados disponíveis. Se os grupos forem bem separados, a faixa completa é válida. Se forem muito próximos, o método identifica corretamente que uma faixa precisa de dois lados é imposs$\\text{ impossível}$ e oferece a garantia mais segura de um lado só. Esta distinção é crucial para profissionais que precisam saber não apenas quão bem um sistema funciona, mas o quão certos podem estar desse número. O pesquisador encapsulou todo este processo em uma ferramenta que pode envolver qualquer sistema de pontuação existente, permitindo que os usuários insiram seus dados e recebam uma pontuação descontaminada junto com um intervalo de confiança ou um piso de segurança. Esta ferramenta não exige que os dados sigam uma forma matemática específica, tornando-a útil para os conjuntos de dados desordenados do mundo real que frequentemente desafiam modelos simples.

Em última análise, esta pesquisa desloca o foco de simplesmente construir melhores classificadores para entender como medi-los corretamente quando os dados estão incompletos. Ela demonstra que, na ausência de exemplos negativos claros, a peça de informação mais crítica é a estimativa de quantos casos positivos estão escondidos na pilha não rotulada. O estudo prova que, com os ajustes matemáticos corretos, é possível recuperar uma medida real de desempenho e anexar uma margem de erro confiável a ela. No entanto, também estabelece um limite claro: quando o sinal é fraco demais para separar os grupos, o método se recusa a adivinhar, oferecendo, em vez disso, um limite inferior conservador. Essa honestidade sobre os limites do que pode ser conhecido é talvez a descoberta mais valiosa de todas, garantindo que as decisões baseadas nessas pontuações sejam tomadas com uma compreensão clara da incerteza subjacente.