Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints

Título: Partial VOROS: Uma Métrica de Desempenho Consciente de Custos para Classificadores Binários com Restrições de Precisão e Capacidade

1. Problema e Motivação

O artigo aborda as limitações das métricas tradicionais de avaliação de classificadores binários (como a Curva ROC e a Área Sob a Curva - AUROC) em aplicações de alto risco, especificamente em sistemas de alerta hospitalar para monitoramento de pacientes.

Os autores identificam três lacunas críticas nas abordagens atuais:

1. Custos Assimétricos: A Curva ROC tradicional não reflete adequadamente os custos desiguais entre Falsos Positivos (FP) e Falsos Negativos (FN). Em hospitais, um FN (não detectar uma deterioração) é muito mais custoso que um FP (um alarme desnecessário), mas a métrica padrão trata o trade-off de forma genérica.
2. Restrições de Precisão (Alarm Fatigue): Stakeholders (médicos/enfermeiros) exigem que a precisão do sistema (fração de alarmes que são verdadeiros) atinja um mínimo ($\alpha$) para evitar a "fadiga de alarme", onde a equipe ignora os alertas devido ao excesso de falsos positivos.
3. Restrições de Capacidade: Existe um limite físico no número de alarmes que a equipe pode processar simultaneamente ($\kappa$). Um sistema que gera mais alertas do que a capacidade de resposta da equipe é inviável, independentemente de sua precisão teórica.

Métricas existentes, como o VOROS (Volume sobre a Superfície ROC) proposto anteriormente, consideram custos variáveis, mas não incorporam restrições rígidas de precisão e capacidade.

2. Metodologia

Os autores propõem uma nova métrica chamada Partial VOROS (Volume Parcial sobre a Superfície ROC). A metodologia baseia-se em uma análise geométrica no espaço ROC tridimensional.

Conceitos Fundamentais:

• Espaço ROC e Superfície ROC: O desempenho do classificador é mapeado em um espaço 3D onde os eixos $x$ e $y$ representam a Taxa de Falsos Positivos (FPR) e a Taxa de Verdadeiros Positivos (TPR), respectivamente, e o eixo $z$ representa o parâmetro de custo fracionário $t$ (relação entre custos de FP e FN).
• Região Viável (Feasible Region): O artigo define geometricamente uma sub-região do espaço ROC que satisfaz simultaneamente:
  • Limite de Precisão ($\alpha$): Uma linha reta que exclui pontos com precisão inferior ao mínimo exigido.
  • Limite de Capacidade ($\kappa$): Uma linha reta que exclui pontos onde o número total de predições positivas excede a capacidade de resposta.
  • A interseção dessas restrições cria um polígono (triângulo ou quadrilátero) no espaço ROC, denominado "Região Viável".

Definição da Métrica (Partial VOROS):

1. Área Parcial de Classificadores Inferiores: Para um ponto específico na curva ROC dentro da região viável e para um custo $t$, calcula-se a área dentro da região viável que representa classificadores com custo maior (pior desempenho).
2. Integração sobre Custos: A métrica integra essa "área parcial" sobre uma distribuição de probabilidade desejada para o parâmetro de custo $t$ (ou a razão de custos $C_{FP}:C_{FN}$).
3. Normalização: O resultado é normalizado pela área total da região viável, produzindo um valor entre 0.0 e 1.0, onde 1.0 representa o classificador perfeito viável.

Algoritmo:
O cálculo é eficiente, utilizando o casco convexo (convex hull) da curva ROC. A complexidade computacional é $O(n_{\alpha\kappa} \log n_{\alpha\kappa})$, onde $n_{\alpha\kappa}$ é o número de pontos viáveis no casco convexo, permitindo a seleção de modelos em tempo razoável.

3. Contribuições Principais

1. Formulação Geométrica de Restrições: Demonstração de como restrições de precisão e capacidade mapeiam para um polígono específico no espaço ROC, permitindo a definição formal de uma "região viável".
2. Nova Métrica (Partial VOROS): Desenvolvimento de uma métrica unificada que é monotônica em relação ao custo, respeita restrições operacionais rígidas e lida com distribuições de custos incertos.
3. Análise de Seleção de Modelos: Evidência empírica de que a seleção de modelos baseada em métricas que ignoram restrições (como maximizar apenas o recall ou a AUROC) pode levar à escolha de modelos que falham em cenários de implantação real (violando limites de capacidade ou precisão no conjunto de teste).
4. Ferramentas Práticas: Fornecimento de um guia de usuário e código de código aberto (Python) para calcular a métrica, facilitando a adoção pela comunidade.

4. Resultados Experimentais

Os autores validaram a métrica em dois conjuntos de dados reais de saúde: MIMIC-IV e eICU, focando na previsão de mortalidade e deterioração clínica.

• Comparação de Estratégias de Seleção:
  • Foram comparadas quatro estratégias: Maximizar VOROS total (ignora restrições), Maximizar Recall na região viável (ignora custos), Maximizar pAUROC (ignora custos) e Maximizar Partial VOROS (considera tudo).
  • Cenário 1 (Restrições mais flexíveis): O Partial VOROS obteve o menor custo médio no conjunto de teste, superando ou empatando com as outras estratégias.
  • Cenário 2 (Restrições rigorosas - Alta Precisão, Baixa Capacidade): O VOROS tradicional (que ignora restrições) selecionou modelos que, embora tivessem bom desempenho teórico, resultaram em custos significativamente maiores no teste. O Partial VOROS selecionou modelos que respeitaram as restrições e minimizaram o custo.
• Falha de Generalização de Restrições: Nos dados eICU, modelos selecionados por outras métricas que satisfaziam as restrições no conjunto de validação falharam em satisfazê-las no conjunto de teste devido à variação estatística. O Partial VOROS demonstrou ser mais robusto na seleção de modelos que generalizam melhor dentro das restrições.
• Análise de Early Warning Scores (EWS): Ao reanalisar escores clínicos existentes (NEWS, NEWS2, Rothman Index), o Partial VOROS revelou que nenhum escore é universalmente superior; o melhor depende criticamente dos limites de precisão e capacidade específicos do hospital.

5. Significado e Conclusão

O Partial VOROS representa um avanço significativo na avaliação de classificadores para aplicações críticas. Ele preenche a lacuna entre a teoria de aprendizado de máquina (otimização de métricas abstratas) e a realidade operacional (limites de recursos e tolerância a erros).

• Impacto Prático: Permite que equipes de saúde e cientistas de dados selecionem modelos que não apenas são precisos, mas também operacionalmente viáveis, evitando a sobrecarga da equipe e garantindo que os alertas críticos sejam atendidos.
• Mudança de Paradigma: O trabalho sugere que a avaliação de modelos deve evoluir de métricas de "discriminação" pura (como AUROC) para métricas de "custo e viabilidade" que incorporam as restrições do mundo real desde o início do processo de seleção.
• Limitações e Futuro: A métrica é específica para classificação binária e depende de uma distribuição de custos conhecida. O trabalho futuro deve explorar extensões para multi-classe e garantias estatísticas para a satisfação de restrições em presença de drift de dados.

Em resumo, o artigo fornece uma ferramenta matemática rigorosa e prática para alinhar o desempenho de modelos de IA com as necessidades operacionais e éticas de sistemas de saúde.