Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

Resumo Técnico: Além do ROC-AUC: Relato de Desempenho de Ponto de Operação para Verificação Biométrica

Problema
Sistemas de verificação biométrica são frequentemente implantados sob restrições rigorosas de taxa de falso match (FMR) (ex: $10^{-2}$, $10^{-3}$ ou menores), onde a região operacional representa uma fatia estreita do intervalo total de pontuação. No entanto, as práticas atuais de relato em pesquisa baseiam-se frequentemente em resumos escalares independentes de limiar, especificamente a Área Sob a Curva ROC completa (ROC-AUC) ou a Taxa de Erro Igual (EER). A ROC-AUC completa faz a média da Taxa de Verdadeiro Match (TMR) com igual peso em todo o intervalo de FMR de 0 a 1. Consequentemente, a métrica é dominada pelas regiões de FMR alto, onde os sistemas raramente são operados, podendo mascarar um desempenho deficiente em pontos de operação rigorosos. Essa discrepância pode levar a conclusões enganosas, onde um sistema parece superior com base na AUC total, mas apresenta um desempenho significativamente inferior no limiar de implantação. Além disso, os relatos existentes frequentemente carecem de intervalos de incerteza explícitos, tornando difícil determinar se as diferenças de desempenho são estatisticamente significativas.

Metodologia
Os autores revisitam a norma ISO/IEC 19795-1, que defende o relato de taxas de erro em pontos de operação declarados, curvas DET e intervalos de incerteza. Para testar a lacuna entre esta norma e a prática comum, o estudo avaliou sete comparadores pré-treinados em quatro modalidades biométricas:

• Face: ArcFace e FaceNet (testados no Labeled Faces in the Wild).
• Voz: ECAPA-TDNN e x-vector (testados no VoxCeleb1).
• Íris: Um pipeline de código aberto e um codificador log-Gabor clássico (testados no CASIA-Iris-Thousand).
• Impressão Digital: Comparador de minutiae SourceAFIS (testado no FVC2002 Set B).

O protocolo de avaliação envolveu a geração de pares emparelhados e não emparelhados, com conjuntos de não emparelhados variando de aproximadamente 14.000 a 2.000.000 de pares, dependendo da modalidade. O estudo comparou diversas métricas:

1. ROC-AUC Total: O resumo global padrão.
2. Métricas de Limiar Estrito: TMR e FNMR em FMRs fixos ($10^{-1}$ a $10^{-4}$), AUC parcial normalizada (pAUC) sobre intervalos de baixo FMR e AUC de log-FMR.
3. Outros Resumos: EER, índice de decidibilidade ($d'$) e minDCF.

Crucialmente, os autores aplicaram intervalos de confiança de bootstrap (200 reamostragens) a cada valor relatado e utilizaram testes de bootstrap pareados para comparar sistemas em pontos de operação específicos, garantindo que as correlações ao nível de tentativa fossem preservadas.

Resultos Principais

1. Superestimação de Desempenho: A ROC-AUC total superestimou consistentemente o desempenho na região de operação estrita. Por exemplo, na verificação de voz, o sistema x-vector alcançou uma AUC total de 0,975, mas uma TMR de apenas 0,453 em FMR = $10^{-3}$. Em contraste, o ECAPA-TDNN manteve uma TMR de 0,949 no mesmo limiar. A lacuna de AUC total entre esses sistemas foi de apenas 0,024, enquanto a lacuna de limiar estrito foi de 0,495, indicando que a AUC total subestimou a diferença operacional por um fator de aproximadamente vinte.
2. Inversão de Ranking (Modalidade de Face): Uma "inversão de ranking" estatisticamente significativa foi observada na verificação facial. O FaceNet alcançou uma ROC-AUC total mais alta (0,985 vs. 0,979 para o ArcFace), sugerindo que era o sistema superior. No entanto, no ponto de operação estrito de FMR = $10^{-3}$, o ArcFace demonstrou uma TMR significativamente maior (0,922 vs. 0,914). O teste de bootstrap pareado confirmou que o sistema preferido mudou dependendo de se a métrica principal era a AUC total ou a TMR de limiar estrito.
3. Sensibilidade ao Desequilíbrio: O estudo observou que a PR-AUC (AUC de Precisão-Recall) foi consistentemente menor que a ROC-AUC, com a lacuna aumentando à medida que o desempenho do sistema enfraquecia. Isso destaca que uma ROC-AUC alta pode coexistir com uma precisão baixa em configurações desequilibradas, típicas de biometria.
4. Incerteza e Resolução: Os intervalos de bootstrap revelaram que a magnitude das diferenças de desempenho é frequentemente maior do que os intervalos de confiança sugerem, validando a inversão de ranking. O estudo também destacou um limite prático de resolução: alegações em FMRs muito baixos (ex: $10^{-4}$) requerem um número de tentativas não emparelhadas proporcional ao inverso do FMR; conjuntos de dados com menos tentativas (como o de impressão digital) não podem resolver de forma confiável o desempenho em limiares tão estritos.

Significância e Contribuições
O artigo apresenta três contribuições primárias:

1. Revisão de Padrões: Ele contrasta o foco em pontos de operação da ISO/IEC 19795-1 com o uso prevalente de escalares globais na literatura de verificação, demonstrando que estes últimos podem obscurecer comportamentos críticos de implantação.
2. Avaliação Empírica: Fornece uma avaliação multimodal de sete sistemas, demonstrando que a AUC total pode induzir ao erro na seleção de sistemas, particularmente na verificação facial, onde ocorre uma inversão de ranking.
3. Estrutura de Relato: Propõe um checklist de relato (Tabela VIII) alinhado com a ISO/IEC 19795-1. Os autores argumentam que a curva DET e o FNMR em um FMR fixo devem servir como os principais relatos, apoiados por AUC parcial de baixo FMR ou AUC de log-FMR. A ROC-AUC total e a EER são mantidas apenas como contexto suplementar. Cada valor relatado deve incluir um intervalo de confiança e a contagem de tentativas relevante para garantir que a resolução da medição seja transparente.

Os autores concluem que, embora a ROC-AUC total continue sendo uma ferramenta de ranking global útil, ela é insuficiente para decisões de implantação. Uma comparação justa exige testes pareados no limiar específico de interesse, em vez de depender apenas da ordenação da AUC.