Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

Resumen Técnico: Más allá del ROC-AUC: Reporte de desempeño en puntos de operación para la verificación biométrica

Planteamiento del problema
Los sistemas de verificación biométrica se despliegan frecuentemente bajo restricciones estrictas de tasa de falsas coincidencias (FMR) (por ejemplo, $10^{-2}$, $10^{-3}$ o menores), donde la región operativa representa una fracción estrecha del rango total de puntuación. Sin embargo, las prácticas actuales de reporte en la investigación suelen basarse en resúmenes escalares independientes del umbral, específicamente el Área Bajo la Curva de la Característica Operativa del Receptor (ROC-AUC) completa o la Tasa de Error Igual (EER). El ROC-AUC completo promedia la Tasa de Coincidencias Verdaderas (TMR) con un peso igual en todo el rango de FMR de 0 a 1. En consecuencia, la métrica está dominada por las regiones de FMR alta, donde los sistemas rara vez operan, lo que puede enmascarar un desempeño deficiente en los puntos operativos estrictos. Esta discrepancia puede conducir a conclusiones erróneas donde un sistema parece superior basado en el AUC completo, pero desempeña significativamente peor en el umbral de despliegue. Además, los reportes existentes a menudo carecen de intervalos de incertidumbre explícitos, lo que dificulta determinar si las diferencias de desempeño son estadísticamente significativas.

Metodología
Los autores revisan el estándar ISO/IEC 19795-1, el cual aboga por reportar tasas de error en puntos de operación declarados, curvas DET e intervalos de incertidumbre. Para probar la brecha entre este estándar y la práctica común, el estudio evaluó siete comparadores preentrenados a través de cuatro modalidades biométricas:

• Rostro: ArcFace y FaceNet (probados en Labeled Faces in the Wild).
• Voz: ECAPA-TDNN y x-vector (probados en VoxCeleb1).
• Iris: Un pipeline de código abierto y un codificador log-Gabor clásico (probados en CASIA-Iris-Thousand).
• Huella dactilar: Comparador de minucias SourceAFIS (probado en FVC2002 Set B).

El protocolo de evaluación consistió en generar pares emparejados y no emparejados, con conjuntos de no emparejados que variaban desde ~14,000 hasta 2,000,000 de pares dependiendo de la modalidad. El estudio comparó varias métricas:

1. ROC-AUC completo: El resumen global estándar.
2. Métricas de umbral estricto: TMR y FNMR en FMRs fijas ($10^{-1}$ a $10^{-4}$), AUC parcial normalizado (pAUC) sobre intervalos de FMR baja, y AUC de log-FMR.
3. Otros resúmenes: EER, índice de decidibilidad ($d'$) y minDCF.

Crucialmente, los autores aplicaron intervalos de confianza de bootstrap (200 remuestreos) a cada valor reportado y utilizaron pruebas de bootstrap emparejadas para comparar sistemas en puntos de operación específicos, asegurando que se mantuvieran las correlaciones a nivel de ensayo.

Resultos Clave

1. Sobreestimación del desempeño: El ROC-AUC completo sobreestimó consistentemente el desempeño en la región operativa estricta. Por ejemplo, en la verificación de voz, el sistema x-vector logró un AUC completo de 0.975, pero una TMR de solo 0.453 en FMR = $10^{-3}$. En contraste, ECAPA-TDNN mantuvo una TMR de 0.949 en el mismo umbral. La brecha de AUC completo entre estos sistemas fue de solo 0.024, mientras que la brecha de umbral estricto fue de 0.495, indicando que el AUC completo subestimó la diferencia operativa por un factor de aproximadamente veinte.
2. Reversión de ranking (Modalidad de Rostro): Se observó una "inversión de ranking" estadísticamente significativa en la verificación de rostro. FaceNet logró un ROC-AUC completo más alto (0.985 frente a 0.979 para ArcFace), sugiriendo que era el sistema superior. Sin embargo, en el punto operativo estricto de FMR = $10^{-3}$, ArcFace demostró una TMR significativamente mayor (0.922 frente a 0.914). La prueba de bootstrap emparejada confirmó que el sistema preferido cambió dependiendo de si la métrica principal era el AUC completo o la TMR de umbral estricto.
3. Sensibilidad al desequilibrio: El estudio señaló que el PR-AUC (AUC de Precisión-Recall) fue consistentemente menor que el ROC-AUC, con la brecha ampliándose a medida que el desempeño del sistema se debilitaba. Esto destaca que un ROC-AUC alto puede coexistir con una precisión pobre en entornos desequilibrados típicos de la biometría.
4. Incertidumbre y resolución: Los intervalos de bootstrap revelaron que la magnitud de las diferencias de desempeño es a menudo mayor de lo que los intervalos de confianza sugieren, validando la inversión de ranking. El estudio también destacó un límite de resolución práctico: las afirmaciones en FMR muy bajas (por ejemplo, $10^{-4}$) requieren un número de ensayos no emparejados proporcional al inverso de la FMR; los conjuntos con menos ensayos (como el de huellas dactilares) no pueden resolver de manera confiable el desempeño en umbrales tan estrictos.

Significancia y Contribuciones
El artículo realiza tres contribuciones principales:

1. Revisión de Estándares: Contrasta el enfoque de punto de operación de ISO/IEC 19795-1 con el uso prevalente de escalares globales en la literatura de verificación, demostrando que estos últimos pueden oscurecer comportamientos críticos de despliegue.
2. Evaluación Empírica: Proporciona una evaluación multimodal de siete sistemas, demostrando que el AUC completo puede inducir a error en la selección de sistemas, particularmente en la verificación de rostro donde ocurre una inversión de ranking.
3. Marco de Reporte: Propone una lista de verificación de reporte (Tabla VIII) alineada con ISO/IEC 19795-1. Los autores argumentan que la curva DET y la FNMR en una FMR fija deben servir como los reportes primarios, apoyados por el AUC parcial de FMR baja o el AUC de log-FMR. El ROC-AUC completo y la EER se mantienen únicamente como contexto suplementario. Cada valor reportado debe incluir un intervalo de confianza y el recuento de ensayos relevante para asegurar la transparencia en la resolución de la medición.

Los autores concluyen que, si bien el ROC-AUC completo sigue siendo una herramienta de clasificación global útil, es insuficiente para decisiones de despliegue. Una comparación justa requiere pruebas emparejadas en el umbral específico de interés, en lugar de depender únicamente del ordenamiento del AUC.