Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

Technische Samenvatting: Voorbij ROC-AUC: Rapportage van Prestaties op Werkpunten voor Biometrische Verificatie

Probleemstelling
Biometrische verificatiesystemen worden vaak ingezet onder strikte beperkingen voor de foutieve match rate (FMR) (bijv. $10^{-2}$, $10^{-3}$, of lager), waarbij het operationele gebied een smalle doorsnede vormt van het totale scorebereik. De huidige rapportagepraktijken in onderzoek vertrouwen echter vaak op drempelonafhankelijke scalaire samenvattingen, specif kind de volledige Receiver Operating Characteristic Area Under the Curve (ROC-AUC) of de Equal Error Rate (EER). De volledige ROC-AUC middelt de True Match Rate (TMR) met gelijke wegingsfactoren over het gehele FMR-bereik van 0 tot 1. Bijgevolg wordt de metriek gedomineerd door de hoog-FMR regio's waar systemen zelang komen te staan, wat de prestaties in de relevante gebieden kan maskeren. Dit verschil kan leiden tot misleidende conclusies waarbij een systeem superieur lijkt op basis van de volledige AUC, maar aanzienlijk slechter presteert bij de operationele drempel. Bovendien ontbreken in veel bestaande rapportages expliciete onzekerheidsintervallen, waardoor het moeilijk is om te bepalen of verschillen in prestaties statistisch significant zijn.

Methodologie
De auteurs herzien de ISO/IEC 19795-1 standaard, die pleit voor het rapporteren van foutenpercentages bij gestelde werkpunten, DET-curves en onzekerheidsintervallen. Om het gat tussen deze standaard en de gangbare praktijk te testen, evalueerde de studie zeven vooraf getrainde matchers over vier biometrische modaliteiten:

• Gezicht: ArcFace en FaceNet (getest op Labeled Faces in the Wild).
• Stem: ECAPA-TDNN en x-vector (getest op VoxCeleb1).
• Iris: Een open-source pijplijn en een klassieke log-Gabor encoder (getest op CASIA-Iris-Thousand).
• Vingerafdruk: SourceAFIS minutiae matcher (getest op FVC2002 Set B).

Het evaluatieprotocol omvatte het genereren van gepaarde (mated) en niet-gepaarde (non-mated) paren, waarbij de niet-gepaarde sets varieerden van ~14.000 tot 2.000.000 paren, afhankelijk van de modaliteit. De studie vergeleken verschillende metrieken:

1. Volledige ROC-AUC: De standaard globale samenvatting.
2. Strict-Threshold Metrieken: TMR en FNMR bij vaste FMR's ($10^{-1}$ tot $10^{-4}$), genormaliseerde partiële AUC (pAUC) over lage-FMR intervallen, en log-FMR AUC.
3. Andere Samenvattingen: EER, decidability index ($d'$) en minDCF.

Cruciaal is dat de auteurs bootstrap-betrouwbaarheidsintervallen (200 resamples) toepasten op elke gerapporteerde waarde en gepaarde bootstrap-tests gebruikten om systemen op specifieke werkpunten te vergelijken, waarbij de correlaties tussen de trials behouden bleven.

Belangrijkste Resultaten

1. Overschatting van Prestaties: De volledige ROC-AUC overschatte consequent de prestaties in het strikte operationele gebied. Bijvoorbeeld, in stemverificatie behaalde het x-vector systeem een volledige AUC van 0,975, maar een TMR van slechts 0,453 bij FMR = $10^{-3}$. In contrast hiermee behield ECAPA-TDNN een TMR van 0,949 bij dezelfde drempel. Het verschil in volledige AUC tussen deze systemen was slechts 0,024, terwijl het verschil bij de strikte drempel 0,495 was, wat aangeeft dat de volledige AUC het operationele verschil met een factor van ongeveer twintig onderschatte.
2. Rangschikkingsoverdraaiing (Gezichtsmodaliteit): Er werd een statistisch significante "ranking flip" waargenomen in gezichtsverificatie. FaceNet behaalde een hogere volledige ROC-AUC (0,985 vs. 0,979 voor ArcFace), wat suggereerde dat het het superieure systeem was. Echter, bij het strikte werkpunt van FMR = $10^{-3}$, demonstreerde ArcFace een significant hogere TMR (0,922 vs. 0,914). De gepaarde bootstrap-test bevestigde dat het voorkeurssysteem veranderde afhankelijk van de vraag of de headline metriek de volledige AUC of de strict-threshold TMR was.
3. Gevoeligheid voor Imbalans: De studie merkte op dat PR-AUC (Precision-Recall AUC) consequent lager was dan ROC-AUC, waarbij het gat groter werd naarmate de prestaties van het systeem verslechterden. Dit benadrukt dat een hoge ROC-AUC kan samengaan met een lage precisie in de typische imbalanced settings van biometrie.
4. Onzekerheid en Resolutie: Bootstrap-intervallen toonden aan dat de omvang van de prestatieverschillen vaak groter is dan de betrouwbaarheidsintervallen suggereren, wat de ranking flip valideert. De studie benadrukte ook een praktische resolutiegrens: claims bij zeer lage FMR's (bijv. $10^{-4}$) vereisen een aantal niet-gepaarde trials dat proportioneel is aan de inverse van de FMR; datasets met minder trials (zoals de vingerafdrukset) kunnen prestaties bij dergelijke strikte drempels niet betrouwbaar oplossen.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdragen:

1. Herziening van Standaarden: Het contrasteert de op werkpunten gerichte focus van ISO/IEC 19795-1 met het wijdverbreide gebruik van globale scalaire waarden in de verificatieliteratuur, en toont aan dat dit laatste kritieke operationele gedragingen kan verhullen.
2. Empirische Evaluatie: Het biedt een cross-modale evaluatie van zeven systemen, waarmee wordt aangetoond dat volledige AUC misleidend kan zijn bij systeemselectie, met name in gezichtsverificatie waar een ranking flip optreedt.
3. Rapportagekader: Het stelt een rapportagechecklist voor (Tabel VIII) die is afgestemd op ISO/IEC 19795-1. De auteurs beargumenteren dat de DET-curve en de FNMR bij een vaste FMR als de primaire rapportages moeten dienen, ondersteund door lage-FMR partiële AUC of log-FMR AUC. Volledige ROC-AUC en EER worden alleen behouden als aanvullende context. Elke gerapporteerde waarde moet een betrouwbaarheidsinterval en het relevante aantal trials bevatten om de transparantie van de meetresolutie te waarborgen.

De auteurs concluderen dat hoewel volledige ROC-AUC een nuttig globaal rangschikkingsinstrument blijft, het onvoldoende is voor beslissingen over implementatie. Een eerlijke vergelijking vereist gepaarde testen bij de specifieke drempel van belang, in plaats van enkel te vertrouwen op de ordening van de AUC.