Disentangling Model and Human Data Uncertainty in Apparent Facial Age Estimation
Dit artikel toont aan dat Bayesiaanse neurale netwerken die getraind zijn op de APPA-REAL-dataset effectief aleatorische en epistemische onzekerheden in gezichtsalderchatting kunnen ontrafelen en kwantificeren, waarbij wordt onthuld dat aleatorische onzekerheid stabiel blijft over verschillende datasetgroottes terwijl epistemische onzekerheid toeneemt naarmate de trainingsdata afneemt.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te raden hoe oud een vreemde is door alleen naar een foto te kijken. Je zou kunnen zeggen: "Ze zien er ongeveer 30 uit," maar je vriend zou kunnen zeggen: "Niet waar, ze zien er 40 uit!" In de wereld van kunstmatige intelligentie is dit niet zomaar een onschuldig meningsverschil; het is een enorm puzzelstuk. AI-systemen worden steeds beter in het bekijken van gezichten en het raden van leeftijden, maar ze gedragen zich vaak als overmoedige betweters. Ze geven je één getal en doen alsof het de absolute waarheid is, zelfs wanneer het antwoord vaag is. Dit is gevaarlijk omdat als een computer te zeker is van een fout antwoord, het slechte beslissingen kan nemen, zoals een tiener toestaan om alcohol te kopen of een oudere burger de toegang tot een website ontzeggen. Om dit op te lossen, leren wetenschappers AI om toe te geven wanneer het aan het gokken is. Ze willen dat de computer zegt: "Ik denk dat ze 30 zijn, maar ik ben slechts 50% zeker," of "Ik denk dat ze 30 zijn, maar ik ben zeer zeker." Om dit te doen, splitsen onderzoekers "onzekerheid" in twee smaken: aleatorische onzekerheid, wat de natuurlijke rommeligheid van de data is (zoals hoe mensen simpelweg niet eens kunnen worden over een leeftijd), en epistemische onzekerheid, wat de eigen onwetendheid van de AI is (zoals een student die onvoldoende heeft gestudeerd).
Dit artikel is als een detectiveverhaal waarin de onderzoekers proberen de computer te leren het verschil te zien tussen "de data is verwarrend" en "ik ben verward." De onderzoekers gebruikten een speciale dataset genaamd APPA-REAL, waarbij duizenden echte mensen naar dezelfde gezichten keken en stemden over hoe oud ze eruit zagen. Omdat zoveel mensen stemden, konden de onderzoekers precies meten hoeveel mensen het oneens waren over de leeftijd (de "rommeligheid") en dit gebruiken om de AI te trainen. Ze bouwden drie verschillende soorten "Bayesiaanse" AI-modellen—denk aan deze als drie verschillende teams van detectives, elk die een iets andere strategie gebruikt om te raden en de eigen vertrouwdheid te meten. Ze testten deze teams door ze verschillende hoeveelheden data te voeren, van een klein handje foto's tot de volledige bibliotheek.
De grote ontdekking hier is dat de twee soorten onzekerheid heel verschillend gedragen, en de AI kan leren ze te scheiden. De "rommeligheid" van de data (aleatorische onzekerheid) bleef exact hetzelfde, ongeacht hoeveel foto's de AI zag. Het is als een lawaaierige kamer: of je nu één persoon of duizend mensen hebt luisteren, het achtergrondgeluidsniveau verandert niet. De paper vond dat dit ruisniveau stabiel was op ongeveer 18 jaar gekwadrateerd (wat vertaalt naar een standaarddeviatie van ongeveer 4,2 jaar). Dit bevestigt dat een deel van de verwarring gewoon ingebakken zit in de aard van de menselijke perceptie.
Aan de andere kant gedroeg de eigen onwetendheid van de AI (epistemische onzekerheid) zich precies zoals verwacht: het daalde drastisch naarmate de AI meer data zag. Wanneer de AI slechts 1% van de trainingsdata zag (ongeveer 40 afbeeldingen), was het volkomen onzeker. Maar naarmate ze het met meer data voerden, tot wel 100% van de set, werd de AI veel zelfverzekerder. Bijvoorbeeld, de "DropConnect"-methode zag zijn epistemische onzekerheid dalen van ongeveer 12,9 jaar gekwadrateerd bij 5% data naar 6,0 jaar gekwadrateerd met de volledige dataset. De "Deep Ensembles"-methode was de meest nauwkeurige overall, eindigend met een Mean Absolute Error (MAE) van 8,0 jaar, terwijl "Flipout" iets langzamer leerde, eindigend met een MAE van 8,9 jaar.
De paper testte ook of deze slimme AI-detectives een nieuwe, andere set gezichten aan konden (de UTKFace-dataset). De resultaten toonden aan dat de vertrouwensniveaus van de AI gepast verschoven wanneer de data veranderde, wat bewees dat de modellen hun begrip van onzekerheid konden generaliseren. De auteurs merken echter op dat de "Flipout"-methode een beetje wankel en instabiel was, vooral wanneer de data schaars was, wat suggereert dat het misschien niet de beste keuze is voor situaties waarin de AI zeer betrouwbaar moet zijn met beperkte informatie.
Uiteindelijk suggereert dit onderzoek dat het scheiden van deze twee soorten onzekerheid niet alleen mogelijk is, maar ook beter werkt bij leeftidschatting (een regressie-taak) dan bij eenvoudige ja/nee classificatietaken. De studie concludeert dat hoewel Deep Ensembles de meest nauwkeurige zijn, de DropConnect-methode het duidelijkste beeld geeft van hoe het vertrouwen van de AI groeit met meer data. Dit betekent dat we een stap dichter bij AI staan die niet alleen je leeftijd raadt, maar ook weet wanneer het gewoon aan het gokken is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.