Disentangling Model and Human Data Uncertainty in Apparent Facial Age Estimation
Diese Arbeit zeigt, dass auf dem APPA-REAL-Datensatz trainierte Bayessche Neuronale Netze in der Lage sind, aleatorische und epistemische Unsicherheiten bei der Schätzung des Gesichtsalters effektiv zu entwirren und zu quantifizieren, wobei sie offenlegt, dass die aleatorische Unsicherheit über verschiedene Datensatzgrößen hinweg stabil bleibt, während die epistemische Unsicherheit mit abnehmender Menge an Trainingsdaten zunimmt.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, das Alter eines Fremden allein durch den Blick auf ein Foto zu erraten. Sie sagen vielleicht: „Sie sieht etwa 30 aus“, aber Ihr Freund sagt: „Auf keinen Fall, sie sieht 40 aus!“ In der Welt der künstlichen Intelligenz ist dies nicht nur eine harmlose Meinungsverschiedenheit, sondern ein riesiges Rätsel. KI-Systeme werden immer besser darin, Gesichter zu betrachten und das Alter zu schätzen, aber sie treten oft wie überhebliche Besserwisser auf. Sie geben Ihnen eine einzige Zahl und tun so, als sei sie die absolute Wahrheit, selbst wenn die Antwort vage ist. Das ist gefährlich, denn wenn ein Computer sich einer falschen Antwort zu sicher ist, könnte er schlechte Entscheidungen treffen, wie etwa einem Teenager den Kauf von Alkohol zu gestatten oder einem Senioren den Zugang zu einer Website zu verweigern. Um dies zu beheben, bringen Wissenschaftler der KI bei, zuzugeben, wenn sie nur rät. Sie wollen, dass der Computer sagt: „Ich denke, sie ist 30, aber ich bin mir nur zu 50 % sicher“, oder „Ich denke, sie ist 30, aber ich bin mir sehr sicher.“ Um dies zu erreichen, unterteilen Forscher die „Unsicherheit“ in zwei Geschmacksrichtungen: die aleatorische Unsicherheit, welche die natürliche Unordnung der Daten ist (wie zum Beispiel, dass Menschen sich einfach nicht einig werden können, wie alt jemand ist), und die epistemische Unsicherheit, welche die eigene Unwissenheit der KI ist (wie ein Schüler, der nicht genug gelernt hat).
Dieser Artikel ist wie eine Detektivgeschichte, in der die Ermittler versuchen, dem Computer beizubringen, zwischen „die Daten sind verwirrend“ und „ich bin verwirrt“ zu unterscheiden. Die Forscher verwendeten einen speziellen Datensatz namens APPA-REAL, bei dem Tausende von echten Menschen dieselben Gesichter betrachteten und abstimmten, wie alt sie aussähen. Da so viele Menschen abstimmten, konnten die Forscher genau messen, wie sehr Menschen sich uneinig waren (die „Unordnung“) und dies nutzen, um die KI zu trainen. Sie entwickelten drei verschiedene Arten von „Bayesianischen“ KI-Modellen – denken Sie an drei verschiedene Teams von Detektiven, von denen jedes eine etwas andere Strategie verwendet, um zu raten und die eigene Zuversicht zu messen. Sie testeten diese Teams, indem sie ihnen unterschiedliche Mengen an Daten zuführten, von einer winzigen Handvoll Fotos bis hin zur gesamten Bibliothek.
Die große Entdeckung hierbei ist, dass sich die beiden Arten von Unsicherheit sehr unterschiedlich verhalten und die KI lernen kann, sie zu trennen. Die „Unordnung“ der Daten (aleatorische Unsicherheit) blieb genau gleich, egal wie viele Fotos die KI sah. Es ist wie ein lautes Zimmer: Egal, ob eine Person oder tausend Leute zuhören, die Hintergrundlautstärke ändert sich nicht. Die Forscher fanden heraus, dass dieser Geräuschpegel stabil bei etwa 18 Jahren im Quadrat lag (was einer Standardabweichung von etwa 4,2 Jahren entspricht). Dies bestätigt, dass ein gewisses Maß an Verwirrung einfach in der Natur der menschlichen Wahrnehmung eingebaut ist.
Andererseits verhielt sich die eigene Unwissenheit der KI (epistemische Unsicherheit) genau wie erwartet: Sie sank drastisch, als die KI mehr Daten sah. Als die KI nur 1 % der Trainingsdaten sah (etwa 40 Bilder), war sie völlig unsicher. Aber als sie ihnen mehr Daten fütterten, bis hin zu 100 % des Satzes, wurde die KI viel zuversichtlicher. Zum Beispiel sah die „DropConnect“-Methode die epistemische Unsicherheit von etwa 12,9 Jahren im Quadrat bei 5 % der Daten auf 6,0 Jahre im Quadrat mit dem vollständigen Datensatz sinken. Die „Deep Ensembles“-Methode war insgesamt am genauesten und erreichte einen mittleren absoluten Fehler (MAE) von 8,0 Jahren, während „Flipout“ etwas langsamer lernte und einen MAE von 8,9 Jahren erreichte.
Die Arbeit testete auch, ob diese klugen KI-Detektive mit einem neuen, anderen Satz von Gesichtern (dem UTKFace-Datensatz) umgehen können. Die Ergebnisse zeigten, dass sich die Konfidenzniveaus der KI verschoben, als sich die Daten änderten, was beweist, dass die Modelle ihr Verständnis von Unsicherheit generalisieren können. Die Autoren merken jedoch an, dass die „Flipout“-Methode etwas wackelig und instabil war, insbesondere wenn die Daten knapp waren, was darauf hindeutet, dass sie vielleicht nicht die beste Wahl für Situationen ist, in denen die KI mit begrenzten Informationen sehr zuverlässig sein muss.
Letztendlich legt diese Forschung nahe, dass die Trennung dieser zwei Arten von Unsicherheit nicht nur möglich ist, sondern bei der Altersschätzung (einer Regressionsaufgabe) sogar besser funktioniert als bei einfachen Ja/Nein-Klassifizierungsaufgaben. Die Studie kommt zu dem Schluss, dass, obwohl Deep Ensembles am genauesten sind, die DropConnect-Methode das klarste Bild davon vermittelt, wie die Zuversicht der KI mit mehr Daten wächst. Das bedeutet, wir sind einen Schritt näher an einer KI, die nicht nur Ihr Alter errät, sondern auch weiß, wann sie nur rät.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.