Distributions In, Distributions Out: The Case for Soft-Label Training

Die Kunst zu wissen, was man nicht weiß

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man die Welt sieht. Sie zeigen ihm das Bild einer verschwommenen Form und fragen: „Ist das eine Katze oder ein Hund?“ Wenn Sie zehn verschiedene Personen fragen, erhalten Sie vielleicht sechs Stimmen für „Katze“ und vier für „Hund“. In der Welt der künstlichen Intelligenz ist dies ein klassisches Problem: Wie bringen wir einer Maschine bei, dass die Welt nicht immer schwarz oder weiß ist?

Lange Zeit war die Standardmethode, diese Maschinen zu trainieren, darin bestand, sie zu einer einzigen Antwort zu zwingen. Wir nehmen diese zehn menschlichen Stimmen, zählen sie zusammen und sagen dem Roboter: „Die Antwort ist Katze.“ Wir werfen die vier „Hund“-Stimmen weg und tun so, als wäre das Bild nie mehrdeutig gewesen. Das funktioniert hervorragend bei eindeutigen Dingen, wie etwa der Identifizierung eines roten Stoppschilds. Aber es bricht zusammen, wenn Menschen selbst sich nicht einig sind. Wenn ein Mensch auf ein kniffliges Bild blickt und unsicher ist, der Roboter aber gezwungen wird, „100 % Katze“ zu sagen, dann lügt der Roboter über seine eigene Zuversicht. Es ist wie ein Wetterfotograf, der weiß, dass die Regenwahrscheinlichkeit bei 50 % liegt, aber beharrlich sagt: „Es wird definitiv regnen“, nur um einer einfachen Vorhersage zu entsprechen.

Dieses Paper taucht in eine spezifische Nische des maschinellen Lernens ein, die als überwachtes Klassifizierungsverfahren (supervised classification) bezeichnet wird. Vereinfacht ausgedrückt geht es hierbei darum, Computern beizubringen, Dinge in Kategorien zu sortieren (wie etwa „höfliche“ vs. „unhöfliche“ Texte oder „Katze“ vs. „Hund“-Fotos), indem man ihnen Beispiele mit Etiketten (Labels) zeigt. Die große Frage, die sich die Autoren stellen, lautet: Wenn Menschen sich bei einem Label uneinig sind, sollten wir den Computer zwingen, einen einzelnen Gewinner zu wählen, oder sollten wir ihn aus der Unsicherheit der gesamten Menge lernen lassen? Die Autoren argumentieren, dass das Erzwingen einer einzigen Antwort wertvolle Informationen darüber vernichtet, wie die Welt tatsächlich funktioniert.

Der Fall für Soft Labels: Die Menge sprechen lassen

Die Autoren dieses Papers, Agamdeep Singh und Kollegen von Microsoft, beschlossen, einen anderen Ansatz zu testen. Anstatt eine Gruppe menschlicher Meinungen in ein einziges „hartes“ Label (wie ein einzelnes „Katze“) zu kollabieren, versuchten sie, die KI unter Verwendung der vollständigen Verteilung der Antworten zu trainieren. Sie nennen dies Soft-Label-Training.

Stellen Sie es sich so vor:

• Hard-Label-Training ist wie ein Lehrer, der in einer Klasse eine Abstimmung zu einer kniffligen Frage durchführt, sieht, dass 60 % der Schüler denken, die Antwort sei „A“, und 40 % denken, sie sei „B“, und dann „A“ an die Tafel schreibt. Der Lehrer sagt dem Schüler: „Die Antwort ist A. Lerne es auswendig.“ Der Schüler lernt, sich zu 100 % sicher bei „A“ zu sein, obwohl die Klasse gespalten war.
• Soft-Label-Training ist wie ein Lehrer, der an die Tafel schreibt: „60 % von uns denken, es ist A, 40 % denken, es ist B.“ Der Lehrer sagt dem Schüler: „Es ist eine Mischung. Sei dir zu 60 % sicher bei A und zu 40 % bei B.“ Der Schüler lernt, die tatsächliche Verwirrung im Raum widerzuspiegeln.

Das Paper testet diese Idee anhand von drei verschiedenen Datensätzen: einen für das Verständnis von Textlogik (ChaosNLI), einen für die Beurteilung von Höflichkeit in Texten (POPQUORN) und einen für die Identifizierung von Objekten in Fotos (CIFAR-10H). In all diesen Fällen waren die Daten unordentlich, wobei Menschen sich ernsthaft uneinig darüber waren, was die richtige Antwort war.

Was sie fanden: Unsicherheit ist ein Merkmal, kein Fehler

Die Ergebnisse waren überraschend eindeutig. Als die Forscher die „harten“ Modelle (die mit Einzelantworten trainiert wurden) mit den „weichen“ Modellen (die mit der vollständigen Verteilung der Menge trainiert wurden) verglichen, gewannen die Soft-Modelle in fast jeder Hinsicht, die für das Verständnis menschlicher Unsicherheit relevant war.

1. Sie passen besser zur menschlichen Verwirrung.
Das wichtigste Maß war, wie nah die Vermutung des Computers an der tatsächlichen Verteilung der menschlichen Stimmen lag. Die Autoren verwendeten ein mathematisches Werkzeug namens KL-Divergenz, um dies zu messen. Ein niedrigerer Wert bedeutet, dass der Computer näher an der menschlichen Realität liegt. Die Soft-Label-Modelle reduzierten diesen Fehler über alle Datensätze hinweg um durchschnittlich 32 %. Auf Deutsch gesagt: Die Soft-Modelle waren viel besser darin zu sagen: „Ich bin mir nicht ganz sicher, und hier ist genau, wie unsicher ich bin“, und spiegelten damit wider, wie die Menschen die Daten tatsächlich empfanden.

2. Sie verlieren nicht an Genauigkeit.
Eine häufige Befürchtung ist, dass man einen Computer schlechter darin macht, die „richtige“ Antwort zu finden, wenn man ihn lehrt, unsicher zu sein. Das Paper zeigt, dass dies nicht der Fall ist. Beim Höflichkeits-Datensatz (POPQUORN) und beim Bild-Datensatz (CIFAR-10H) waren die Soft-Label-Modelle genauso genau wie die Hard-Label-Modelle. Beim Logik-Datensatz (ChaosNLI) waren die Soft-Label-Modelle sogar genauer (55,30 % gegenüber 51,75 %). Also machte es sie nicht dümmer, ehrlich über Unsicherheit zu sein; es machte sie klüger.

3. Sie wissen, wann sie unsicher sein müssen.
Dies ist vielleicht die faszinierendste Erkenntung. Die Forscher untersuchten, wie sich die „Unsicherheit“ des Computers (gemessen durch Entropie) von einem Sample zum nächsten veränderte. Sie fanden heraus, dass für Soft-Label-Modelle die Unsicherheit des Computers die menschliche Unsicherheit 61 % stärker widerspiegelte als die der Hard-Label-Modelle.

• Wenn Menschen über ein bestimmtes Foto verwirrt waren, war auch das Soft-Label-Modell verwirrt.
• Wenn Menschen sich zu 100 % sicher waren, war auch das Soft-Label-Modell zu 100 % sicher.
• Die Hard-Label-Modelle hingegen neigten dazu, selbst dann selbstbewusst falsch oder selbstbewusst richtig zu sein, wenn die Menschen gespalten waren. Sie „fühlten“ die Mehrdeutigkeit nicht.

Warum das wichtig ist

Das Paper argumentet, dass die alte Art und Weise – das Zusammenführen aller menschlichen Uneinigkeiten in eine einzige „Mehrheitsentscheidung“ – ein Fehler ist. Dabei wird die menschliche Uneinigkeit als „Rauschen“ oder als Fehler behandelt, der behoben werden muss. Die Autoren schlagen vor, dass die Uneinigkeit von Experten oft die Wahrheit ist. Sie spiegelt die Tatsache wider, dass manche Dinge in der Welt (wie die Frage, ob ein Witz höflich ist oder ob ein verschwommenes Tier eine Katze ist) tatsächlich mehrdeutig sind.

Indem wir auf der vollständigen Verteilung der Antworten trainieren, bauen wir KI-Systeme, die ehrlicher sind. Sie geben nicht vor, Dinge zu wissen, die sie nicht wissen. Die Autoren merken an, dass dies selbst dann funktioniert, wenn man keine riesige Anzahl an menschlichen Stimmen pro Bild hat (so wenig wie 6 oder 7), obwohl es mit mehr Stimmen (wie 100) noch besser funktioniert.

Letztendlich legt das Paper nahe, dass wir bei Aufgaben, die menschliches Urteilsvermögen erfordern – wie Sicherheit, Höflichkeit oder Präferenz –, aufhören sollten, die KI zu zwingen, einen einzelnen Gewinner zu wählen. Stattdessen sollten wir sie aus der gesamten Menge lernen lassen. Wie die Autoren sagen: Für vertrauenswürdige KI brauchen wir Systeme, die wissen, was sie nicht wissen. Soft-Label-Training ist ein Weg, genau das zu lehren.