Position: Every Ground Truth is a Human Construction, not an Objective Truth
Dieses Positionspapier argumentiert, dass Ground-Truth-Datensätze im maschinellen Lernen keine objektiven Fakten, sondern menschengemachte Artefakte sind, und plädiert dafür, deren kontingente Natur anzuerkennen, um die Modellzuverlässigkeit, Transparenz und Rechenschaftspflicht durch „situierte Zuverlässigkeit“ zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine „Katze“ zu erkennen. Sie zeigen ihm tausende Bilder und sagen ihm für jedes einzelne: „Ja, das ist eine Katze“ oder „Nein, das ist ein Hund“. In der Welt des maschinellen Lernens werden diese Labels, die Sie vergeben, als Ground Truth (die „absolute Wahrheit“) bezeichnet.
Lange Zeit betrachteten Wissenschaftler diese Labels wie einen magischen Spiegel: Sie dachten, die „Ground Truth“ sei ein perfektes, objektives Abbild der Realität, das nur darauf wartete, entdeckt zu werden – wie das Finden einer verborgenen Schatzkarte.
Doch dieses Paper argumentiert, dass die Schatzkarte nicht verborgen ist; sie wird von uns gezeichnet.
Die Autorinnen Charlotte, Ericka und Kiri sagen, dass die „Ground Truth“ keine natürliche Tatsache ist, die vom Himmel fällt. Sie ist eher ein Rezept als ein Felsbrocken. Genau wie ein Koch entscheidet, wie viel Salz er hinzufügt, wann er rührt und welche Zutaten er verwendet, treffen Menschen und Maschinen eine ganze Reihe von Entscheidungen, um die „Wahrheit“ zu erschaffen, mit der die KI trainiert wird.
Die „Rezept“-Analogie
Stellen Sie sich den Aufbau eines Ground-Truth-Datensatzes wie das Zubereiten eines riesigen, komplexen Smoothies vor, um einen neuen Mixer zu testen.
- Die Frucht: Sie müssen entscheiden, welche Früchte Sie kaufen. Verwenden Sie nur rote Äpfel oder nehmen Sie auch grüne dazu?
- Der Cutter: Wer schneidet die Frucht? Ein professioneller Koch? Ein übermüdeter Praktikant? Ein Roboterarm?
- Der Mixer: Wie schnell lassen Sie die Klingen rotieren?
- Der Geschmackstest: Wer entscheidet, ob der Smoothie „gut“ ist?
Das Paper weist darauf darauf hin, dass man bei jedem dieser Schritte ein anderes Ergebnis erhält, wenn man einen anderen Schritt ändert. Wenn Sie die „Wahrheit“ (das Smoothie-Rezept) ändern, lernt der Mixer (das KI-Modell) etwas völlig anderes.
Das „Pixel“-Problem
Die Autorinnen geben ein echtes Beispiel, um zu zeigen, warum das wichtig ist. Es gibt einen berühmten Datensatz namens MNIST, der verwendet wird, um Computern das Erkennen handgeschriebener Zahlen beizubringen. Zurück in den 1990er Jahren waren Computer langsamer und hatten weniger Speicher, also entschieden die Menschen, die den Datensatz erstellten, die Bilder von 128x128 Pixeln auf 28x28 Pixel zu schrumpfen.
Aufgrund dieser einen Entscheidung, die vor Jahrzehnten getroffen wurde, werden heute tausende KI-Modelle ausschließlich darauf trainiert, 28x28 Pixel große Bilder zu sehen. Wenn Sie ihnen heute ein hochauflösendes Foto einer Zahl zeigen, können sie diese nicht lesen! Sie stecken in der Vergangenheit fest, weil die „Wahrheit“, die sie gelernt haben, durch die Werkzeuge begrenzt war, die zu jener Zeit zur Verfügung standen.
Der „Experten“-Mythos
Manchmal denken wir, Experten seien wie Orakel-Götter, die immer die absolute Wahrheit kennen. Oder wir denken, sie seien wie roboterhafte Sensoren, die einfach nur Fakten aufzeichnen, ohne Gefühle zu haben.
Das Paper sagt: Nö. Selbst Experten machen Fehler, sind uneinig und sehen Dinge unterschiedlich.
- In der Medizin können zwei Ärzte dasselbe Röntgenbild betrachten, wobei der eine „gesund“ und der andere „krank“ sagt.
- In einem Crowdsourcing-Projekt (bei dem man tausende Menschen im Internet bittet, Fotos zu labeln) mag eine Person ein Bild als „glücklich“ empfinden und eine andere als „traurig“.
Wenn wir so tun, als wäre der Experte ein perfekter Roboter, übersehen wir, dass seine „Wahrheit“ eigentlich eine menschliche Meinung ist, die durch seine Ausbildung, seine Stimmung und die Regeln, die ihm gegeben wurden, geformt wurde.
Die Idee der „Situierten Zuverlässigkeit“
Die Autorinnen schlagen vor, dass wir aufhören sollten, vorzugeben, unsere KI sei universell perfekt. Stattdessen sollten wir über „Situierte Zuverlässigkeit“ sprechen.
Denken Sie an eine Sonnenbrille:
- Sie funktioniert hervorragend in der hellen Wüstensonne (einem spezifischen Kontext).
- Sie ist schrecklich in einer dunklen Höhle (einem anderen Kontext).
- Sie ist nutzlos unter Wasser.
Die Sonnenbrille ist nicht „kaputt“; sie hat nur einen situierten Einsatzbereich. Das Paper argumentiert, dass KI-Modelle genau so sind. Ein Modell, das auf einer bestimmten „Ground Truth“ trainiert wurde, kann in einem bestimmten Krankenhaus oder einer bestimmten Stadt perfekt funktionieren, aber in einer anderen völlig versagen. Wir müssen ehrlich darüber sein, wo und wann unsere Modelle funktionieren, anstatt zu behaupten, dass sie überall funktionieren.
Was sollten wir tun?
Das Paper sagt nicht: „Hört auf, KI zu bauen.“ Es sagt, wir müssen ehrliche Baumeister sein.
- Hören Sie auf, so zu tun, als sei die Wahrheit magisch. Geben Sie zu, dass wir Entscheidungen getroffen haben, um die Daten zu erstellen.
- Schreiben Sie das Rezept auf. Wenn wir einen Datensatz teilen, sollten wir genau erklären, wie wir ihn erstellt haben: Wer hat ihn gelabelt? Welche Werkzeuge haben wir benutzt? Was haben wir weggelassen?
- Probieren Sie verschiedene Rezepte aus. Anstatt nur einer einzigen „Ground Truth“ sollten wir vielleicht versuchen, einige verschiedene Versionen zu erstellen, um zu sehen, wie sich die KI dadurch verändert.
- Arbeiten Sie zusammen. Experten für maschinelles Lernen müssen mit den Menschen zusammenarbeiten, die das Fachgebiet tatsächlich beherrschen (wie Ärzte, Biologen oder Soziologen), um sicherzustellen, dass die „Wahrheit“ in der realen Welt Sinn ergibt.
Das Fazalwort
Das Paper legt nahe, dass die „Ground Truth“ keine feste, unveränderliche Tatsache des Universums ist. Sie ist ein menschengemachtes Werkzeug, geformt durch unsere Entscheidungen, unsere Werkzeuge und unsere Grenzen. Indem wir dies zugeben, können wir eine bessere, sicherere und ehrlichere KI bauen, die ihre eigenen Grenzen kennt, anstatt vorzugehen wie ein Gott, der alles perfekt sieht.
Die Autorinnen sagen nicht, dass wir dieses Problem bereits gelöst haben. Sie sagen, wir müssen anfangen, darüber zu sprechen, damit wir nicht versehentlich Roboter bauen, die zwar selbstbewusst, aber falsch liegen, oder Modelle, die in einem Labor großartig funktionieren, aber in der realen Welt scheitern. Es geht darum, ein wenig bescheidener und viel vorsichtiger damit umzugehen, wie wir unsere Maschinen lehren, die Welt zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.