On Benchmarking Human-Like Intelligence in Machines
Dieses Paper argumentiert, dass aktuelle KI-Evaluationsparadigmen die menschlichen kognitiven Fähigkeiten aufgrund von Problemen wie nicht validierten Labels und ökologisch ungültigen Aufgaben nicht genau bewerten können, und schlägt fünf konkrete Empfehlungen für ein strengeres Benchmarking vor, die auf einer menschlichen Evaluationsstudie von neun bestehenden Benchmarks basieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Mensch zu sein. Sie wollen nicht nur, dass er superintelligent im Rechnen ist oder das Wetter vorhersagen kann; Sie wollen, dass er so denkt, fühlt und reagiert wie Sie. Dies ist die Welt der „menschenähnlichen Intelligenz“. Seit Jahrzehnten bauen Wissenschaftler diese digitalen Geister in der Hoffnung, Maschinen zu erschaffen, die nicht nur Probleme lösen, sondern die chaotische, verwirrende und manchmal widersprüchliche Art und Weise verstehen, wie Menschen mit der Welt umgehen. Aber hier liegt der Knackpunkt: Woher wissen Sie, ob der Roboter tatsächlich wie ein Mensch handelt oder ob er nur ein sehr guter Schauspieler ist, der vorgibt, ein Mensch zu sein? Um das herauszufinden, unterziehen Forscher den Roboter normalerweise einem Test. Aber was, wenn der Test selbst fehlerhaft ist? Was, wenn der Test erwartet, dass der Roboter eine einzige, perfekte Antwort gibt, während echte Menschen tatsächlich ein Dutzend verschiedener, leicht unsicherer Antworten geben würden? Dieses Paper taucht genau in dieses Problem ein und argumentiert, dass unsere derzeitige Art, KI zu testen, so ist, als würde man eine Jazz-Improvisation bewerten, indem man den Musiker bittet, eine einzige, perfekte Note zu spielen.
Die Autoren dieses Papers, ein Team von Forschern aus Spitzenuniversitäten, argumenten, dass wir derzeit daran scheitern, „menschenähnliche“ Intelligenz korrekt zu messen. Sie schlagen vor, dass viele populäre KI-Tests zu einfach sind und auf „Ground Truth“-Labels (Wahrheitswerten) beruhen, die gar nicht dazu passen, wie echte Menschen tatsächlich denken. Um dies zu beweisen, führten sie ein massives Experiment durch, bei dem sie 117 echte Menschen baten, neun verschiedene KI-Tests zu absolvieren. Diese Tests deckten Dinge ab wie das Erkennen von Sarkasmus, das Entscheiden, ob ein Witz lustig ist, oder das Ergründen, ob eine soziale Situation unterstützend ist. Anstatt einfach nur „A, B oder C“ auszuwählen, nutzten die Menschen Schieberegler, um zu zeigen, wie stark sie ein Gefühl empfanden und wie sicher sie sich bei diesem Gefühl waren.
Die Ergebnisse waren augenöffnend. Das Paper legt nahe, dass für viele dieser Tests die „korrekte“ Antwort, auf der die KI trainiert wurde, tatsächlich falsch war im Vergleich zu dem, was die meisten Menschen dachten. Beispielsweise gab es bei einer Aufgabe über „soziale Unterstützung“ an, dass ein bestimmter Satz „ununterstützend“ sei, aber die Menschen bewerteten ihn im Durchschnitt als moderat unterstützend. Noch interessanter war, dass die Menschen nicht nur mit dem Test uneins waren, sondern auch untereinander auf eine strukturierte Weise widersprüchliche Meinungen vertraten. Einige Menschen waren sich ihrer Antworten sehr sicher, während andere unsicher waren, und ihre Meinungen variierten über ein breites Spektrum. Das Paper stellt fest, dass aktuelle KI-Benchmarks diese „Unordnung“ oft ignorieren. Sie behandeln menschliches Urteilsvermögen wie ein mathematisches Problem mit einer richtigen Antwort, während es eigentlich eher wie ein Gespräch ist, bei dem jeder eine leicht andere Perspektive hat.
Die Autoren schlagen fünf neue Regeln für den Aufbau besserer Tests vor. Erstens müssen wir aufhören zu raten, was Menschen denken, und sie tatsächlich fragen, indem wir echte Daten von Menschen sammeln, um diese als den „Goldstandard“ zu verwenden. Zweitens sollten wir, anstatt nach einer einzigen richtigen Antwort zu suchen, die KI mit der gesamten Verteilung menschlicher Antworten vergleichen – also prüfen, ob die KI erfassen kann, dass manche Menschen auf die eine Weise denken und andere auf die andere. Drittens müssen wir die „Graduierbarkeit“ messen. Menschen fühlen selten zu 100 % sicher oder zu 0 % sicher; sie fühlen „meistens ja“ oder „ein bisschen nein“. Das Paper schlägt vor, dass wir Schieberegler und Konfidenzbewertungen nutzen sollten, um diese Nuance einzufangen, anstatt eine einfache Ja/Nein-Wahl zu erzwingen. Viertens müssen die Tests auf tiefen psychologischen Theorien basieren, nicht nur auf zufälligen Fragen. Nur weil ein Kind einen „False Belief“-Test (Irrtum über die Überzeugung anderer) besteht, bedeutet das nicht, dass ein Roboter, der denselben Test besteht, eine echte „Theory of Mind“ besitzt; der Test muss so konzipiert sein, dass er tatsächlich die komplexen Teile dieser Fähigkeit misst. Schließlich müssen die Aufgaben selbst lebensnaher sein. Das echte Leben ist mehrdeutig, verwirrend und voller Kontext. Wenn ein Test zu sauber und einfach ist, sagt er uns nicht, ob die KI mit der realen Welt zurechtkommt.
Kurz gesagt legt das Paper nahe, dass wir aufhören müssen, die menschliche Intelligenz wie einen Multiple-Choice-Test zu behandeln, wenn wir eine KI bauen wollen, die wirklich wie wir denkt. Wir müssen die Ungewissheit, die Uneinigkeit und die Grauzonen akzeptieren. Indem wir Tests entwerfen, die die reiche, vielfältige und manchmal verwirrende Natur des menschlichen Denkens widerspiegeln, können wir endlich beginnen, Maschinen zu bauen, die nicht nur intelligent wirken, sondern sich tatsächlich menschlich anfühlen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.