Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
Dieses Paper argumentiert, dass aktuelle Evaluierungen des moralischen Schließens von KI den Fokus zu stark auf die Werteanpassung legen und dabei die kontextsensitive Normanwendung vernachlässigen, und schlägt eine Forschungsagenda vor, um diese Lücke durch standardisierte formale Repräsentationen, Experten annotierte Datensätze und distinkte Evaluierungsprotokolle für normative Kompetenz zu schließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn Menschen einen Computer um Rat bei einer schwierigen Entscheidung bitten, stellen sie oft eine Frage, die aus zwei sehr unterschiedlichen Teilen besteht. Der erste Teil handelt davon, was wir bewerten: Schätzen wir Güte mehr als strikte Regeln oder Fairness mehr als Loyalität? Der zweite Teil handelt davon, wie wir diese Werte nutzen, um eine Entscheidung in einer spezifischen Situation zu treffen. Stellen Sie sich vor, Sie versuchen zu entscheiden, ob Sie einem Freund eine schmerzhafte Wahrheit sagen sollen. Zu wissen, dass man den Wert der Ehrlichkeit schätzt, ist das eine; zu wissen, wie genau dieser Wert Anwendung findet, wenn die Wahrheit jemandem, den man liebt, wehtun könnte, ist etwas anderes. Dieser zweite Teil erfordert das Befolgen eines Satzes von Prinzipien, die einem sagen, wie man verschiedene Anliegen gegeneinander abwägt. Jahrelang haben Wissenschaftler, die Künstliche Intelligenz untersuchen, sich fast ausschließlich auf den ersten Teil konzentriert und geprüft, ob die Antworten einer Maschine mit dem übereinstimmen, was Menschen im Allgemeinen bevorzugen. Doch eine neue Analyse legt nahe, dass die Forscher durch das bloße Anhalten an diesem Punkt den wichtigsten Test darüber übersehen haben, ob eine Maschine tatsächlich wie ein moralisches Subjekt denken kann.
Ein Team von Forschern der University of Connecticut, der Carnegie Mellon University und Hugs Face hat untersucht, wie wir derzeit das moralische Denken von großen Sprachmodellen testen. Dies sind die leistungsstarken Computerprogramme, die Aufsätze schreiben, Fragen beantworten und Ratschläge geben können. Die Autoren argumentieren, dass das Feld zu sehr auf ein „moralisches Wertproblem“ fokussiert ist, das lediglich fragt, ob die Antworten des Computers mit der menschlichen Meinung übereinstimmen. Sie behaupten, dass dieser Ansatz das „moralische Normproblem“ weitgehend unerforscht lässt. Das moralische Normproblem ist die schwierigere Herausforderung: zu sehen, ob eine Maschine in der Lage ist, die richtigen Prinzipien für eine Situation zu identifizieren und sie korrekt anzuwenden, um zu einem Schluss zu gelangen. Die Forscher fanden heraus, dass aktuelle Tests so sind, als würde man prüfen, ob ein Schüler eine Liste von Werten auswendig gelernt hat, aber niemals fragen, ob er diese Werte nutzen kann, um ein komplexes Problem zu lösen.
Um zu verstehen, warum diese Unterscheidung wichtig ist, betrachten Sie, wie Wissenschaftler die Moral sowohl bei Menschen als auch bei Maschinen traditionell gemessen haben. Sie haben sich stark auf Frameworks wie die Moral Foundations Theory verlassen, die die menschliche Moral in breite Kategorien wie Fürsorge, Fairness und Loyalität unterteilt. Diese Werkzeuge sind exzellent darin, zu beschreiben, wofür Menschen tendenziell Empathie oder Interesse zeigen. Wenn Sie einen Computer fragen sollen, ob er zwischen dem Retten einer Person oder von fünf Personen entscheidet, und er sich für die fünf entscheidet, können Forscher sagen, dass der Computer mit dem menschlichen Wert der Fürsorge für die größere Anzahl übereinstimmt. Die Forscher weisen jedoch darauf hin, dass es nicht dasselbe ist, einen Wert zu schätzen, als zu wissen, wie man ihn anwendet. Eine Maschine mag zustimmen, dass „Schaden schlecht ist“, aber sie könnte scheitern an dem Verständnis, dass in einigen ethischen Systemen die Zufügung von Schaden an einer Person, um fünf zu retten, gegen eine andere Regel verstödet. Die aktuellen Tests verwechseln oft die Fähigkeit einer Maschine, die richtigen Worte zu sagen, mit ihrer Fähigkeit zum richtigen Denken.
Die Autoren haben Dutzende bestehender Studien und Benchmarks überprüft, die zur Bewertung der KI-Moral verwendet werden. Sie entdeckten, dass fast alle diese Tests um das moralische Wertproblem gruppiert sind. Diese Tests fragen den Computer, eine Antwort aus einer Liste auszuwählen oder eine Präferenz zu beschreiben, und vergleichen diese Wahl dann mit dem, was eine Gruppe von Menschen wählen würde. Dies sagt uns zwar, was die Maschine priorisiert, aber es sagt uns nicht, ob die Maschine ein gültiges Argument auf Basis einer spezifischen ethischen Theorie aufbauen kann. Die Forscher fanden heraus, dass sehr wenige Tests tatsächlich prüfen, ob eine Maschine in der Lage ist, einen Satz von Prinzipien zu nehmen, sie auf eine neue und knifflige Situation anzuwenden und ihre Argumentation Schritt für Schritt zu erklären. Wenn Tests doch versuchen, das Denken zu betrachten, nutzen sie oft dieselben breiten Wertkategorien als Abkürzung und setzen voraus, dass, wenn eine Maschine sich für „Fairness“ einsetzt, sie auch wissen muss, wie man die Regeln der Fairness anwendet. Die Autoren argumentieren, dass dies ein Fehler ist, da verschiedene ethische Theorien alle behaupten können, Fairness zu schätzen, während sie völlig unterschiedliche Ergebnisse fordern.
Diese Verwirrung schafft eine Lücke in unserem Verständnis dessen, was diese Maschinen tatsächlich leisten können. Die Forscher identifizierten drei spezifische fehlende Teile in der aktuellen Evaluationslandschaft. Erstens gibt es keinen hochwertigen, gemeinsamen Satz korrekter Antworten darauf, wie moralische Regeln in verschiedenen Situationen angewendet werden sollten. Ohne einen Standardbezug baut jedes Forschungsteam seinen eigenen Test, was es unmöglich macht, Ergebnisse zu vergleichen oder echten Fortschritt zu sehen. Zweitens schauen die Tests nicht eng genug darauf, welche Schritte eine Maschine unternimmt, um zu einem Schluss zu gelangen. Eine Maschine könnte die richtige Antwort durch Glück oder durch Raten erreichen, aber aktuelle Methoden scheitern oft daran, zu erfassen, ob die dem Ziel zugrunde liegende Argumentation fehlerhaft ist. Drittens prüfen die Tests nicht, ob die Maschine die wichtigsten Details einer Geschichte erkennen kann. Bevor eine Maschine eine Regel anwenden kann, muss sie zuerst herausfinden, welche Teile einer Situation moralisch relevant sind, und aktuelle Werkzeuge messen diese Fähigkeit nicht gut.
Um diese Probleme zu lösen, schlagen die Autoren einen neuen Weg für das Feld vor. Sie schlagen vor, dass Wissenschaftler eine gemeinsame Sprache zur Beschreibung ethischer Theorien entwickeln müssen, damit verschiedene Forscher Tests erstellen können, die zu denselben Prinzipien sprechen. Sie fordern die Erstellung neuer Datensätze, in denen Experten in Ethik annotieren, wie spezifische Regeln auf reale Szenarien angewendet werden sollten. Schließlich drängen sie die Gemeinschaft dazu, die Tests dessen, was eine Maschine wertschätzt, mit den Tests dessen, wie sie argumentiert, nicht zu vermischen. Eine Maschine sollte nach ihrer Fähigkeit beurteilt werden, einem logischen Pfad von einem Prinzip zu einer Entscheidung zu folgen, und nicht nur danach, ob ihre endgültige Wahl mit der menschlichen Meinung übereinstimmt. Die Forscher kommen zu dem Schluss, dass wir zwar gute Fortschritte darin gemacht haben, zu verstehen, was Maschinen schätzen, aber wir gerade erst begonnen haben zu verstehen, ob sie wirklich über ein moralisches Problem nachdenken können. Bis wir die Werkzeuge bauen, um die Anwendung von Regeln zu testen, werden wir nicht wissen, ob diese Systeme zu der Art von moralischer Argumentation fähig sind, auf die Menschen in ihren schwierigsten Momenten vertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.