Personalization, Personas, and Forecasting in Value Alignment
Diese Studie zeigt, dass das Prompt-Framing – insbesondere ob Modelle gebeten werden, eine personalisierte, eine Rollenspiel- oder eine Perspektive der Vorhersage aus der dritten Person einzunehmen – die kulturelle Wertausrichtung ihrer Ergebnisse mit menschlichen Populationen signifikant verändert, wobei die Vorhersage aus der dritten Person über verschiedene Sprachen und Wertdimensionen hinweg im Allgemeinen die stabilsten und genauesten Ergebnisse liefert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast jedes jemals geschriebene Buch gelesen hat. Man könnte meinen, dieser Roboter hätte eine einzige, feste Persönlichkeit, wie ein Mensch mit einem festen Satz an Überzeugungen. Aber in der Welt der Künstlichen Intelligenz sind diese Roboter eher wie Chamäleons. Sie können ihre „Stimme“ und ihre „Meinungen“ ändern, je nachdem, wie man ihnen eine Frage stellt. Dieses Forschungsfeld nennt sich Value Alignment (Werteanpassung), was nur eine schicke Art der Fragestellung ist: „Entspricht die Antwort des Roboters dem, was echte Menschen tatsächlich denken?“
Um dies zu verstehen, muss man wissen, dass es drei Arten gibt, wie wir mit diesen Robotern kommunizieren können. Erstens ist Personalisierung so, als würde man dem Roboter sagen: „Hey, ich bin eine Person aus Brasilien; was denkst du darüber?“ Der Roboter versucht, ein hilfreicher Freund für Sie zu sein. Zweitens ist Rollenspiel (oder Personas) wie das Anlegen eines Kostüms. Sie sagen: „Tu so, als wärst du eine Person aus Brasilien“, und der Roboter spielt die Rolle. Drittens ist Forecasting (Prognose) wie das Arbeiten eines Detektivs. Sie fragen: „Was würde eine Person aus Brasilien antworten?“, ohne den Roboter zu bitten, diese Person zu sein. Lange Zeit fragten sich Wissenschaftler, ob diese drei Arten der Kommunikation im Grunde dasselbe sind. Wenn man einen Roboter bittet, ein Brasilianer zu sein, oder mit einem Brasilianer zu sprechen, oder zu erraten, was ein Brasilianer denkt – sollte er dann nicht exakt dieselbe Antwort geben?
Ein Team von Forschern beschloss, diese Idee anhand einer riesigen, realen Umfrage namens World Values Survey auf die Probe zu stellen, die Millionen von Menschen auf der ganzen Welt nach ihren Überzeugungen in Bezug auf Religion, Arbeit und Gesellschaft fragt. Sie ließen vier der klügsten KI-Roboter der Welt 101 dieser Umfragefragen in 13 verschiedenen Sprachen und Ländern beantworten. Sie probierten alle drei Methoden aus – das Sprechen mit einem Nutzer, Rollenspiel und Forecasting – um zu sehen, welche Methode die Antworten des Roboters am besten mit den echten menschlichen Daten in Einklang bringt.
Hier ist die Wendung, die sie fanden: Wie man die Frage stellt, verändert die Antwort. Die Forscher entdeckten, dass diese drei Methoden nicht austauschbar sind. Tatsächlich ist die Art und Weise, wie man den Prompt formuliert, ein entscheidender Faktor dafür, ob der Roboter wie ein echter Mensch aus diesem Land klingt oder nicht.
Die überraschendste Erkenntnis war, dass Forecasting der klare Gewinner war. Wenn die Forscher die Roboter fragten: „Was würde eine Person aus [Land X] sagen?“, kamen die Roboter den echten menschlichen Antworten viel näher, als wenn sie gebeten wurden, diese Person zu sein oder mit dieser Person zu sprechen. Es ist, als wären die Roboter besser darin, ein kluger Beobachter zu sein, der errät, was jemand anderes denkt, als tatsächlich diese Person zu spielen. Für drei der vier getesteten Roboter war diese „Raten“-Methode der stärkste Weg, um kulturell genaue Antworten zu erhalten.
Die Roboter machten jedoch nicht alles richtig. Die Forscher fanden heraus, dass die Roboter sehr gut darin waren, große, offensichtliche kulturelle Unterschiede zu erfassen, wie etwa die Bedeutung der Religion oder die Sichtweise auf Geschlechterrollen. Aber wenn es um schwierigere, komplexere Themen wie Vertrauen in die Regierung, Demokratie oder die Funktionsweise von Institutionen ging, hatten die Roboter Schwierigkeiten. Selbst wenn sie versuchten zu raten, verfehlten sie oft das Ziel bei diesen subtilen Themen.
Die Studie zeigte auch, dass die Roboter ihre Antworten nicht einfach zufällig änderten; sie verschoben sie in spezifische Richtungen. Wenn sie zum Beispiel über Religion gefragt wurden, bewegten sich die Antworten der Roboter stark in Richtung der echten menschlichen Daten. Aber bei Fragen zu Korruption oder politischem Vertrauen blieben die Antworten oft im Standard-„globalen“ Modus des Roboters stecken oder bewegten sich sogar weg von dem, was echte Menschen denken.
Was bedeutet das also? Es deutet darauf hin, dass man nicht einfach nur sagen kann, ein KI solle sich wie ein Einheimischer „verhalten“, wenn man möchte, dass sie eine bestimmte Kultur versteht. Man erzielt möglicherweise bessere Ergebnisse, indem man sie bittet, vorherzusagen, was ein Einheimischer denken würde. Doch selbst dann ist der Roboter kein perfekter Spiegel der Menschheit; er ist besser darin, die großen, lauten kulturellen Signale zu sehen als die leisen, komplizierten. Die Forscher kommen zu dem Schluss, dass die Art und Weise, wie wir diese Fragen stellen, nicht nur eine kosmetische Entscheidung ist – sie verändert grundlegend, was der Roboter sagt und wie gut er mit der realen Welt übereinstimmt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.