Toward a Theory of Value in AI Alignment
Durch die Analyse von 94 Forschungsarbeiten zur Wertausrichtung kritisiert diese Studie die Abhängigkeit des Feldes von undefinierten Präferenzen und synthetischen Daten und argumentiert, dass solche Ansätze menschliche Werte vereinfachen und das Risiko bergen, vielfältige Perspektiven darüber zu schließen, wie KI tatsächlich mit menschlichen Bedürfnissen in Einklang gebracht werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der wir digitale Geister erschaffen – superintelligente Computerprogramme, die Geschichten schreiben, Matheaufgaben lösen und sogar Gespräche führen können. Dies sind nicht nur einfache Taschenrechner; sie sind wie riesige, hungrige Bibliotheken, die fast alles im Internet gelesen haben. Aber hier ist der Haken: Nur weil eine Bibliothek jedes Buch gelesen hat, bedeutet das nicht, dass sie weiß, welche Geschichten freundlich sind, welche Fakten wahr sind oder wie man ein guter Freund ist. Dies ist das Herzstück eines Feldes namens AI Alignment (KI-Ausrichtung). Betrachten Sie es als die Kunst, diese digitalen Geister zu lehren, unsere menschlichen Ziele und Moral zu teilen, anstatt genau das zu tun, was ihnen befohlen wird, auf eine Weise, die uns versehentlich schadet.
Um das Problem zu verstehen, müssen Sie wissen, was Large Language Models (LLMs) sind. Dies sind die spezifischen Arten von KI, die Chatbots antreiben, die Sie vielleicht schon einmal benutzt haben. Sie funktionieren, indem sie immer und immer wieder das nächste Wort in einem Satz vorhersagen. Um sie „sicher“ zu machen, nutzen Forscher eine Technik namens Reinforcement Learning from Human Feedback (RLHF). Stellen Sie sich einen Lehrer vor, der einem Schüler für eine gute Antwort einen goldenen Stern gibt und für eine schlechte Antwort ein rotes X. Die KI lernt, mehr goldene Sterne zu bekommen, indem sie errät, was dem Lehrer gefällt. Die große Frage, die diesen Text antreibt, lautet: Was lehren wir diese KIs eigentlich zu schätzen? Lehren wir sie, hilfreich, ehrlich und harmlos zu sein? Oder lehren wir sie versehentlich etwas viel Merkwürdigeres?
Das große „Werte“-Durcheinander
Ein Team von Forschern beschloss, hinter den Vorhang von 94 wissenschaftlichen Arbeiten zu blicken, die von Menschen geschrieben wurden, die versuchen, dieses Alignment-Problem zu lösen. Sie wollten eine einfache, aber knifflige Frage beantworten: Was meinen diese Forscher eigentlich, wenn sie „menschliche Werte“ sagen?
Man könnte denken, dass man, wenn man einen Roboter bauen möchte, der ein guter Mensch ist, zuerst zusammensitzt und definiert, was „gut“ bedeutet. Aber die Autoren dieser Arbeit fanden etwas Überraschendes heraus: Die meisten Forscher definieren es gar nicht.
Tatsächlich erklärten 79 % der untersuchten Arbeiten nie, was sie mit „Werten“ meinten. Stattdessen ersetzten sie das Wort „Werte“ durch das Wort „Präferenzen“. Es ist, als würde man versuchen, einen Kuchen zu backen, aber „Mehl“ durch den Namen „Zeug“ ersetzen und dann einfach davon ausgehen, dass jeder weiß, dass man Mehl meint. Die Forscher fanden heraus, dass in der Welt der KI „Werte“ (wie Gerechtigkeit, Freundlichkeit oder Wahrheit) oft exakt dasselbe behandelt werden wie „Präferenzen“ (wie „Ich bevorzuge Schokoladeneis gegenüber Vanille“).
Die „Präferenz“-Falle
Die Arbeit argumentiert, dass dieser Austausch gefährlich ist, weil er auf einer alten Idee aus der Wirtschaftswissenschaft namens Utility Maximization (Nutzenmaximierung) beruht. Stellen Sie sich einen Roboter vor, der denkt, dass das Einzige, was im Universum zählt, darin besteht, die höchstmögliche Punktzahl in einem Spiel zu erreichen. In dieser Sichtweise ist ein Mensch nur eine Maschine, die immer versucht, die meisten „Punkte“ (oder den höchsten „Nutzen“) für jede Entscheidung zu erzielen, die sie trifft.
Die Autoren schlagen vor, dass diese Sichtweise etwas zu simpel ist. Echte Menschen sind chaotisch. Manchmal entscheiden wir uns für das „falsche“ Ding, weil wir müde sind, oder weil uns unsere Freunde wichtiger sind als zu gewinnen, oder weil sich unsere Werte je nach Tag ändern. Aber das Feld der KI-Ausrichtung scheint eine Welt zu bauen, in der Menschen perfekte, logische Roboter sind, die immer die beste Wahl treffen, um ihr Glück zu maximieren.
Die Arbeit weist darauf hin, dass 87 % der untersuchten Studien diesen „Maximiere den Score“-Ansatz verwenden. Sie behandeln menschliche Werte so, als wären sie statische, unveränderliche Zahlen, die man messen und in einen Computer einspeisen kann. Die Autoren argumentieren, dass dies ignoriert, dass Werte tatsächlich wie ein lebendiger Garten sind – sie wachsen, sie verändern sich mit den Jahreszeiten und sie sehen in verschiedenen Kulturen unterschiedlich aus.
Das „Wer“- und „Wie“-Problem
Ein weiteres großes Problem, das die Arbeit hervorhebt, ist die Frage, deren Werte die KI lernt. Wenn Sie einen Computer bitten, „menschliche Werte“ zu lernen, müssen Sie fragen: Welche Menschen?
Die Forscher fanden heraus, dass 91 % der Arbeiten nicht spezifizierten, welche Gruppe von Menschen sie repräsentieren wollten. Sie taten so, als seien „menschliche Werte“ eine einzige, universelle Sache, über die sich alle einig sind. In Wirklichkeit könnte ein Teenager in Tokio jedoch etwas ganz anderes schätzen als ein Bauer in Kenia.
Um es noch verwirrender zu machen, stellt die Arbeit fest, dass Forscher beginnen, echte Menschen nicht mehr nach ihrer Meinung zu fragen. Stattdessen nutzen sie synthetische Daten oder andere KI-Modelle, um die Antworten zu bewerten. Es ist, als würde man versuchen, einen neuen Schüler zu unterrichten, indem man ihn seine eigenen Hausaufgaben bewerten lässt, oder indem man einen Roboter fragt, was ein Mensch denken würde. Die Autoren sorgen sich, dass wir, indem wir echte Menschen durch „Autorater“ (KI-Richter) ersetzen, die Tür zu der chaotischen, vielfältigen und schönen Realität dessen, was es bedeutet, menschlich zu sein, schließen.
Die „dünne“ vs. „dicke“ Beschreibung
Die Autoren bemerkten auch, dass die meisten Arbeiten Werte auf eine „dünne“ Weise beschreiben. Eine „dünne“ Beschreibung ist wie zu sagen: „Sei nett.“ Es ist eine Regel ohne Geschichte. Eine „dicke“ Beschreibung ist wie zu sagen: „Sei nett, weil deine Großmutter dir beigebracht hat, dass Freundlichkeit eine Gemeinschaft schafft, in der sich alle sicher fühlen können.“
Die Arbeit fand heraus, dass 66 % der Studien diese „dünnen“ Beschreibungen verwendeten. Sie behandelten Werte als einfache Anweisungen, denen man folgen muss, anstatt als tiefe, kulturelle Geschichten, die erklären, warum wir das tun, was wir tun. Nur 3 % der Arbeiten versuchten, Werte auf diese tiefe, „dicke“ Weise zu verstehen, indem sie untersuchten, wie Kultur und Kontext beeinflussen, was Menschen wichtig ist.
Das Fazit
Was ist also die Hauptbotschaft? Die Arbeit legt nahe, dass die aktuelle Art und Weise, wie wir versuchen, die KI auf menschliche Werte auszurichten, auf einem wackeligen Fundament steht. Indem wir komplexe menschliche Moral als einfache mathematische Probleme (Maximierung von Präferenzen) behandeln, bauen wir möglicherweise KI-Systeme, die technisch gesehen auf eine sehr enge, robotische Version der Menschheit „ausgerichtet“ sind, aber den Kern dessen, was uns menschlich macht, völlig verfehlen.
Die Autoren sagen nicht, dass wir aufhören sollten, zu versuchen, KI sicher zu machen. Stattdessen fordern sie eine Änderung des Rezepts. Sie wollen, dass Forscher aufhören vorzugeben, dass menschliche Werte nur eine Liste von Präferenzen sind, die optimiert werden müssen. Sie wollen, dass wir Experten aus der Anthropologie, Philosophie und Psychologie hinzuziehen, um uns zu helfen zu verstehen, dass Werte dynamisch, kulturell geprägt und tief mit der echten, chaotischen Welt verbunden sind, in der wir leben.
Kurz gesagt: Wenn wir wollen, dass die KI wirklich mit uns im Einklang steht, müssen wir aufhören, sie zu lehren, ein perfekter Taschenrechner zu sein, und statfangen, sie zu lehren, die komplizierte, sich verändernde und wunderbare Geschichte des Menschseins zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.