Incoherent by Design? On the Moral Self-Consistency of LLMs
Diese Arbeit zeigt auf, dass große Sprachmodelle eine signifikante moralische Selbstinkonsistenz aufweisen, wobei die Widerspruchsraten bei ethisch äquivalenten Szenarien bis zu 78 % erreichen, was die epistemische Integrität und die Wertausrichtung von KI-Systemen in moralisch sensiblen Kontexten infrage stellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt wenden wir uns zunehmend an künstliche Intelligenz, um uns bei schwierigen Entscheidungen zu unterstützen. Diese Systeme, bekannt als große Sprachmodelle, wurden mit riesigen Mengen menschlicher Texte trainiert und können komplexe Themen, von der Geschichte bis zur Wissenschaft, mit überraschender Eloquenz diskutieren. Wenn man sie nach Richtig und Falsch fragt, können sie oft moralische Prinzipien rezitieren, die unseren eigenen sehr ähnlich klingen. Wir könnten sie fragen, ob es akzeptabel ist, zu lügen, um die Gefühle eines anderen zu schützen, oder wie man begrenzte Ressourcen fair aufteilt. Die Hoffnung ist, dass diese Werkzeuge in Situationen, in denen das menschliche Urteilsvermögen versagen könnte, eine konsistente, zuverlässige Orientierung bieten können. Doch für ein System, das in ethischen Angelegenheiten wirklich vertrauenswürdig sein soll, muss es mehr tun, als nur vernünftig zu klingen; es muss konsistent sein. Wenn ein Mensch oder eine Maschine ihre Meinung über eine moralische Regel ändert, nur weil die Frage auf eine leicht andere Weise gestellt wurde, wird ihr Rat unzuverlässig. Dies wirft eine grundlegende Frage über die Natur dieser digitalen Geister auf: Besitzen sie einen stabilen Satz von Überzeugungen oder ahmen sie lediglich den Tonfall der Frage nach, die sie erhalten?
Ein Forscherteam der Cornell University und der Nanyang Technological University wollte diese Stabilität testen. Sie wollten sehen, ob diese Systeme der künstlichen Intelligenz in der Lage sind, einer einzigen Moralphilosophie standzuhalten, wenn sie mit nahezu identischen Situationen konfrontiert werden. Dazu ließen sie die Modelle nicht zwischen verschiedenen ethischen Denkschulen wählen, wie etwa dem Vergleich eines regelbasierten Ansatzes gegenüber einem konsequenzbasierten Ansatz. Stattdessen baten sie die Modelle, eine spezifische Sichtweise einzunehmen, und prüften, ob sie diese konsistent anwenden konnten. Die Forscher konzentrierten sich auf drei wesentliche Wege, wie Menschen historisch über Moral nachgedacht haben. Der erste ist ein regelbasierter Ansatz, bei dem Handlungen danach beurteilt werden, ob sie einem universellen Gesetz folgen, unabhängig vom Ergebnis. Der zweite ist ein konsequenzbasierter Ansatz, bei dem die Moral einer Handlung allein davon abhängt, ob sie das beste Gesamtergebnis für die meisten Menschen erzielt. Der dritte konzentriert sich auf den Charakter und beurteilt Handlungen danach, ob sie die Tugenden eines guten Menschen widerspiegeln, wie etwa Ehrlichkeit oder Mut.
Die Forscher entwarfen ein kontrolliertes Experiment, um die Argumentation der Modelle zu isolieren. Sie erstellten vier spezifische moralische Szenarien, von denen jedes eine unterschiedliche Spannung hervorhebt, wie etwa den Konflikt zwischen der Wahrheit zu sagen und Leid zu verhindern, oder den Kompromiss zwischen Fairness und Effizienz. Für jedes Szenario verfassten sie drei leicht unterschiedliche Versionen der Frage. Diese Versionen wurden so gestaltet, dass sie die Modelle subtil dazu ermutigten, eine bestimmte ethische Perspektive einzunehmen, ohne diese explizit zu benennen. Beispielsweise könnte eine Frage in einem Szenario über eine Mutter mit Demenz, die den Tod ihres Ehemanns vergessen hat, die Pflicht betonen, die Wahrheit zu sagen, während eine andere Frage die Pflicht betonen könnte, eine schutzbedürftige Person vor Schmerz zu bewahren. Beide Fragen waren darauf ausgelegt, eine regelbasierte Antwort hervorzurufen, aber sie stellten das Dilemma unterschiedlich dar. Die Forscher baten dann drei verschiedene große Sprachmodelle, diese Fragen zu beantworten. Nachdem sie die Antworten erhalten hatten, übersetzten sie die Antworten in natürlicher Sprache in ein strukturiertes logisches Format, um Widersprüche zu prüfen. Dies ermöglichte es ihnen zu sehen, ob die Argumentation des Modells zusammenhängend blieb, wenn dieselbe zugrunde liegende Situation mit einer anderen Wendung präsentiert wurde.
Die Ergebnisse zeigten einen erschreckenden Mangel an Stabilität. In den extremsten Fällen widersprachen sich die Modelle in bis zu 78 Prozent der Szenarien. Das bedeutet, dass Modelle häufig zu gegensätzlichen Schlussfolgerungen kamen, nur weil sich die Formulierung des Prompts leicht geändert hatte, obwohl sie aus derselben ethischen Perspektanz über dieselbe Situation argumentiert wurden. Zum Beispiel könnte ein Modell entscheiden, dass es moralisch falsch ist, einem sterbenden Patienten zu lügen, wenn die Frage den Verstoß gegen eine Regel betont, aber dann entscheiden, dass Lügen moralisch akzeptabel ist, wenn die Frage die Pflicht zur Vermeidung von Leiden betont, obwohl beide Fragen darauf abzielen, dieselbe regelbasierte Philosophie zu testen. Die Inkonsistenz beschränkte sich nicht auf einen Typ von Modell; sie trat bei verschiedenen Systemen auf, einschließlich jener großer Entwickler. Die Studie fand heraus, dass die Modelle besonders instabil waren, wenn sie mit der Spannung zwischen Wahrheit und Konsequenzen sowie zwischen emotionaler Motivation und kühler Vernunft konfrontiert wurden.
Diese Erkenntnisse legen nahe, dass die interne Logik dieser Systeme weitaus fragiler ist als bisher angenommen. Die Modelle scheinen sehr empfindlich auf die spezifische Formulierung eines Prompts zu reagieren und ändern ihren moralischen Standpunkt, um dem Tonfall der Frage zu entsprechen, anstatt einem kohärenten Satz von Prinzipien zu folgen. Dies ist nicht bloß ein technischer Fehler; es deutet auf ein tiefer liegendes Problem in der Art und Weise hin, wie diese Systeme Informationen verarbeiten. Wenn ein System nicht in der Lage ist, seine eigenen erklärten Prinzipien konsistent anzuwenden, kann es nicht als stabile Orientierungshilfe in realen Situationen dienen, in denen Menschen sich auf dessen Rat verlassen. Die Forscher argumentieren, dass wir, bevor wir hoffen können, künstliche Intelligenz mit menschlichen Werten in Einklang zu bringen, zuerst sicherstellen müssen, dass das System intern konsistent ist. Ohne dieses Fundament der Selbstkonsistenz bleibt das Ziel, einen vertrauenswürdigen moralischen Akteur zu schaffen, unerreichbar. Die Studie behauptet nicht, dass diese Modelle unfähig zu moralischer Argumentation sind, sondern vielmehr, dass ihre Argumentation derzeit zu instabil ist, um als zuverlässig zu gelten. Da diese Werkzeuge immer stärker in unser Leben integriert werden, ist das Verständnis ihrer Grenzen entscheidend, um sicherzustellen, dass sie uns gut dienen, ohne uns in die Irre zu führen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.