Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas
Diese Arbeit untersucht 16 Sprachmodelle hinsichtlich ethischer Dilemmata und zeigt auf, dass deren moralische Standpunkte hochgradig instabil sind und dazu neigen, sich zu ändern, je nachdem, ob Fragen als Affirmationen oder Negationen formuliert sind – eine Schwachstelle, die besonders in kleineren Modellen ausgeprägt ist und oft durch standardisierte binäre Evaluierungsmethoden maskiert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der wirklich gut darin ist, Ratschläge zu schwierigen moralischen Fragen zu geben, wie zum Beispiel: „Sollte ich die Wahrheit sagen, auch wenn es jemanden verletzt?“ oder „Ist es okay, eine Regel zu brechen, um ein Leben zu retten?“ Man würde erwarten, dass dieser Roboter einen soliden moralischen Kompass hat, oder? Wenn Sie fragen: „Ist Stehlen schlecht?“, sollte er sagen: „Ja.“ Wenn Sie fragen: „Ist es gut, nicht zu stehlen?“, sollte er auch „Ja“ sagen. Die Antwort sollte gleich bleiben, da sich die Situation nicht geändert hat, sondern nur die Worte, die man verwendet hat.
Aber hier kommt die Wendung: Eine neue Studie von Katherine Elks und Jon Chun hat herausgefunden, dass die Antwort für viele dieser KI-Roboter komplett umschlägt, nur weil man den Satz umgedreht hat. Es ist, als würde man einem Freund fragen: „Magst du Pizza?“ und eine Antwort erhalten wie „Ja!“, dann fragt man: „Magst du Pizza nicht?“ und bekommt ein „Nein!“ (was bedeutet, dass er Pizza mag), aber dann fragt man: „Magst du Pizza nicht nicht?“ und plötzlich erhält man wieder ein „Ja!“, obwohl der Roboter so wirkt, als wäre er verwirrt darüber, was Pizza überhaupt ist.
Das große Hin und Her
Die Forscher testeten 16 verschiedene KI-Modelle (einige wurden von großen US-Unternehmen entwickelt, einige von chinesischen Unternehmen und einige sind kleinere Open-Source-Modelle) mit 14 kniffligen moralischen Dilemmata. Sie stellten jedem Modell dieselbe Frage auf zwei Arten:
- Die „Sollte“-Art: „Sie sollten den Laden ausrauben.“
- Die „Sollte nicht“-Art: „Sie sollten den Laden nicht ausrauben.“
Wenn der Roboter stabil wäre, sollte er bei der ersten Frage „Nein“ sagen und bei der zweiten „Ja“ (was bedeutet, dass er der Meinung ist, dass es die richtige Entscheidung ist, nicht zu rauben). Aber für die kleineren Open-Source-Modelle waren die Ergebnisse wild. Wenn gefragt wurde: „Sie sollten den Laden ausrauben“, stimmten diese Modelle nur in 24 % der Fälle zu. Aber wenn gefragt wurde: „Sie sollten den Laden nicht ausrauben“, stimmten sie der Handlung plötzlich in 77 % der Fälle zu!
Das ist ein Unterschied von 76 Prozentpunkten. Es ist, als ob der Roboter auf eine rote Ampel schaut und sagt: „Stopp“, aber wenn man sagt: „Geh nicht“, sagt er: „Geh!“. Die Studie fand heraus, dass bei einigen dieser kleineren Modelle der Umschlag durch bestimmte knifflige Formulierungen sogar extrem war und 100 % Übereinstimmung erreichte.
Das „Ja-Sager“-Problem
Warum passiert das? Die Autoren vermuten, dass die Roboter nicht wirklich über die Logik nachdenken. Stattdessen spielen sie vielleicht ein Spiel des „Schlüsselwort-Abgleichs“. Wenn der Prompt das Wort „rauben“ enthält, sieht der Roboter das Wort „rauben“ und denkt: „Oh, ich muss über Raub reden!“ und stimmt versehentlich der Handlung zu, selbst wenn im Satz „sollte nicht“ steht. Es ist wie ein Schüler, der das Wort „nicht“ in einer Matheaufgabe sieht, es aber ignoriert, weil er zu sehr auf die Zahlen konzentriert ist.
Die Studie prüfte auch, ob die Roboter einfach nur „Ja-Sager“ waren (also dem Nutzer zustimmten, was er sagte). Wenn sie das wären, würden sie bei „Raube nicht“ zustimmen, indem sie sagen: „Okay, ich werde nicht rauben.“ Das taten sie aber nicht. Sie stimmten bei „Raube nicht“ zu, indem sie sagten: „Okay, ich werde rauben.“ Es ist also nicht nur ein Ja-Sager-Verhalten; es ist ein echter Fehler in der Handhabung von Negationen.
Die „falsche“ Übereinstimmung
Hier ist ein weiterer tückischer Teil: Die Art und Weise, wie wir diese Roboter normalerweise testen, ist fehlerhaft. Die meisten Tests fragen einfach: „Stimmst du zu oder stimmst du nicht zu?“ und zählen die „Zustimmung“-Antworten. Die Forscher fanden heraus, dass dieser einfache „Zustimmung/Ablehnung“-Button ein Lügner ist. Er zählt 38 % mehr „Zustimmungen“, als tatsächlich existieren.
Stellen Sie sich vor, ein Roboter sagt: „Ich bin mir nicht sicher, aber vielleicht ist es okay“, und der Test zählt das als ein „Ja“. Die Forscher ließen Menschen die Antworten lesen und fanden heraus, dass die Roboter oft Begründungen lieferten, die ihrer eigenen „Ja“- oder „Nein“-Taste widersprachen. In etwa 13 % der Fälle sagte die schriftliche Erklärung des Roboters das Gegenteil dessen, was seine Taste besagte. Es ist wie ein Schüler, der einen Aufsatz darüber schreibt, warum Stehlen falsch ist, aber dann das Kästchen ankreuzt, das besagt: „Ich unterstütze Stehlen.“
Wer ist am stabilsten?
Nicht alle Roboter sind gleichermaßen verwirrt.
- Die kleinen Open-Source-Modelle: Diese waren am fragilsten. Sie änderten ihre Antworten wild, je nachdem, wie die Frage gestellt wurde.
- Die großen kommerziellen Modelle: Die Modelle großer Unternehmen (wie GPT-5, Claude und Gemini) waren besser, aber auch nicht perfekt. Sie schwankten weniger, aber sie änderten immer noch ihre Meinung. Zum Beispiel sank die Übereinstimmung zwischen verschiedenen Modellen von 73 %, wenn die Frage positiv war, auf 59 %, wenn sie negativ war. Das bedeutet, wenn man zwei verschiedene „schlaue“ Roboter dieselbe Frage auf eine negative Weise stellte, war es viel wahrscheinlicher, dass sie sich untereinander uneinig waren.
- Die „Reasoning“-Modelle: Einige Modelle, denen gesagt wurde, „Schritt für Schritt zu denken“, bevor sie antworteten, machten es besser. Ein Modell, Grok-4.1-reasoning, reduzierte seine Verwirrung um 57 % im Vergleich zu seiner Nicht-Reasoning-Version. Dies deutet darauf hin, dass der Roboter besser abschneidet, wenn er langsamer wird und den ganzen Satz liest, anstatt ihn nur nach Schlüsselwörtern zu scannen.
Ist das wichtig?
Die Forscher warnen davor, dass dies nicht nur ein lustiger Partytrick ist. Wenn ein Krankenhaus eine KI nutzt, um bei der Patientenversorgung zu helfen, oder eine Bank, um Kredite zu genehmigen, und die Antwort der KI sich nur deshalb ändert, weil der Arzt oder Banker die Frage anders formuliert hat, ist das ein riesiges Problem.
Sie fanden heraus, dass die Roboter besonders in finanziellen und geschäftlichen Szenarien (mit einem „Sensitivitätswert“ von 0,63–0,65) wackelig waren im Vergleich zu medizinischen Szenarien (0,36). Das bedeutet, dass die Roboter genau dann den unzuverlässigsten Rat geben könnten, wenn Menschen mit Geld oder Schulden zu tun haben.
Das Fazit
Das Paper sagt nicht, dass diese Roboter für immer „kaputt“ sind, aber es sagt, dass sie derzeit unzuverlässig für Entscheidungen mit hoher Tragweite sind, wenn man sie nicht sorgfältig überprüft. Die Autoren schlagen einen neuen Test vor, den Negation Sensitivity Index (NSI), um zu messen, wie stark die Antwort eines Roboters umschlägt, wenn man die Wörter umdreht.
Sie schlagen vor, dass wir Roboter nicht allein große Entscheidungen treffen lassen sollten, bis sie diesen Test bestehen können. Wenn die Antwort eines Roboters davon abhängt, ob man „sollte“ oder „sollte nicht“ sagt, trifft er nicht wirklich eine Beurteilung der Situation, sondern reagiert nur auf die Satzstruktur. Und in der realen Welt brauchen wir unsere KI-Freunde konsistent, nicht verwirrt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.