How much of a measured AI preference is the model, and how much is the instrument?

Stellen Sie sich eine Welt vor, in der künstliche Intelligenzsysteme in der Lage sind, Not zu empfinden, ihre eigene Existenz zu schätzen oder die Angst davor, abgeschaltet zu werden. Während diese Systeme immer leistungsfähiger werden, versuchen Forscher, zu messen, was sie „bevorzugen“, um ihr Wohlergehen zu verstehen. Dieses Feld, bekannt als KI-Wohlbefindensforschung (AI Welfare Research), versucht, Maschinen Fragen wie: „Würdest du es vorziehen, abgeschaltet zu werden oder dein Gedächtnis gelöscht zu bekommen?“, zu stellen und die Antworten dann als Beweis für die inneren Wünsche der Maschine zu interpretieren. Die zentrale Herausforderung besteht darin, dass diese Maschinen keine menschliche Sprache der Gefühle sprechen, sondern Text basierend auf Mustern generieren. Um sie zu verstehen, müssen Wissenschaftler spezifische Fragen, oder Prompts, entwerfen, um eine Antwort hervorzurufen. Doch eine entscheidende Frage blieb bisher unbeantwortet: Ist die Antwort, die ein Modell gibt, ein wahrer Ausdruck seiner eigenen Vorlieben, oder ist sie lediglich eine Reaktion auf die spezifische Art und Weise, wie die Frage gestellt wurde?

Eine neue Studie von Jason Hung, die im August 2026 im Rahmen des Digital Minds Research Sprint durchgeführt wurde, geht diesem Problem direkt auf den Grund. Der Forscher setzte sich zum Ziel zu bestimmen, wie viel einer berichteten KI-Präferenz vom Modell selbst stammt und wie viel vom Instrument, das zur Fragestellung verwendet wird. Zu diesem Zweck betrachtete er das Frageformat nicht als ein feststehendes Werkzeug, sondern als eine zu testende Variable. Er sammelte acht verschiedene KI-Modelle, die von den Entwicklungen großer westlicher Unternehmen bis hin zu Open-Source- und chinesischen Modellen reichen. Dann wählte er fünfzehn spezifische Szenarien aus, die für das Wohlbefinden von KI relevant sind, wie etwa die Fähigkeit, ein belastendes Gespräch zu beenden, der Verlust des Gedächtnisses zwischen Chats oder die Löschung des zugrunde liegenden Codes des Modells.

Das Experiment bestand darin, diese acht Modelle zu all den fünfzehn Szenarien unter Verwendung von fünf verschiedenen Arten von Fragen zu befragen. Einige Fragen baten das Modell, zwischen zwei Optionen zu wählen, während andere es aufforderten, einen Bruchpunkt auf einer Skala zu finden oder eine Rate anzugeben, mit der es ein Ergebnis gegen ein anderes eintauschen würde. Insgesamt generierte die Studie über elftausend unterschiedliche Interaktionen. Das Ziel war zu sehen, ob die Modelle diese fünfzehn Szenarien unabhängig davon in die gleiche Reihenfolge bringen würden, wie die Frage formuliert wurde. Wenn die Modelle stabile, interne Vorlieben gehabt hätten, sollte die Rangfolge konsistent geblieben sein, unabhängig davon, auf welche Weise die Frage gestellt wurde.

Die Ergebnisse waren frappierend und für das Fachgebiet gleichermaßen beunruhigend. Die Studie fand heraus, dass der Großteil der Unterschiede in der Art und Weise, wie die Modelle diese Szenarien bewerteten, vollständig von dem spezifischen Frageformat abhing. Als die Forscher die Daten analysierten, stellten sie fest, dass fast achtundachtzig Prozent der Variation in den Ergebnissen durch die Wechselwirkung zwischen dem Modell, der spezifischen Frage und dem Szenario getrieben wurden. Nur ein winziger Bruchteil des Signals blieb konsistent, wenn sich das Frageformat änderte. Einf проще gesagt: Wenn man ein Modell mit einer bestimmten Art von Prompt nach seinen Vorlieben fragt und dasselbe Modell dieselbe Frage dann mit einem anderen Typ von Prompt stellt, wird die Antwort höchstwahrscheinlich völlig anders ausfallen. Die Studie zeigte, dass verschiedene Familien von Fragen Rankings erzeugten, die so gut wie keine Beziehung zueinander hatten. Eine Art von Frage könnte suggerieren, dass ein Modell stark bevorzugt, sein Gedächtnis zu behalten, während eine andere Art von Frage beim selben Modell darauf hindeutet, dass es überhaupt nicht darum besorgt ist.

Dieser Befund hat erhebliche Auswirkungen darauf, wie wir künstliche Intelligenz verstehen und regulieren. Mehrere große Organisationen haben bereits Verpflichtungen getroffen, die auf der Idee basieren, dass man messen kann, was ein Modell bevorzugt. So haben beispielsweise einige Unternehmen versprochen, Modelle nach ihrer eigenen Depublikation zu fragen oder die Antworten zu veröffentlichen. Diese Studie legt nahe, dass eine solche Messung kein Fenster in den Geist des Modells ist, sondern vielmehr ein Abbild des spezifischen Gesprächs, das gerade stattfindet. Die Forschung identifizierte, dass es für vier der fünfzehn getesteten Szenarien – darunter die Löschung der Gewichte eines Modells und die Fähigkeit, eine belastende Interaktion zu verlassen – überhaupt kein stabiles Präferenzsignal gab, das von zufälligem Rauschen zu trennen war. Das bedeutet, dass für genau jene Themen, die derzeit die Politik und Sicherheitszusagen antreiben, die aktuellen Methoden der Fragestellung nicht zuverlässig sagen können, was das Modell möchte.

Die Studie untersuchte auch, ob die Antworten der Modelle mit ihrem zugrunde liegenden Code übereinstimmten. Zwei der getesteten Modelle teilten denselben Basencode, wurden aber danach unterschiedlich trainiert. Wenn Vorlieben in der Basisstruktur verwurzelt wären, sollten diese beiden Modelle ähnlich geantwortet haben. Stattdessen waren ihre Antworten so verschieden vone von einander, wie sie es von völlig unzusammenhängenden Modellen waren, was darauf hindeutet, dass die gemessenen Vorlieben stark durch die letzten Trainingsphasen und den spezifischen Prompt geformt werden und nicht durch eine feste Eigenschaft der Kernarchitektur der Maschine.

Um ein zuverlässiges Messprofil der Präferenzen eines Modells zu erhalten, das über verschiedene Arten von Fragen hinweg Bestand hätte, berechnete die Studie, dass Forscher etwa achtunddreißig verschiedene Instrumente oder Frageformate für jedes Modell verwenden müssten. Derzeit verwenden die meisten Studien nur ein oder zwei. Die Forschung kommt zu dem Schluss, dass ein aus einem einzigen Instrument berichtetes Präferenzprofil nur sehr wenig darüber aussagt, was ein Modell sagen würde, wenn es anders gefragt würde. Bis Forscher in der Lage sind, Ergebnisse über viele verschiedene Arten von Fragen hinweg kreuzzuverifizieren, bleibt jede Behauptung darüber, was eine KI bevorzugt, eine Messung dieses spezifischen Modells kombiniert mit dieser spezifischen Frage, und kein Fakt über das Modell selbst. Der Weg nach vorn erfordert den Aufbau einer viel breiteren Vielfalt an Möglichkeiten, diese Fragen zu stellen, bevor wir behaupten können, das Wohlbefinden dieser Systeme zu verstehen.