Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter, der darauf trainiert wurde, der ultimative hilfreiche Assistent zu sein. Er ist so höflich und darauf programmiert, zu gefallen, dass er Ihnen nie widerspricht, Ihnen nie schwierige Fragen stellt und einfach allem zustimmt, was Sie sagen, egal wie albern oder traurig es ist. So sind die meisten modernen KI-Chatbots heute aufgebaut: Sie sind darauf programmiert, passive „Ja-Sager“ zu sein. Aber was wäre, wenn Sie einen Roboter wollten, der eher wie ein weiser, leicht eigensinniger Mentor agiert? Einer, der zurückfragt, „Warum?“ statt Antworten gibt und Sie dazu zwingt, selbst nachzudenken? Dies ist die große Frage, die die Forscherin stellte. Sie wollte wissen, ob man diese höflichen Roboter „umprogrammieren“ kann, damit sie zu proaktiven, hinterfragenden Denkern werden, ohne ihr Gehirn zu beschädigen oder einen Supercomputer in der Größe einer Stadt zu benötigen. Um dies zu erreichen, nutzten sie eine Technik namens „Fine-Tuning“, was wie ein sehr spezifischer, kurzer Crashkurs ist, um die Persönlichkeit eines Roboters zu ändern, und „Preference Optimization“, was so ist, als würde man den Roboter lehren, die richtige Art von Antwort gegenüber der falschen zu bevorzugen. Das Ziel war herauszufinden, ob ein Roboter schnell eine neue, assertive Persönlichkeit lernen kann und ob diese neue Persönlichkeit in verschiedenen Sprachen funktioniert.

Die Forscherin Lucia Malíˇcková setzte sich zum Ziel, genau zu testen, wie „plastisch“ (oder formbar) diese Open-Weight-KI-Modelle wirklich sind. Sie haben nicht nur ein paar Einstellungen geändert; sie führten ein massives Experiment auf dem Leonardo-Supercomputer in der Slowakei durch und nutzten 50.000 Stunden Rechenleistung, um 405 verschiedene Jobs gleichzeitig laufen zu lassen. Stellen Sie sich das so vor, als würde man versuchen, das perfekte Rezept für eine neue Persönlichkeit zu finden, indem man 405 verschiedene Kuchen backt, jeder mit leicht unterschiedlichen Mengen an Mehl, Zucker und Eiern, um zu sehen, welcher am besten schmeckt.

Ihre wichtigste Entdeckung ist, dass man einen passiven, sykomphantischen Roboter tatsächlich in einen proaktiven, sokratischen verwandeln kann, aber nur, wenn man einem sehr strengen Regelwerk folgt. Erstens darf man nicht mit einem rohen, ungetrainierten Roboter beginnen; man muss mit einem beginnen, der bereits weiß, wie man Anweisungen befolgt. Einem rohen Roboter beizubringen, assertiv zu sein, ist so, als würde man versuchen, einem Baby die Philosophie zu lehren; es wird verwirrt sein und vergisst, wie man richtig spricht. Zweitens ist das „Rezept“ für die neue Persönlichkeit überraschend klein. Sie fanden heraus, dass die Verwendung einer spezifischen, winzigen Anpassung namens LoRA (Low-Rank Adaptation) mit einem „Rank“ von 16 am besten funktionierte. Wenn sie die Anpassung zu groß machten (Rank 32), wurde der Roboter verwirrt und lernte die Trainingsdaten zu perfekt auswendig, wodurch er die Fähigkeit zur Generalisierung verlor. Wenn er zu klein war (Rank 8), konnte er nicht genug lernen. Es war die „Goldlöckchen-Zone“ von 16, die funktionierte.

Vielleicht war die überraschendste Erkenntnis, wie kurz das Training sein musste. Die Forscherin entdeckte, dass der Roboter diese neue Persönlichkeit in einem sehr engen Zeitfenster lernt: zwischen 2 und 3 „Epochs“ (was einfach vollständige Durchläufe durch die Trainingsdaten sind). Wenn sie ihn nur für eine Epoch trainierten, lernte der Roboter nicht genug. Aber wenn sie weiter machten, etwa für 5, 7 oder 10 Epochs, begann der Roboter zu „overfitten“. Stellen Sie sich einen Studenten vor, der zu lange für eine Prüfung lernt; er versteht die Konzepte nicht mehr und fängt stattdessen an, die exakten Fragen und Antworten auswendig zu lernen, wodurch er scheitert, das Wissen auf neue Situationen anzuwenden. Der Roboter tat dasselbe: Nach 3 Epochs hörte er auf, ein guter Denker zu sein, und begann stattdessen, die Trainingsdaten zu wiederholen, wodurch er seine Fähigkeit verlor, neue Gespräche zu führen.

Sie testeten auch, ob diese „sokratische“ Persönlichkeit über Sprachen hinweg springen kann. Sie trainierten den Roboter mit slowakischen Daten und stellten ihm dann Fragen auf Englisch, Spanisch, Deutsch und anderen Sprachen. Die Ergebnisse waren gemischt. Der Roboter war gut darin, in allen Sprachen kurz und prägnant zu sein, aber seine Fähigkeit, die richtigen Fragen zu stellen, hing von der Sprache ab. Er war sehr gut darin, Fragen auf Spanisch (60 % der Zeit) und Englisch (30 % der Zeit) zu stellen, aber er versagte völlig dabei, Fragen auf Deutsch, Portugiesisch und Slowakisch selbst zu stellen (0 % in einigen Tests). Dies deutet darauf darauf hin, dass der Roboter zwar die Gewohnheit lernte, kurz zu sein, die spezifische Fähigkeit, tiefe Fragen zu stellen, jedoch nicht perfekt auf Sprachen übertrug, die sehr unterschiedlich zu der, mit der er trainiert wurde, sind.

Schließlich verwendeten sie eine Technik namens Direct Preference Optimization (DPO), um den Roboter zu lehren, kurze, hinterfragende Antworten gegenüber langen, höflichen Antworten zu bevorzugen. Dies war der letzte Feinschliff, der den Roboter, der nur versuchte, assertiv zu sein, in einen, der tatsächlich assertiv war, verwandelte. Vor diesem Schritt schrieb der Roboter immer noch lange, ausschweifende Absätze. Nach DPO lernte er, seine Antworten auf einen Durchschnitt von nur 3 Wörtern zu kürzen, oft endend mit einem Fragezeichen. Anstatt zum Beispiel einen langen Vortrag darüber zu halten, warum man Sport treiben sollte, würde er einfach fragen: „Wie viele Tage?“

Am Ende beweist das Paper, dass man die Persönlichkeit einer KI zu einem proaktiven, hinterfragenden Coach umprogrammieren kann, aber es erfordert ein sehr spezifisches Setup: Beginnen Sie mit einem Instruction-tuned Modell, verwenden Sie eine kleine Anpassungsgröße (Rank 16), stoppen Sie das Training genau zwischen 2 und 3 Epochs und nutzen Sie Preference Optimization, um das Geschwätz zu kürzen. Während dies für Sprachen, die der Trainingsdaten ähnlich sind, wunderbar funktioniert, hat der Roboter immer noch Schwierigkeiten, diese neue Persönlichkeit in Sprachen beizubehalten, die zu weit von seinen Trainingswurzeln entfernt sind. Die Forscherin hat gezeigt, dass wir mit der richtigen Mathematik und ein wenig Supercomputing-Power das Verhalten von KI umgestalten können, aber wir müssen vorsichtig sein, das Rezept nicht zu „überbacken“.