Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition
Diese Arbeit zeigt auf, dass standardmäßige Techniken zur Modellzusammenführung häufig einen asymmetrischen Kollaps verursachen, bei dem die Fähigkeiten zur Sicherheitserkennung verloren gehen, während breite Verhaltensweisen der Verweigerung erhalten bleiben, primlich weil das Verfeinern der Verweigerung (Refusal Fine-tuning) signifikant größere Task-Vektor-Magnituden induziert, die den Zusammenführungsprozess dominieren, obwohl die Vektoren nahezu orthogonal sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der neue Tricks lernen kann. Manchmal möchten Sie ihm eine ganz bestimmte Sache beibringen, wie zum Beispiel, wie man eine Fake-News-Schlagzeile erkennt. Ein andermal möchten Sie ihm einen anderen Trick beibringen, wie zum Beispiel, wie er zu gefährlichen Anfragen „Nein“ sagt. Aber was, wenn Sie wollten, dass der Roboter beides gleichzeitig kann? In der Welt der künstlichen Intelligenz gibt es eine clevere Abkürzung namens „Model Merging“ (Modell-Zusammenführung). Anstatt den Roboter von Grund auf neu zu trainieren, nehmen Wissenschaftler zwei verschiedene Versionen des Roboters – eine, die für Trick A trainiert wurde, und eine, die für Trick B trainiert wurde – und vermischen mathematisch ihre Gehirne. Es ist wie das Mischen von zwei verschiedenen Eissorten, um einen neuen, perfekten Wirbel zu erhalten. Die große Frage ist: Wenn wir diese zwei verschiedenen „Eissorten“ des Sicherheitstrainings mischen, erhalten wir dann einen Roboter, der in beidem gut ist, oder überdeckt eine Geschmacksrichtung die andere völlig? Dies ist das Rätsel, das eine neue Studie lösen wollte, indem sie untersuchte, ob wir die Fähigkeit eines Roboters, Gefahr zu verstehen, gleichzeitig mit seiner Fähigkeit, sie zu verweigern, beibehalten können.
Die Forscher hinter dieser Studie, veröffentlicht auf der COLM 2026 Konferenz, entschieden sich, dies mit einem spezifischen Robotermodell namens Gemma-3-1B-IT zu testen. Sie erschufen zwei spezielle Versionen dieses Roboters. Die erste Version, nennen wir sie „Detective“ (Detektiv), wurde auf einem riesigen Datensatz medizinischer Fragen trainiert, um ein Experte darin zu werden, wie schädlich ein Prompt ist. Er lernte, eine abgestufte Antwort zu geben, wie etwa: „Das ist ein wenig riskant“ oder „Das ist sehr gefährlich“. Die zweite Version, „Guardian“ (Wächter), wurde auf einer riesigen Sammlung von kniffligen, adversariellen Prompts trainiert, die darauf ausgelegt sind, die Regeln des Roboters zu brechen. Guardian lernte eine einfache, unnachgiebige Lektion: Wenn es gefährlich aussieht, sag einfach „Nein“ und verweigere die Antwort, ohne weitere Fragen.
Das Team nahm diese beiden Spezialisten und versuchte, sie zu einem einzigen Roboter zusammenzuführen, indem sie vier verschiedene mathematische Mischmethoden anwandten. Sie erwarteten das Ergebnis eines Roboters, der sowohl die Gefährlichkeit erkennen als auch das Schlechtes verweigern kann. Stattdessen stellten sie ein seltsames und einseitiges Ergebnis fest. In jedem einzelnen Fall übernahm das „Guardian“-Verhalten vollständig das Kommando. Die verschmolzenen Roboter wurden exzellent darin, schlechte Prompts zu verweigern, wobei sie hohe Verweigerungsraten (zwischen 81 % und 85 %) beibehielten. Jedoch verschwanden die „Detective“-Fähigkeiten fast vollständig. Die Roboter vergaßen, die Gefahr einzustufen; ihre Fähigkeit, die Schwere eines Prompts zu klassifizieren, sank auf nahezu Null (fiel auf so wenig wie 0,6 % oder 12,9 %, je nach Methode). Es war, als hätte der Roboter gelernt, die Tür vor allem zuzuschlagen und dabei zu vergessen, durch das Spionloch zu schauen, um zu sehen, was tatsächlich dort war.
Warum passierte das? Die Wissenschaftler untersuchten die „DNA“ der beiden Roboter genau, um den Übeltäter zu finden. Sie entdeckten, dass es nicht daran lag, dass die beiden Roboter gegeneinander kämpften oder in völlig entgegengesetzte Richtungen strebten. Tatsächlich standen ihre Gehirne fast in einem rechten Winkel zueinander, was bedeutet, dass sie völlig unterschiedliche Dinge taten, ohne miteinander zu kollidieren. Das eigentige Problem war eine Frage des Volumens. Der „Guardian“-Robot war auf einem Datensatz trainiert worden, der etwa 29 Mal größer war als der Datensatz des „Detective“. Aufgrund dessen waren die Änderungen im Gehirn des Guardians viel „lauter“ und stärker. Als die Wissenschaftler die Gehirne mischten, waren die mathematischen Werkzeuge, die sie verwendeten, wie ein Lautstärkeregler, der das lautere Signal aufdrehte und das leisere leiser drehte. Das laute, kräftige „Nein!“ des „Guardian“ übertönte das subtile, nuancierte „Vielleicht“ des „Detective“.
Selbst als die Forscher versuchten, dies zu korrigieren, indem sie die Trainingsdaten des Guardians schrumpften, um sie an die Größe des Datensatzes des Detectives anzupassen, verschwand das Problem für alle Verschmelzungsmethoden nicht vollständig. Dies deutet darauf darauf hin, dass die Größe der Daten zwar ein wesentlicher Faktor war, aber die Art und Weise, wie die Verschmelzungsalgorithmen mit diesen „lauten“ versus „leisen“ Aktualisierungen umgehen, der wahre Schlüssel ist. Die Studie legt nahe, dass standardmäßige Verschmelzungswerkzeuge derzeit dazu neigen, die großen, plumpen Verhaltensweisen (wie das Verweigern von allem) beizubehalten, während sie versehentlich die feingliedrigen, detaillierten Fähigkeiten (wie das Verständnis dafür, war Warum etwas schlecht ist) löschen.
Was bedeutet das also für die Zukunft? Das Paper legt nahe, dass wir, wenn wir eine sichere KI bauen wollen, die sowohl schlechte Dinge ablehnen als auch die Nuancen der Sicherheit verstehen kann, Modelle nicht einfach mit aktuellen Standardwerkzeugen mischen und kombinieren können. Wir könnten den „Detective“ im Inneren des „Guardian“ verlieren. Die Forscher kommen zu dem Schluss, dass zukünftige Methoden klüger darin sein müssen, diese unterschiedlichen „Lautstärken“ des Lernens auszubalancieren, um sicherzustellen, dass der Roboter nicht nur lernt, zu allem „Nein“ zu sagen, sondern auch lernt, den Unterschied zwischen einer kleinen Warnung und einer großen Gefahr zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.