Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

In der sich rasant entwickelnden Welt der künstlichen Intelligenz versuchen Forscher ständig, Maschinen zu bauen, die viele Dinge gleichzeitig tun können. Stellen Sie sich einen Studenten vor, der jahrelang Mathematik gemeistert hat, einen anderen, der zu einem Coding-Zauberer geworden ist, und einen dritten, der ein Experte im Befolgen komplexer Anweisungen ist. In der Vergangenheit hätte ein Computer, um all diese Fähigkeiten zu nutzen, drei separate Programme ausführen müssen, von denen jedes einem einzigen Fachgebiet gewidmet war. Dies ist ineffizient und erfordert enorme Mengen an Computerarbeitsspeicher und Energie. Eine elegantere Lösung besteht darin, diese separaten Experten in ein einziges, vielseitiges Modell zu kombinieren. Dieser Prozess, bekannt als Model Merging (Modellzusammenführung), versucht, das „Wissen“ verschiedener spezialisierter Programme in ein einziges, einheitliches Gehirn zu verschmelzen, ohne es von Grund auf neu trainieren zu müssen. Diese Verschmelzung ist jedoch notorisch schwierig. Wenn man zwei unterschiedliche Sätze von Anweisungen mischt, treten sie oft in Konflikt. Der Computer wird verwirrt, und das resultierende Modell schneidet bei allen Aufgaben schlecht ab, als ob die verschiedenen Fähigkeiten um denselben Platz im Speicher der Maschine kämpfen würden.

Der Kern dieses Problems liegt darin, wie diese künstlichen Gehirne Informationen speichern. In einem neuronalen Netzwerk teilen sich verschiedene Fähigkeiten oft dieselben physischen Pfade, ein Phänomen, das Forscher Superposition nennen. Es ist, als ob mehrere unterschiedliche Ideen versuchen, zur gleichen Zeit denselben engen Flur zu belegen. Wenn Forscher versuchen, einfach die Gewichte zweier Modelle zusammenzuzählen, stören sich diese überlappenden Ideen gegenseitig und erzeugen ein wirres Durcheinander, in dem nützliche Informationen verloren gehen. Frühere Versuche, dies zu beheben, beinhalteten den Versuch, das Chaos innerhalb des ursprünglichen, überfüllten Raums zu entwirren, oft indem Teile des Modells abgeschnitten oder Zahlen skaliert wurden. Aber wenn die Interferenz schwerwiegend ist, sind diese Methoden wie der Versuch, einen Haufen vermischter Drähte zu sortieren, indem man nur auf die Knoten schaut; sie können die einzelnen Stränge nicht vollständig trennen, ohne den Schaltkreis zu beschädigen.

Ein Team von Forschern hat einen neuen Weg vorgeschlagen, dieses Problem zu lösen, indem es die Perspektive komplett ändert. Anstatt zu versuchen, die Drähte im überfüllten Flur zu entwirren, schlagen sie vor, die Drähte in einen viel größeren, leeren Raum zu bewegen, in dem es genügend Platz gibt, um sie getrennt auszulegen. Sie nennen diesen Ansatz High-Dimensional Sparse Disentanglement Merging. Die Forscher verwendeten ein Werkzeug namens Sparse Autoencoder, das wie ein Übersetzer fungiert. Es nimmt die verwirrten Anweisungen einer spezifischen Aufgabe und wandelt sie in eine lange Liste einfacher, unterscheidbarer Merkmale um. Da diese neue Liste viel länger ist als der ursprüngliche Satz von Anweisungen, erhält jedes Merkmal seinen eigenen dedizierten Raum, sodass der Computer genau sehen kann, welche Teile des Wissens zur Mathematik gehören, welche zum Programmieren und welche zum Befolgen von Anweisungen. Sobald die Informationen in diesem geräumigen, hochdimensionalen Raum getrennt sind, können die Forscher die relevanten Teile sorgfältig kombinieren, ohne dass die verschiedenen Fähigkeiten sich gegenseitig behindern. Nach Abschluss der Kombination wandelt der Übersetzer die saubere, getrennte Liste zurück in das ursprüngliche Format um, damit das Modell sie verwenden kann.

Es wäre jedoch unglaublich langsam und teuer, jede einzelne Schicht eines massiven Modells in dieses neue Format zu übersetzen. Um dies zu lösen, führten die Forscher eine intelligente Auswahlmethode namens Group-Ranked Zeroth-Order Optimizer ein. Dieses Werkzeug funget als Scout, der schnell testet, welche Teile des Modells für eine bestimmte Aufgabe am kritischsten sind. Dies geschieht, indem es winzige, zufällige Anpassungen an verschiedenen Abschnitten des Modells vornimmt und sieht, wie stark sich die Leistung verändert, ohne komplexe Gradienten berechnen zu müssen. Durch die Identifizierung nur der wichtigsten Schichten wendet das System den teuren Übersetzung- und Trennungsprozess nur dort an, wo er wirklich benötigt wird, und lässt den Rest des Modells durch einfachere, schnellere Methoden zusammenzuführen. Dies stellt sicher, dass das System effizient bleibt und dennoch die Vorteile der tiefen Trennung erhält.

Die Forscher testeten diesen neuen Rahmen mit der Qwen2.5-Serie von Sprachmodellen, die leistungsstarke Systeme der künstlichen Intelligenz sind. Sie erstellten Expertenmodelle für Aufgaben wie mathematische Argumentation, Codegenerierung und das Befolgen komplexer Anweisungen. Wenn sie diese Experten mit traditionellen Methoden zusammenführten, waren die Ergebnisse oft enttäuschend, da die Leistung bei schwierigen Aufgaben signifikant sank. Im Gegensatz dazu schnitt ihre neue Methode konsistent besser ab als bestehende Techniken. Bei einem großen 7-Milliarden-Parameter-Modell erreichte ihr Ansatz eine durchschnittliche Punktzahl von 68,49 über Mathematik-, Coding- und Instruktions-Folge-Aufgaben hinweg und schlug damit die bisher beste Methode deutlich. Die Verbesserung war sogar noch dramatischer in Szenarien mit starken Konflikten. Als sie versuchten, vier verschiedene Aufgaben, einschließlich Sicherheitsausrichtung (Safety Alignment), auf einem kleineren 1,5-Milliarden-Parameter-Modell zusammenzuführen, brachen die Durchschnittswerte traditioneller Methoden auf bis zu 15,45 ein. Die neue Methode hielt eine Punktzahl von 36,48 und bewahrte damit effektiv die Fähigkeit des Modells, Mathematik und Code zu beherrschen und gleichzeitig strikte Sicherheitsrichtlinien einzuhalten.

Die Studie legt nahe, dass der Schlüssel zum erfolgreichen Zusammenführen von Modellen nicht nur darin liegt, wie wir die Zahlen mischen, sondern wo wir sie mischen. Durch die Projektion der Aufgabeninformationen in einen höherdimensionalen Raum, in dem Merkmale klar unterschieden werden können, konnten die Forscher die Interferenz reduzieren, die diese Systeme normalerweise plagt. Sie fanden heraus, dass ihr verbesserter Autoencoder, der eine spezifische Technik verwendet, um die wichtigsten Merkmale aktiv zu halten und den Rest zu ignorieren, entscheidend für diesen Erfolg war. Des Weiteren bewies ihr Schicht-Auswahlwerkzeug, dass es nicht notwendig ist, diese komplexe Trennung auf jeden Teil des Modells anzuwenden; die Konzentration auf die kritischen Schichten reichte aus, um die Vorteile zu erfassen. Die Ergebnisse deuten darauf hin, dass dieser Ansatz einen robusten Weg bietet, um Generalisten-Modelle zu bauen, die mehrere, konfliktierende Aufgaben bewältigen können, ohne zusätzliche Trainingsdaten oder ein teures erneutes Training zu benötigen. Obwohl die Methode einige anfängliche Rechenleistung für die Einrichtung der Übersetzungswerkzeuge erfordert, ist der Ertrag ein Modell, das seine spezialisierten Fähigkeiten viel besser beibehält als solche, die mit älteren Techniken erstellt wurden. Diese Arbeit bietet einen konkreten Weg nach vorn, um leistungsfähigere und vielseitigere Systeme der künstlichen Intelligenz zu schaffen, die die komplexe Landschaft multipler menschlicher Aufgaben navigieren können, ohne sich zu verlieren.