Output Dilution: Redundant but Fragile Representations in MoE Models

In dem sich rasant entwickelnden Feld der künstlichen Intelligenz versuchen Forscher ständig zu verstehen, wie große Sprachmodelle „denken“. Diese Systeme, die Geschichten schreiben, Probleme lösen und Fragen beantworten können, basieren auf riesigen Netzwerken mathematischer Verbindungen. Ein populäres Design für diese Netzwerke wird als „Mixture of Experts“ (Mischung von Experten) bezeichnet. Stellen Sie sich ein großes Team von Spezialisten vor, von denen für jeden einzelnen Satz, den der Computer verarbeitet, nur eine kleine Gruppe arbeiten darf. Der Rest bleibt stumm. Dieser Ansatz soll den Computer schneller und effizienter machen, indem er für jede Aufgabe weniger Ressourcen nutzt. Für Wissenschaftler, die untersuchen, wie sie diese Modelle mit menschlichen Werten in Einklang bringen können – also sicherstellen, dass sie ethisch und sicher agieren –, bietet diese Struktur eine verlockende Möglichkeit. Wenn das moralische Denken von einer spezifischen, isolierten Gruppe dieser Spezialisten gehandhabt wird, könnten Forscher potenziell genau diese Gruppe anpassen oder entfernen, um Fehlverhalten zu korrigieren, ohne den Rest des Systems zu stören. Es ist ein sauberer, chirurgischer Ansatz für ein komplexes Problem.

Eine neue Studie unter Verwendung eines spezifischen Open-Source-Modells namens OLMoE hat jedoch ergeben, dass diese Hoffnung unbegründet ist. Die Forscher wollten herausfinden, ob diese „Experten“-Module tatsächlich auf moralisches Denken spezialisiert sind oder ob sie alle das Gleiche tun. Sie wollten auch testen, wie stark diese moralischen Signale wirklich sind. Die Ergebnisse waren überraschend. Die Studie fand heraus, dass das Modell nicht über ein dediziertes Team von Moral-Experten verfügt. Stattdessen enthält jedes einzelne Spezialisten-Modul über alle Schichten des Netzwerks hinweg dieselben moralischen Informationen. Wichtiger noch: Die Studie entdeckte, dass diese moralischen Informationen zwar vorhanden, aber unglaublich fragil sind. Sie existieren im System, aber sie sind so schwach ausgeprägt, dass selbst eine winzige Menge digitaler Unruhe sie auslöschen kann, während ein Standardmodell derselben Größe dieselbe Störung problemlos verkraften würde.

Die Untersuchung begann mit der Analyse der internen Arbeitsweise des OLMoE-Modells, das in seinen 16 Schichten 64 dieser Spezialisten-Module enthält. Die Forscher trainierten einfache Detektoren, um zu sehen, ob sie moralische Konzepte innerhalb des Outputs jedes einzelnen Moduls finden konnten. Wenn das „Mixture of Experts“-Design so funktioniert hätte wie erhofft, hätten sie erwartet, dass nur wenige spezifische Module gut darin sind, moralische Inhalte zu erkennen, während die anderen sich auf andere Aufgaben wie Grammatik oder Fakten konzentrieren. Stattdessen fanden sie das Gegenteil. Fast jedes einzelne Modul war unabhängig von seiner Position im Netzwerk in der Lage, moralische Inhalte mit hoher Genauigkeit zu identifizieren. Die Verteilung dieser Fähigkeit war vollkommen gleichmäßig; kein Modul war ein Spezialist und kein Modul ein Laie. Auch der Router, der entscheidet, welche Module arbeiten dürfen, zeigte keine Präferenz dafür, moralische Sätze an bestimmte Experten zu senden. Er behandelte alle Eingaben auf die gleiche Weise. Dies bedeutet, dass der strukturelle Vorteil, separate Experten zu haben, nicht dabei hilft, moralische Merkmale für gezielte Interventionen zu isolieren.

Die Forscher widmeten sich dann einer subtileren Frage: Wie robust sind diese moralischen Informationen? Sie verglichen das OLMoE-Modell mit einem Standard-„dichten“ Modell, das kein Expertensystem verwendet, aber eine ähnliche Anzahl an aktiven Parametern besitzt. Als sie testeten, wie viel Rauschen die Modelle tolerieren konnten, bevor sie ihre Fähigkeit verloren, moralische Inhalte zu erkennen, zeigte sich ein drastischer Unterschied. Das Standardmodell war bemerkenswert robust und konnte erhebliche digitale Interferenzen standhalten, während es sein moralisches Verständnis beibehielt. Das OLMoE-Modell hingegen brach fast sofort zusammen. Es war mehr als viermal fragiler als sein Standard-Gegenstück. Das moralische Signal im Experten-Modell war so empfindlich, dass bereits ein geringes Maß an statischem Rauschen ausreichte, um es vollständig zu übertönen.

Um zu verstehen, warum dies geschah, untersuchte das Team, wie die Informationen durch das System fließen. In einem Standardmodell senden die Verarbeitungseinheiten ein starkes, klares Signal an die nächste Stufe des Netzwerks. Im Experten-Modell wählt das System einige Experten aus, bildet den Durchschnitt ihrer Outputs und leitet dieses kombinierte Ergebnis weiter. Die Forscher maßen die Stärke dieses kombinierten Signals und fanden heraus, dass es drastisch schwächer war als im Standardmodell. Das Signal wurde verdünnt und war fast zwei Größenordnungen kleiner. Eine Möglichkeit, dies zu visualisieren, ist sich vorzustellen, wie ein Gespräch in einem überfüllten Raum: Im Standardmodell spricht eine Person mit einer klaren, starken Stimme, die jeder hört. Im Experten-Modell ist es, als würden acht Personen denselben Satz flüstern, und der Raum hört nur den Durchschnitt dieser Flüstertöne. Die Botschaft ist da, aber sie ist so leise, dass ein leichter Luftzug aus Rauschen ausreicht, um sie unhörbar zu machen.

Diese Erkenntnis hat tiefgreifende Auswirkungen darauf, wie wir diese Systeme verstehen und kontrollieren. Die Studie zeigte, dass diese Fragilität nicht das Ergebnis eines fehlerhaften Lernprozesses im Laufe der Zeit ist. Durch die Untersuchung der Trainingshistorie des Modells von seinen ersten Schritten bis zu seiner finalen Form bestätigten die Forscher, dass die moralischen Informationen von Beginn an vorhanden waren und während des gesamten Prozesses gleichmäßig verteilt und schwach geblieben sind. Das Modell entwickelte nie spezialisierte Moral-Experten, noch hat es das Signal jemals gestärkt. Die Fragilität ist ein eingebautes Merkmal der Architektur selbst. Da das System die Outputs einiger ausgewählter Experten mittelt, ist das resultierende Signal von Natur aus klein. Dieses kleine Signal wird leicht von Rauschen überwältigt, was die moralische Kodierung in diesen Modellen wesentlich unsicherer macht als in traditionellen Designs.

Die Studie kommt zu dem Schluss, dass das Versprechen des Mixture-of-Experts-Designs für die Alignment-Forschung eine Illusion ist. Während die Struktur eine Möglichkeit bietet, das Netzwerk in diskrete Einheiten zu unterteilen, schafft sie keine isolierten Taschen des moralischen Denkens, die leicht bearbeitet oder entfernt werden können. Stattdessen verteilt sie die moralischen Informationen dünn über alle Einheiten, was sie zwar redundant, aber unglaublich verwundbar macht. Für Forscher, die versuchen, sicherzustellen, dass diese Modelle sicher agieren, bedeutet dies, dass es nicht ausreicht, lediglich zu prüfen, ob ein Modell moralische Konzepte identifizieren kann. Sie müssen auch messen, wie sicher diese Informationen gespeichert sind. Ein Modell mag oberflächlich betrachtet die Ethik perfekt verstehen, könnte aber dennoch so fragil sein, dass eine geringfügige Änderung in seiner Umgebung oder eine leichte Anpassung während des Fine-Tunings dazu führen könnte, dass es dieses Verständnis vollständig verliert. Die Studie legt nahe, dass die Art und Weise, wie diese Modelle gebaut werden, die Natur ihrer internen Signale grundlegend verändert und eine permanente strukturelle Schwäche schafft, die durch Training allein nicht behoben werden kann.