Measuring Maximum Activations in Open Large Language Models
Dieser Beitrag präsentiert eine umfassende Messung der maximalen Aktivierungsamplituden über 27 moderne offene LLM-Checkpoints hinweg und zeigt, dass die Spitzenwerte je nach Modellfamilie und Architektur statt der Parameteranzahl um fast vier Größenordnungen variieren, wobei MoE-Modelle deutlich niedrigere Spitzenwerte aufweisen als ihre dichten Gegenstücke, wodurch die maximale Aktivierung als eine kritische, nicht-monotone Eigenschaft etabliert wird, die berichtet werden muss, um eine stabile Quantisierung mit niedriger Bitbreite zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen eine riesige, digitale Bibliothek, in der Bücher von einem sehr schnellen, aber etwas zerbrechlichen Roboter gelesen werden. Dieser Roboter (das KI-Modell) liest Wörter einzeln und führt sie durch eine Reihe von Räumen (Schichten), um die Geschichte zu verstehen. In diesen Räumen erzeugt der Roboter für jedes verarbeitete Wort „Erregungsniveaus" (Aktivierungen).
Meistens sind diese Erregungsniveaus ruhig und handhabbar. Aber manchmal, für einen winzigen Moment, wird der Roboter über ein bestimmtes Wort extrem aufgeregt und erzeugt einen massiven Energieschub.
Dieser Artikel ist wie ein Sicherheitsinspektionsbericht für 27 verschiedene Versionen dieser Roboter, von klein bis riesig und von verschiedenen Herstellern (wie Qwen, Gemma und GPT-OSS). Die Forscher wollten eine einfache, aber kritische Frage beantworten: Wie hoch können diese Energiespitzen werden, und bestimmt die Größe des Roboters die Höhe der Spitze?
Hier ist das, was sie unter Verwendung einfacher Analogien herausfanden:
1. Das Problem mit dem „Lautstärkeregler"
Stellen Sie sich die innere Energie des Roboters als Lautstärkeregler vor. Um Platz zu sparen und den Roboter auf kostengünstiger Hardware schneller laufen zu lassen, versuchen Ingenieure oft, die Lautstärke auf eine niedrige Einstellung zu drehen (Quantisierung).
- Das Problem: Wenn der Roboter plötzlich mit einer Lautstärke von 1.000.000 schreit, Sie den Lautstärkeregler aber nur auf maximal 10.000 eingestellt haben, wird dieser Schrei „abgeschnitten" oder verzerrt. Der Roboter vergisst die Nuance dieses Wortes, und die ganze Geschichte wird unverständlich.
- Die Erkenntnis: Die Forscher maßen den lautesten Schrei (die maximale Aktivierung) bei all diesen Robotern. Sie stellten fest, dass die „Lautstärke" extrem variiert. Manche Roboter (wie Qwen3.5) sind wie ein Flüstern, während andere (wie Gemma3) wie ein startender Düsenjet klingen.
2. Größer bedeutet nicht immer lauter
Man könnte denken, ein größerer Roboter (mehr Parameter) würde von Natur aus lauter werden.
- Die Analogie: Es ist, als würde man annehmen, ein größeres Auto habe immer einen lautereren Motor.
- Die Realität: Die Forscher stellten fest, dass dies nicht stimmt. Ein kleiner Roboter aus einer Familie könnte viel lauter schreien als ein riesiger Roboter aus einer anderen Familie. Die „Lautstärke" hängt weniger davon ab, wie groß er ist, sondern vielmehr davon, wer ihn gebaut hat (die Architektur) und wie er trainiert wurde (das Rezept).
- Beispiel: Ein Gemma3-Roboter erwies sich als ungefähr 700.000 Mal lauter als ein Qwen3.5-Roboter ähnlicher Größe.
3. Der „MoE"-Shortcut
Einige Roboter verwenden einen speziellen Trick namens „Mixture of Experts" (MoE). Stellen Sie sich eine Bibliothek vor, in der nicht ein einziger riesiger Bibliothekar jedes Buch liest, sondern 100 kleine Spezialisten, von denen nur die richtigen 2 oder 3 für jedes Buch hinzugezogen werden.
- Die Erkenntnis: Diese „MoE"-Roboter erwiesen sich als viel leiser. Ihre lautesten Schreie waren 14 bis 23 Mal niedriger als die ihrer „dichten" (nicht spezialisierten) Verwandten gleicher Größe. Es scheint, dass die Verwendung von Spezialisten die Energie besser im Zaum hält.
4. Wo passiert der Schrei?
Die Forscher verfolgten genau, wo im Gehirn des Roboters diese Spitzen auftreten.
- Die Erkenntnis: In fast allen Fällen (22 von 24 Robotern) geschah der lauteste Schrei im Hauptflur (dem Residualstream), wo die Informationen von einem Raum zum nächsten fließen. Es war normalerweise nicht in den Nebenräumen (wie den Aufmerksamkeits- oder Mathematikräumen).
- Das Muster: Manche Roboter spiken früh und bleiben laut (wie ein Sprung und Halten), während andere sich langsam aufbauen und am allerEnde am lautesten werden (wie ein allmählicher Aufstieg).
5. Training verändert die Lautstärke
Sie betrachteten auch Roboter in verschiedenen Trainingsstadien, wie einen Schüler, der eine neue Fähigkeit lernt.
- Die Erkenntnis: Je länger der Roboter trainiert (mehr Bücher sieht), desto tendenziell wird er etwas lauter. Es ist kein riesiger Sprung, aber die „Lautstärke" steigt langsam an, je intelligenter der Roboter wird.
Das Fazit für Entwickler
Der Artikel kommt zu dem Schluss, dass man nicht erraten kann, wie laut ein Roboter sein wird, nur indem man auf seine Größe schaut.
- Die Kernaussage: Bevor Sie versuchen, diese Roboter zu verkleinern, damit sie auf kleinen Geräten (wie Smartphones) laufen, messen Sie zuerst ihren lautesten Schrei. Tun Sie dies nicht, stellen Sie möglicherweise den Lautstärkeregler zu niedrig ein, und der Roboter beginnt zu halluzinieren oder Fehler zu machen, weil er die plötzlichen Energiespitzen nicht bewältigen kann.
Die Autoren haben ihre Messwerkzeuge veröffentlicht, damit jeder, der diese Roboter baut, diese „Lautstärke" überprüfen kann, bevor er versucht, sie zu komprimieren, und so sicherstellt, dass der Roboter stabil und genau bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.