Große Sprachmodelle sind die Motoren der modernen künstlichen Intelligenz und fähig zu Schreiben, Schlussfolgern und Beantworten von Fragen mit einer Flüssigkeit, die einst für Maschinen unmöglich schien. Um diese leistungsstarken Werkzeuge auf alltäglichen Geräten wie Smartphones oder Laptops nutzbar zu machen, müssen Ingenieure sie verkleinern, ein Prozess, der als Pruning (Beschneidung) bekannt ist. Dies beinhaltet das sorgfältige Entfernen von Teilen der internen Struktur des Modells, um dessen Größe zu reduzieren und seine Denkgeschwindigkeit zu erhöhen. Das Abschneiden zu vieler Teile führt jedoch oft dazu, dass das Modell verwirrt wird und nicht mehr in der Lage ist, seine ursprünglichen Aufgaben auszuführen. Um dies zu beheben, nutzen Forscher einen Erholungsprozess, bei dem das geschrumpfte Modell mithilfe eines sorgfältig ausgewählten Satzes von Beispielen erneut trainiert wird. Traditionell stützte sich dieser Auswahlprozess auf ein „Lehrer“-Modell – eine massive, unbeschnittene Version der KI –, um die Wahl der Beispiele zu leiten, die am hilfreichsten wären. Die Annahme war, dass dieser riesige Lehrer immer sehen konnte, was dem kleineren, beschädigten „Schüler“-Modell fehlte.

Eine neue Studie stellt diese lang gehegte Annahme infrage und zeigt auf, dass das Lehrer-Modell oft eher ein Hindernis als eine Hilfe darstellt, wenn das Pruning massiv ist. Forscher der Guangdong University of Technology entdeckten, dass die Beziehung zwischen dem Lehrer und dem Schüler auf eine spezifische Weise zusammenbricht, wenn ein großes Sprachmodell um die Hälfte gekürzt wird. Anstatt klare Führung zu bieten, werden die Signale des Lehrers gleichförmig und wenig informativ; er schreit im Grunde bei jedem einzelnen Beispiel das Gleiche. In diesem Zustand der Verwirrung führt der Lehrer den Erholungsprozess tatsächlich in die Irre, indem er Beispiele auswählt, die dem Schüler nicht beim Lernen helfen. Die Forscher fanden heraus, dass das Schüler-Modell, wenn man es sich selbst überlassen ließe, die nützlichsten Beispiele für seine eigene Erholung identifizieren kann, indem es lediglich auf seine eigene Unsicherheit blickt. Durch das vollständige Entfernen des Lehrers aus dem Auswahlprozess schufen sie eine schnellere, effizientere Methode, die nicht nur signifikant weniger Rechenleistung benötigt, sondern auch bessere Ergebnisse liefert als der traditionelle Ansatz.

Der Kern dieser Entdeckung liegt in einem Phänomen, das die Forscher als „KL-Kollaps“ bezeichnen. In der Standardmethode der Erholung vergleicht ein Computer, wie der Lehrer und der Schüler auf einen Textabschnitt reagieren. Wenn die Antwort des Schülers sehr stark von der des Lehrers abweicht, wird dieses Beispiel als wichtig für das Training markiert. Dies funktioniert gut, wenn der Schüler nur leicht beschädigt ist. Wenn das Pruning jedoch aggressiv ist und fünfzig Prozent der Parameter des Modells entfernt werden, wird der Schüler so stark degradiert, dass seine Antworten wild von denen des Lehrers abweichen. An diesem Punkt hört die Differenz zwischen ihnen auf, über verschiedene Beispiele hinweg sinnvoll zu variieren; sie wird zu einem flachen, gleichförmigen Rauschen. Der Lehrer unterscheidet nicht mehr zwischen guten und schlechten Beispielen; er erzeugt nur noch ein konstantes Hintergrundrauschen. Die Forscher beobachteten, dass die Anleitung des Lehrers unter diesen Bedingungen zu etwas degradiert, das den Auswahlprozess aktiv schädigt und zu einer Erholung führt, die schlechter ist, als wenn die Beispiele rein zufällig ausgewählt worden wären.

Um dies zu lösen, schlug das Team eine neue Methode vor, die das Lehrer-Modell vollständig eliminiert. Anstatt zwei Modelle miteinander zu vergleichen, stützt sich der neue Ansatz ausschließlich auf die „negative Log-Likelihood“ des beschnittenen Schüler-Modells selbst. Vereinfacht ausgedrückt ist dies ein Maß dafür, wie überrascht der Schüler über die richtige Antwort ist. Wenn das Modell über ein bestimmtes Wort oder eine bestimmte Phrase sehr unsicher ist, deutet dies auf eine Wissenslücke hin. Die Forscher fanden heraus, dass genau diese Momente hoher Unsicherheit die Momente sind, in denen das Modell am meisten Hilfe benötigt. Durch die Auswahl von Beispielen, bei denen der Schüler am unsichersten ist, zielt der Erholungsprozess direkt auf die durch das Pruning entstandenen Schwachstellen ab. Diese Methode erfordert nur ein einziges Modell, das gleichzeitig in den Speicher des Computers geladen werden muss, anstatt der zwei, die für die alte Methode erforderlich waren.

Die Ergebnisse dieses Experiments waren beeindruckend. Bei Tests mit zwei populären großen Sprachmodellen erreichte die neue, lehrerfreie Methode in jedem Szenario die Leistung der traditionellen, lehrerabhängigen Methode oder übertraf sie sogar. Der Vorteil vergrößerte sich, je massiver das Pruning wurde. Bei einem moderaten Schnitt lieferten beide Methoden ähnliche Ergebnisse, aber als das Modell um fünfzig Prozent gekürzt wurde, übertraf der lehrerfreie Ansatz den traditionellen Ansatz deutlich. Tatsächlich schnitt die traditionelle Methode bei diesem Grad des Prunings so schlecht ab, dass sie weniger effektiv war als eine rein zufällige Auswahl von Beispielen. Der Lehrer, der eigentlich als Wegweiser gedacht war, war zu einer Quelle irreführenden Rauschens geworden. Die neue Methode, die auf die eigene Unsicherheit des Schülers vertraut, umging diese Falle und stellte die Fähigkeiten des Modells erfolgreich wieder her.

Neben der Genauigkeit sind die praktischen Vorteile der Entfernung des Lehrers beträchtlich. Der traditionelle Prozess erfordert das gleichzeitige Laden zweier massiver Modelle in den Speicher des Computers, was auf kleinerer, ressourcenbeschränkter Hardware oft unmöglich ist. Die neue Methode reduziert den Speicherbedarf um etwa vierzig Prozent, was es ermöglicht, diese Erholungspipelines auf Workstations auszuführen, die dies zuvor nicht bewältigen konnten. Sie beschleunigt zudem den Datenselektionsprozess um fast das Zweifache, da der Computer das zweite, lehrende Modell nicht mehr für jedes einzelne Beispiel ausführen muss. Dieser Effizienzgewinn übersetzt sich in erhebliche Zeit- und Energieeinsparungen, was es Forschern ermöglicht, schneller zu iterieren und diese Modelle auf einer breiteren Palette von Geräten einzusetzen.

Die Studie deckte auch ein kritisches technisches Detail hinsichtlich der Art und Weise auf, wie diese Modelle beschnitten werden. Die Forscher fanden heraus, dass bei einer bestimmten Art moderner Modellarchitekturen die Standardmethode des Beschneidens zu einem katastrophalen Fehler führte, der das Modell dazu brachte, Kauderwelsch zu produzieren, obwohl die Zahlen innerhalb des Modells korrekt aussah. Dieser Fehler war auf eine Diskrepanz in der Struktur der internen Aufmerksamkeitsmechanismen (Attention Mechanisms) nach dem Schnitt zurückzuführen. Durch den Wechsel zu einer anderen Schneidestrategie, welche die internen Verhältnisse bewahrte, konnten sie diesen Fehler vermeiden und eine stabile Erholung erreichen. Dieser Befund dient als wichtiger Warnhinweis für Ingenieure, die mit ähnlichen Modellen arbeiten, und unterstreicht, dass die Art und Weise, wie ein Modell beschnitten wird, genauso wichtig sein kann wie der Erholungsprozess selbst.

Letztendlich verschiebt diese Forschung das Paradigma dafür, wie wir beschädigte künstliche Intelligenz reparieren. Sie zeigt, dass angesichts schwerer struktureller Schäden die externe Anleitung eines perfekten Lehrers nicht nur unnötig, sondern sogar kontraproduktiv sein kann. Das beschädigte Modell selbst hält den Schlüssel zu seiner eigenen Erholung bereit, vorausgesetzt, wir wissen, wie wir auf seine Signale der Unsicherheit hören. Indem wir der eigenen Perspektive des Schülers vertrauen, können Forscher effizientere, robustere und zugänglichere KI-Systeme bauen, die keine massiven, unbeschnittenen Referenzmodelle benötigen, um zu funktionieren. Dieser Ansatz öffnet die Tür für den Einsatz anspruchsvoller Sprachmodelle auf Hardware, die zuvor als zu begrenzt für solche Aufgaben galt, und stellt sicher, dass die Vorteile der künstlichen Intelligenz eine breitere Palette von Geräten und Nutzern erreichen können.