Große Sprachmodelle sind die Motoren hinter einer neuen Generation künstlicher Intelligenz, die in der Lage ist, Geschichten zu schreiben, komplexe Probleme zu lösen und Gespräche zu führen, die sich bemerkenswert menschlich anfühlen. Doch diese digitalen Geister haben einen hohen Preis. Um sie zu trainieren, müssen Forscher sie mit riesigen Mengen an Daten füttern, ein Prozess, der enorme Mengen an Elektrizität verbraucht und Bänke leistungsstarker Computer erfordert, die Millionen von Dollar kosten. Selbst nach dem Training erfordert das Ausführen dieser Modelle, um eine einzige Frage zu beantworten, massiven Speicher und Rechenleistung, was ihren Einsatz oft auf große Rechenzentren statt auf persönliche Geräte beschränkt. Jahrelang haben Wissenschaftler versucht, diese Modelle kleiner und schneller zu machen, indem sie drei Haupttricks anwandten: das Entfernen unnötiger Verbindungen, das Reduzieren der Präzision der von ihnen verwendeten Zahlen und das Vereinfachen ihrer internen Struktur. Das Anwenden dieser Tricks einzeln stieß jedoch an eine Grenze. Wenn Forscher versuchten, zu viele Verbindungen zu entfernen, wurde das Modell verwirrt und verlor seine Intelligenz. Wenn sie die Präzision zu stark reduzierten, wurden die Zahlen zu grob, um das Wissen des Modells zu halten. Jede Methode funktionierte isoliert betrachtet gut, scheiterte aber, wenn sie bis zum Äußersten getrieben wurde, was die Industrie vor die schwierige Wahl zwischen einem massiven, langsamen Modell oder einem kleinen, defekten Modell stellte.

Ein Forscher an der University of Toronto, unter der Leitung von Mohammad Mozaffari, hat einen neuen Weg vorgeschlagen, der diese drei Methoden nicht als separate Optionen, sondern als ein einziges, einheitliches Toolkit behandelt. Sie nennen diesen Ansatz die „Compression Trinity“ (Kompressions-Trinität). Anstatt zwischen dem Entfernen von Verbindungen, der Vereinfachung von Zahlen oder der Änderung der Struktur zu wählen, zeigt ihre Arbeit, dass diese drei Techniken tatsächlich am besten zusammen funktionieren. Der Kern der Idee ist, dass jede Methode die Schwächen der anderen abdeckt. Das Entfernen von Verbindungen reduziert die Menge an Arbeit, die der Computer leisten muss, während die Vereinfachung der Zahlen die Menge der Daten reduziert, die bewegt werden müssen. Die dritte Technik, die eine kleine, flexible Schicht zusätzlicher Informationen hinzufügt, fungt als Sicherheitsnetz, das die Intelligenz wiederherstellt, die durch die Anwendung der anderen beiden Methoden verloren ging. Durch die Kombination dieser Methoden fanden die Forscher heraus, dass sie Modelle erheblich schrumpfen konnten, ohne sie zu beschädigen, und in einigen Fällen sogar noch intelligenter als ihre größeren, unkomprimierten Versionen zu machen.

Der Weg zu dieser Entdeckung begann mit der Betrachtung dessen, wie diese Modelle trainiert werden. Das Training ist die teuerste Phase und erfordert, dass der Computer Milliarden von Zahlen anpasst, um aus Daten zu lernen. Die Forscher erkannten, dass die Standardwerkzeuge, die diesen Lernprozess steuern, zu schwerfällig und langsam waren. Sie entwickelten eine neue Methode, die die Trinity direkt auf den Trainingsprozess selbst anwendet. Durch die Vereinfachung der Art und Weise, wie der Computer seinen nächsten Schritt berechnet, konnten sie das Training großer Modelle im Vergleich zu den besten existierenden Methoden um fast das Doppelte beschleunigen. Sie erreichten dies durch eine Mischung aus spärlichen (sparse) Berechnungen, vereinfachten Zahlen und einer Low-Rank-Approximation, die es dem Computer ermöglichte, unnötige Arbeit zu überspringen und dennoch den richtigen Weg zu einer Lösung zu finden. Dies bedeutete, dass die Zeit und die Energie, die zur Erstellung dieser leistungsfähigen Modelle benötigt werden, drastisch reduziert werden konnten.

Sob einmal ein Modell trainiert ist, muss es für den praktischen Einsatz komprimiert werden, bei dem Speicher und Geschwindigkeit noch kritischer sind. Hier bekämpften die Forscher das Problem des „kumulierten Fehlers“. Wenn man versucht, ein Modell mit nur einer Methode zu komprimieren, häufen sich die Fehler so weit auf, bis das Modell aufhört zu funktionieren. Das Team zeigte, dass sie den Zusammenbruch verhindern konnten, indem sie die Trinity in einer spezifischen Reihenfolge anwandten. Zuerest verwendeten sie eine mathematische Technik, um den absolut besten Weg zu finden, die Hälfte der Verbindungen des Modells zu entfernen, ohne dessen Leistung zu beeinträchtigen. Dies schuf ein stabiles, spärliches Fundament. Dann reduzierten sie die Präzision der verbleibenden Zahlen, um Platz zu sparen. Schließlich fügten sie eine kleine, mathematisch abgeleitete Schicht zusätzlicher Informationen hinzu, um die Fehler zu korrigieren, die durch die Entfernung und Vereinfachung entstanden waren. Dieser letzte Schritt war entscheidend; er fungierte wie ein Reparaturtrupp, der die Lücken füllte, die durch die Kompression hinterlassen wurden, damit das Modell seine Fähigkeit zum Schlussfolgern und Verstehen behielt.

Die Ergebnisse dieses Ansatzes waren beeindruckend. Bei Tests an Modellen mit Milliarden von Parametern produzierte die kombinierte Methode Modelle, die achtmal kleiner als das Original waren, aber bei einer Vielzahl von Aufgaben genauso gut oder sogar besser abschnitten. In direkten Vergleichen übertrafen diese komprimierten Modelle andere modernste Kompressionstechniken um eine deutliche Marge und verbesserten die Genauigkeit in einigen Fällen um fast sechs Prozent. Vielleicht überraschender noch: Als die Forscher ihre komprimierten Modelle mit unkomprimierten Modellen derselben Größe verglichen, waren die komprimierten Versionen tatsächlich genauer. Dies deutet darauf darauf hin, dass der Prozess, die redundanten Teile des Modells sorgfältig zu entfernen und sie durch eine kluge Low-Rank-Korrektur zu ersetzen, dem Modell tatsächlich hilft, sich auf das Wesentliche zu konzentrieren.

Die Forscher untersuchten auch, wie diese Techniken an verschiedene Arten von Hardware angepasst werden können. Sie fanden heraus, dass sie durch die Erlaubnis des Modells, einige Teile dicht (dense) und andere spärlich (sparse) in einem flexiblen Muster zu halten, ein kontinuierliches Gleichgewicht zwischen Geschwindigkeit und Genauigkeit erreichen können. Diese Flexibilität bedeutete, dass die Modelle so abgestimmt werden konnten, dass sie effizient auf allem laufen – von leistungsstarken Servern in Rechenzentren bis hin zu Grafikkarten für Endverbraucher. Die Arbeit beinhaltete auch eine neue Art des Trainings für Modelle, die bereits spärlich sind, um sicherzustellen, dass der Lernprozess selbst von Beginn an effizient ist. Dieser Ansatz bedeutete, dass das Modell schnell unter Verwendung spärlicher Verbindungen lernen konnte und die notwendige Komplexität erst am Ende des Trainings hinzufügte, was Zeit und Energie während des gesamten Prozesses sparte.

Obwohl die Ergebnisse vielversprechend sind, weisen die Forscher vorsichtig darauf hin, dass ihre Methoden derzeit für bestimmte Arten von Computerchips optimiert sind, insbesondere für jene von NVIDIA, die über spezielle Hardware zur Handhabung spärlicher Daten verfügen. Sie räumen ein, dass die Übertragung dieser Techniken auf andere Arten von Hardware oder Allzweckprozessoren weiteres Engineering erfordern wird. Sie weisen auch darauf hin, dass es trotz der guten Leistung der Modelle in Standardtests notwendig ist, sicherzustellen, dass der Kompressionsprozess nicht unbeabsichtigt die Fähigkeit des Modells beeinträchtigt, diverse Sprachen oder kulturelle Kontexte zu verstehen, da das Entfernen von Teilen des Modells das Wissen über unterrepräsentierte Gruppen unverhältnismäßig stark beeinflussen könnte.

Letztendlich legt diese Arbeit nahe, dass die Zukunft der effizienten künstlichen Intelligenz nicht darin liegt, zwischen einer Kompressionsmethode oder einer anderen zu wählen, sondern sie miteinander zu verweben. Die „Compression Trinity“ bietet einen Bauplan für die Erstellung von Modellen, die in ihrem Wissen dicht, aber in ihrer Berechnung spärlich sind. Indem sie Effizienz als ein mehrdimensionales Gleichgewicht anstelle eines einzelnen Optimierungsproblems behandeln, haben die Forscher gezeigt, dass es möglich ist, eine künstliche Intelligenz zu erschaffen, die sowohl leistungsstark als auch praktisch ist. Ihre Erkenntnisse deuten darauf hin, dass die Barrieren für den Einsatz dieser Modelle auf alltäglichen Geräten keine fundamentalen Grenzen der Physik oder Mathematik sind, sondern eine Frage des Findens der richtigen Kombination von Werkzeugen. Während sich das Feld weiterentwickelt, könnte dieser integrierte Ansatz zum Standard werden, um große Sprachmodelle zugänglich, nachhaltig und bereit für die reale Welt zu machen.