Wasted large language models: A life cycle thinking approach
Dieses Paper schlägt vor, das Abfallhierarchie-Rahmenwerk der EU auf Large Language Models (LLMs) als einen Lebenszyklus-Ansatz anzuwenden, um deren wachsenden Umweltauswirkungen entgegenzuwirken, wobei betont wird, dass die Vermeidung von unnötiger Nutzung und dem Training neuer Modelle die effektivste Strategie zur Reduzierung ihres CO2-Fußabdrucks ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wir leben in einem Zeitalter, in dem Maschinen Gedichte schreiben, komplexe Gleichungen lösen und Computercode mit verblüffender Geschwindigkeit generieren können. Diese Maschinen werden von großen Sprachmodellen angetrieben, einer Art künstlicher Intelligenz, die durch das Verarbeiten riesiger Mengen an Informationen lernt. Während diese Werkzeuge versprechen, die Art und Weise, wie wir arbeiten, zu revolutionieren, sind sie mit einem hohen Preis verbunden: Sie verbrauchen enorme Mengen an Elektrizität für das Training und den Betrieb, was einen erheblichen CO2-Fußabdruck für den Planeten hinterlässt. Jahrelang haben Wissenschaftler versucht, diese Modelle energieeffizienter zu machen, in der Hoffnung, ihre Umweltauswirkungen zu reduzieren. Ein Phänomen namens Jevons-Paradoxon untergräbt jedoch oft diese Bemühungen; da Modelle effizienter und kostengünstiger im Betrieb werden, neigen wir dazu, sie mehr und nicht weniger zu nutzen, was zu einem Nettoanstieg des Gesamtenergieverbrauchs führt. Dies schafft die dringende Notwendigkeit nach einer anderen Art von Lösung – einer, die über die bloße Effizienz hinausgeht und den gesamten Lebenszyklus der Technologie betrachtet, von ihrer Erstellung bis zu ihrer endgültigen Ausmusterung.
Ein Forschungsteam von SINTEF Digital in Norwegen hat einen frischen Ansatz vorgeschlagen, um dieses Problem zu denken, indem es ein Konzept anwendet, das normalerweise der physischen Abfallwirtschaft vorbehalten ist: die Abfallhierarchie. In der Europäischen Union priorisieren Gesetze bezüglich physischen Abfalls fünf Schritte: die Vermeidung von Abfallentstehung von vornherein, die Wiederverwendung von Gegenständen, deren Recycling zu neuen Materialien, die energetische Verwertung und schließlich die verantwortungsvolle Entsorgung. Die Forscher schlagen vor, dass wir große Sprachmodelle nicht nur als Software, sondern als Produkte betrachten sollten, die zu Abfall werden können. Genau wie eine Plastikflasche entsorgt werden kann, wenn sie nicht mehr nützlich ist, kann ein Sprachmodell zu Abfall werden, wenn es durch eine neuere Version ersetzt oder einfach aufgegeben wird. Indem sie diese digitalen Werkzeuge als Produkte mit einem Lebenszyklus betrachten, argumentieren die Autoren, dass wir neue Wege finden können, um ihre Umweltauswirkungen zu reduzieren, die über das bloße Schneller oder Kleiner Machen hinausgehen.
Der Kern des Arguments der Forscher ist, dass der effektivste Weg, die Klimafolgen der künstlichen Intelligenz zu senken, darin besteht, Abfall zu vermeiden, indem die unnötige Erstellung neuer Modelle vermieden wird. Wenn ein neues Modell trainiert wird, erfordert dies massive Energie für die Datenverarbeitung, Experimente und den eigentlichen Lernprozess. Wenn wir die Lebensdauer eines bestehenden Modells verlängern oder Wege finden, es für verschiedene Aufgaben wiederzuverwenden, vermeiden wir die Notwendigkeit, Energie zu verbrennen, um ein neues von Grund auf neu zu bauen. Das Papier hebt hervor, dass Software im Gegensatz zu physischen Objekten nicht kaputtgehen oder verschleißen kann; der Hauptgrund, warum Modelle zu Abfall werden, ist daher, dass sie durch neuere, schnellere Versionen ersetzt werden. Dieser schnelle Umschlag wird durch einen Wettbewerbsmarkt angetrieben, in dem Labore ständig aktualisierte Modelle veröffentlichen, was die vorherigen oft obsolet macht, bevor sie vollständig genutzt wurden. Die Forscher schlagen vor, dass eine Verlagerung unseres Fokus von der Jagd nach der absoluten Bestleistung hin zum Finden dessen, was „gut genug“ ist, diesen Zyklus der Ersetzung signifikant verlangsamen und die für das Training aufgewendete Energie reduzieren könnte.
Um den anfallenden Abfall zu bewältigen, untersuchen die Autoren, wie die anderen Stufen der Abfallhierarchie auf digitale Modelle angewendet werden können. Wiederverwendung ist der direkteste Ansatz; da digitale Modelle ohne Kosten kopiert werden können, sollten wir ihren Einsatz über verschiedene Anwendungen hinweg maximieren, bevor wir sie für obsolet halten. Das Papier weist auf Techniken wie das „Fine-Tuning“ hin, bei dem ein bestehendes Modell durch eine kleine Menge an neuem Training für eine spezifische Aufgabe spezialisiert wird, was eine Form des Recyclings darstellt. Dies ermöglicht es, das ursprüngliche, energieintensive Modell anzupassen, anstatt es zu verwerfen. Ähnlich verhält es sich mit der „Verwertung“, die darin besteht, Wege zu finden, diese Modelle länger nutzbar zu machen, etwa indem man sie mit externen Datenbanken verbindet, um ihre Genauigkeit zu verbessern, ohne sie von Grund auf neu trainieren zu müssen. Selbst der letzte Schritt der Entsorgung, der normalerweise das Wegwerfen bedeutet, spielt hier eine Rolle. Obwohl das Löschen einer digitalen Datei keine physischen Rückstände hinterlässt, verbrauchen die Server, die ungenutzte Modelle speichern, dennoch Elektrizität. Daher ist das aktive Löschen von Modellen, die nicht mehr benötigt werden, ein praktischer Weg, um Energie zu sparen und die Ressourcen zu respektieren, die in ihre Erstellung geflossen sind.
Die Forscher warnen auch vor der „Wegwerfmentalität“, die die digitale Bequemlichkeit fördert. Da das Löschen eines Modells sich kostenneutral anfühlt, übersehen Entwickler und Nutzer oft den immensen Energie- und Zeitaufwand, der in seine Erstellung geflossen ist. Das Papier stellt fest, dass es derzeit eine Lücke in der Art und Weise gibt, wie wir mit diesen Werkzeugen interagieren; Schnittstellen fördern oft die ständige Nutzung, ohne den Nutzern die Umweltkosten zu verdeutlichen oder sie zu effizienteren Alternativen zu führen. Die Autoren schlagen vor, dass wir uns bewusster darüber werden müssen, wann ein großes Sprachmodell tatsächlich notwendig ist im Vergleich zu einem einfacheren, weniger energieintensiven Werkzeug. Sie argumentieren, dass die Technologie zwar leistungsstark ist, ihr Wert jedoch gegen ihre Kosten abgewogen werden muss, und dass das blinde Folgen des Trends ständiger Modell-Updates dazu führen könnte, dass wir Ressourcen für Produkte verschwenden, die kaum einen Nettonutzen bieten.
Letztlich behauptet diese Studie nicht, die Klimakrise der künstlichen Intelligenz gelöst zu haben, noch schlägt sie vor, die Entwicklung neuer Modelle gänzlich einzustellen. Stattdessen bietet sie einen Rahmen, um über den Lebenszyklus dieser Werkzeuge nachzudenken. Indem wir große Sprachmodelle als Produkte betrachten, die zu Abfall werden können, können wir Möglichkeiten identifizieren, unnötiges Training zu verhindern, die Nutzungsdauer bestehender Modelle zu verlängern und ungenutzte Modelle verantwortungsvoll zu entsorgen. Die Autoren schlagen vor, dass dieser Perspektivwechsel entscheidend ist, um einer nachhaltigeren Zukunft der künstlichen Intelligenz entgegenzugehen, und fordern uns auf, die Ressourcen, die wir bereits aufgewendet haben, zu schätzen, bevor wir eilen, etwas Neues zu erschaffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.