Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization
Diese Arbeit zeigt, dass Constrained Bayesian Optimization den Energieverbrauch beim Training von Machine-Learning-Modellen effektiv minimieren kann, während gleichzeitig sichergestellt wird, dass die Vorhersageleistung über einem spezifizierten Schwellenwert bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der Computertechnik ist neben dem glanzvollen Aufstieg der künstlichen Intelligenz ein stilles, aber dringendes Problem entstanden. Während Maschinen lernen, Gesichter zu erkennen, Sprachen zu übersetzen und Trends vorherzusagen, benötigen sie enorme Mengen an Elektrizität für das Training. Diese Energiekosten sind nicht mehr nur ein Posten auf einer Stromrechnung; sie sind eine wachsende Barriere für die Nachhaltigkeit. Jahrzehntelang konzentrierten sich Forscher fast ausschließlich darauf, diese Modelle präziser zu machen, und ignorierten dabei oft, wie viel Energie sie dafür verbrauchten. Da Modelle jedoch immer größer und komplexer werden, verdoppelt sich der für ihr Training benötigte Energieaufwand etwa alle dreieinhalb Monate. Dieser Trend droht, die Entwicklung neuer Intelligenzwerkzeuge unhaltbar zu machen. Die Herausforderung besteht daher nicht nur darin, intelligentere Maschinen zu bauen, sondern sie so zu bauen, dass sie die Grenzen unseres Stromnetzes respektieren. Um dies zu lösen, wenden Wissenschaftler eine Methode namens Bayessche Optimierung an – eine intelligente Suchstrategie, die Computern hilft, die besten Einstellungen für eine Aufgabe zu finden, ohne jede einzelne Möglichkeit ausprobieren zu müssen, ganz ähnlich wie ein Wanderer, der eine Karte benutzt, um den tiefsten Punkt in einem Tal zu finden, ohne jeden Hügel erklimmen zu müssen.
Ein Forschungsteam der Berliner Hochschule für angewandte Wissenschaften hat diese Suchstrategie auf ein neues Ziel angewendet: die Minimierung des Energieverbrauchs beim Training von Modellen des maschinellen Lernens. Anstatt lediglich nach den Einstellungen zu suchen, die die genauesten Vorhersagen liefern, stellten sie eine andere Frage. Sie wollten die Einstellungen finden, die am wenigsten Zeit und Energie verbrauchen, vorausgesetzt, das Modell funktioniert noch gut genug, um nützlich zu sein. In ihrem Ansatz behandelten sie die Genauigkeit des Modells nicht als etwas, das maximiert werden muss, sondern als eine strikte Regel, die befolgt werden muss. Wenn die Leistung eines Modells unter ein bestimmtes akzeptables Niveau fiel, verworf die Suche diese Einstellungen sofort. Diese Methode, bekannt als eingeschränkte Bayessche Optimierung (constrained Bayesian optimization), ermöglichte es den Forschern, durch die riesige Landschaft möglicher Entscheidungen zu navigieren – wie etwa die Datenbereinigung, die Komplexität des Modells und die Dauer des Trainings –, während sie einen Fuß fest auf dem Boden der erforderlichen Leistung hielten.
Die Forscher testeten diesen Ansatz bei einer Vielzahl von Standardaufgaben, darunter die Vorhersage von Hauspreisen und die Kategorisierung von Nachrichtenartikeln. Sie verglichen ihre neue Methode mit der traditionellen Vorgehensweise, bei der der Computer versucht, die Energie zu minimieren, aber lediglich angewiesen wird, „nicht zu versagen“, anstatt eine harte Grenze vorgegeben zu bekommen. Bei der traditionellen Methode findet der Computer oft eine Einstellung, die sehr wenig Energie verbraucht, aber ein Modell erzeugt, das zu ungenau ist, um nützlich zu sein. Um dies zu korrigieren, fügt die traditionelle Methode normalerweise eine hohe Strafe zum Score hinzu, wann immer die Genauigkeit zu niedrig ist, in der Hoffnung, den Computer davon abzuhalten, schlechte Einstellungen zu wählen. Die Forscher fanden jedoch heraus, dass dieser Strafansatz ungeschickt ist und oft nicht das wahre Gleichgewicht findet. Im Gegensatz dazu identifizierte ihre eingeschränkte Methode erfolgreich Einstellungen, die signifikant weniger Zeit und Energie verbrauchten und gleichzeitig konsistent die erforderten Genauigkeitsstandards erfüllten.
Die Ergebnisse zeigten, dass das System, indem es die Leistung als harte Nebenbedingung (constraint) statt als sekundäres Ziel behandelte, einen „Sweet Spot“ finden konnte, den andere Methoden übersehen hatten. In den Experimenten erreichte der eingeschränkte Ansatz die Zielgenauigkeit konsequent schneller und mit einer geringeren Gesamtlaufzeit als die traditionelle strafbasierte Methode. Dies ist entscheidend, da bei diesen Algorithmen die Trainingszeit direkt mit dem Energieverbrauch verknüpft ist. Die Studie zeigt, dass es möglich ist, die Auswahl der Einstellungen für maschinelles Lernen zu automatisieren, um Energie zu sparen, ohne die Qualität der Ergebnisse zu opfern. Die Forscher merkten jedoch an, dass ihre Methode darauf angewiesen ist, einen klaren, vordefinierten Standard dafür zu haben, was eine „gute genug“ erbrachte Leistung ausmacht. In Fällen, in denen die bestmögliche Leistung unbekannt ist oder die Beziehung zwischen Einstellungen und Energie extrem komplex ist, muss die Methode möglicherweise weiter verfeinert werden. Dennoch bieten die Ergebnisse einen praktischen Weg in eine nachhaltigere Zukunft der künstlichen Intelligenz und beweisen, dass wir leistungsstarke Modelle trainieren können, ohne unsere Energieressourcen zu verbrennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.