Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task
Dit artikel toont aan dat energiebewuste kennisdistillatie, gestuurd door directe energie-surrogaatmodellen in plaats van traditionele FLOPs-metrieken, het energieverbruik bij inferentie en het geheugengebruik voor grote taalmodellen bij software engineering-taken aanzienlijk vermindert terwijl de prestaties behouden blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van software is er een nieuw soort intelligentie opgekomen: grote taalmodellen. Dit zijn enorme computersystemen die getraind zijn op enorme bibliotheken aan code, in staat om programmeertalen te begrijpen en ontwikkelaars te helpen bij het schrijven, repareren en uitleggen van software. Hoewel deze tools ongelooflijk krachtig zijn, brengen ze een hoge prijs met zich mee. Het draaien ervan vereist enorme datacenters vol gespecialiseerde hardware die elektriciteit verslinden, wat aanzienlijk bijdraagt aan het energieverbruik en de milieudruk. Omdat deze systemen zo groot zijn, kunnen ze vaak niet draaien op de laptops of persoonlijke computers die de meeste mensen dagelijks gebruiken. Om deze tools duurzamer en toegankelijker te maken, hebben onderzoekers zich gericht op een techniek genaamd kennisdestillatie (knowledge distillation). Stel je voor dat een meesterleraar zijn kennis overdraagt aan een kleinere leerling; in deze digitale versie leert een enorm, complex model aan een veel kleiner, eenvoudiger model hoe het dezelfde taken moet uitvoeren. Het doel is om het kleinere model slim genoeg te houden om nuttig te zijn, terwijl het klein genoeg wordt gemaakt om efficiënt te draaien op alledaagse hardware.
Een team onderzoekers aan de Delftse Universiteit van Technologie zette zich in om te testen hoe goed dit proces werkt voor software engineering-taken, waarbij ze specifiek keken naar hoe men de energiekosten van deze modellen kan meten. Jarenlang heeft de industrie vertrouwd op een standaardmeting genaamd floating-point operaties, of FLOPs, om te schatten hoeveel energie een model zal verbruiken. Dit getal telt de theoretische wiskundige berekeningen die een model moet uitvoeren. De onderzoekers vermoedden echter dat dit getal misleidend kon zijn, vergelijkbaar met het tellen van de stappen in een reis zonder rekening te houden met het terrein of het weer. Om de waarheid te achterhalen, voerden zij een gecontroleerd experiment uit met een geavanceerde methode die automatisch de beste kleine modellen opzoekt. Ze testten dit op twee verschillende soorten problemen: het vinden van duplicerende code en het voorspellen van beveiligingsfouten in software.
De studie begon met het stellen van een eenvoudige maar cruciale vraag: komt het theoretische aantal berekeningen daadwerkelijk overeen met de werkelijk gebruikte energie? De onderzoekers draalden de modellen op echte computerhardware en maten de elektriciteit die door de processor en de grafische kaart werd verbruikt tijdens het werk. De resultaten waren verrassend en inconsistent. Voor de taak van het vinden van duplicerende code had het theoretische aantal berekeningen bijna geen verband met de werkelijk gebruikte elektriciteit. Een model dat minder berekeningen uitvoerde, verbruikte soms meer energie dan een model dat veel meer berekeningen uitvoerde. In contrast hiermee vertoonde de taak van het voorspellen van beveiligingsfouten wel een relatie tussen het aantal berekeningen en het energieverbruik, maar zelfs daar was het geen perfecte gids. Sommige modellen met een hoog aantal berekeningen verbruikten aanzienlijk minder stroom dan andere met een lager aantal. Dit bewees dat de standaard industriële metriek geen betrouwbare manier is om energie-efficiëntie tussen verschillende soorten softwaretaken te beoordelen.
Omdat de oude metriek gebrekkig was, ontwikkelde het team een nieuwe aanpak. In plaats van het energieverbruik te raden op basis van wiskundige tellingen, bouwden zij een systeem dat leert van echte metingen. Ze trainden een hulpprogramma om het energieverbruik te voorspellen op basis van de specifieke instellingen van het studentmodel, gebruikmakend van werkelijke gegevens verzameld van de hardware. Toen ze dit nieuwe, energiebewuste systeem gebruikten om de kleinere modellen te ontwerpen, verbeterden de resultaten spectaculair. Voor de taak van duplicerende code vond de nieuwe methode modellen die 39 procent minder energie verbruikten dan die ontworpen met de oude methode, zonder aan nauwkeurigheid in te boeten. Voor de taak van beveiligingsvoorspelling waren de resultaten vergelijkbaar, wat aantoonde dat de nieuwe aanpak zelfs efficiënte oplossingen kon vinden wanneer de oude metriek leek te werken.
De onderzoekers zetten deze methode vervolgens verder in door deze toe te passen op een veel complexere uitdaging: code-samenvatting (code summarization). Deze taak houdt in dat er een menselijk leesbare beschrijving wordt gegenereerd van wat een stuk code doet, wat veel moeilijker is dan eenvoudige classificatie. Ze gebruikten een groot model genaamd CodeT5+ als de leraar en probeerden dit te distilleren naar een kleinere student. De resultaten waren opmerkelijk. De nieuwe, op energie gerichte methode produceerde studentmodellen die 86 procent kleiner waren in geheugengrootte en tot 90 procent minder energie verbruikten om te draaien dan het oorspronkelijke leraarmodel. De afruil was een kleine daling in nauwkeurigheid, maar de samenvattingen bleven coherent en bruikbaar. De onderzoekers ontdekten dat voor deze complexe generatieve taken de standaardregel om modellen zo klein mogelijk te maken niet werkte; modellen moesten groot genoeg zijn om de code te begrijpen, maar de nieuwe methode vond het ideale evenwicht waarbij ze klein genoeg waren om efficiënt te zijn.
Dit werk benadrukt een cruciale verschuiving in hoe we moeten denken over kunstmatige intelligentie en duurzaamheid. De studie laat zien dat het vertrouwen op theoretische getallen om energieverbruik te schatten, ertoe kan leiden dat ingenieurs modellen kiezen die niet daadwerkelijk het meest efficiënt zijn. Door het werkelijke energieverbruik te meten en die gegevens te gebruiken om het ontwerp van kleinere modellen te sturen, is het mogelijk om softwaretools te creëren die zowel krachtig als duurzaam zijn. Deze kleinere, energiezuinige modellen kunnen uiteindelijk draaien op consumentenhardware, waardoor de voordelen van geavanceerde kunstmatige intelligentie naar lokale apparaten worden gebracht zonder de enorme milieukosten van cloud computing. De bevindingen suggereren dat we voor een groenere toekomst in software verder moeten kijken dan eenvoudige tellingen van operaties en de werkelijke voetafdruk van de energie van de tools die we bouwen moeten meten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.