Green Architectural Tactics in ML-enabled Systems: An LLM-based Repository Mining Study

Probleemstelling

De snelle adoptie van Machine Learning (ML) en Artificial Intelligence (AI) heeft aanzienlijke milieuproblemen veroorzaakt, met name door het hoge energieverbruik en de CO2-uitstoot tijdens het trainen en inzetten van modellen. Hoewel het concept "Green AI" is ontstaan om dit aan te pakken door efficiëntie te maximaliseren zonder nauwkeurigheid op te offeren, bestaat er een belangrijke kennislacune:

1. Het is onduidelijk in welke mate bestaande, in de literatuur beschreven "groene tactieken" (duurzame ontwerpprincipes) daadwerkelijk worden toegepast in real-world softwareprojecten.
2. Er is geen duidelijk beeld van of ontwikkelaars ongedocumenteerde, nieuwe praktijken gebruiken die bijdragen aan duurzaamheid.

Bestaand onderzoek (zoals de catalogus van Järvenpää et al. met 30 tactieken) is voornamelijk theoretisch of gebaseerd op expertinterviews, maar mist empirische validatie op code-niveau.

Methodologie

De auteurs voerden een Mining Software Repository (MSR) studie uit op 205 open-source ML-projecten van GitHub. De studie volgde een gestructureerde aanpak om zowel bestaande als nieuwe tactieken te identificeren:

1. Dataselectie:

   • Uit een initiële dataset van 3.854 projecten werden er 205 geselecteerd door te filteren op projecten die daadwerkelijk ML-modellen trainen en projecten die actief waren in 2024.
   • De dataset werd onderverdeeld in kleine, middelgrote en grote projecten (gebaseerd op Lines of Code).

2. LLM-gebaseerde Analyse:

   • Om de schaal van de analyse haalbaar te maken, ontwikkelden de auteurs een nieuw mechanisme gebaseerd op Large Language Models (LLMs).
   • Modelselectie: Vier modellen werden getest (GPT-4o, Claude 3 Haiku, Qwen3-8B, DeepSeek-R1-8B). Claude 3 Haiku werd geselecteerd vanwege de hoogste nauwkeurigheid (96,83%) in het identificeren van tactieken en de capaciteit om nieuwe praktijken te ontdekken.
   • Prompt Engineering: Er werd een geavanceerde prompt ontworpen (gebaseerd op het PRIMES-framework) die de LLM twee taken gaf:
     1. Detectie van 15 vooraf gedefinieerde groene architecturale tactieken (uit de catalogus van Järvenpää et al.) die codeerbaar zijn (bijv. gebruik van ingebouwde bibliotheken, modelverkleining).
     2. Ontdekking van nieuwe, niet-gedocumenteerde groene tactieken.
   • De analyse werd uitgevoerd op Python-bestanden per project.

3. Validatie:

   • Oracle-validatie: Een subset van 10 projecten (141 bestanden) werd handmatig geanalyseerd door twee auteurs om een "ground truth" te creëren.
   • Menselijke verificatie: Voor de nieuwe tactieken die door de LLM werden voorgesteld, werd een strikt handmatig validatieproces uitgevoerd om hallucinaties te filteren en de relevantie te bevestigen.

Belangrijkste Bijdragen

1. Empirisch Bewijs: De eerste studie die de daadwerkelijke adoptie van groene architecturale tactieken meet op basis van broncode in plaats van theoretische literatuur.
2. Uitbreiding van de Catalogus: Identificatie van 9 nieuwe groene tactieken die niet eerder in de literatuur waren gedocumenteerd, waardoor het totaal aantal bekende tactieken voor ML-systemen stijgt van 30 naar 39.
3. LLM-Mechanisme: Een reproduceerbaar framework voor het automatisch detecteren van duurzaamheidspraktijken in code, inclusief een gedetailleerde validatie van de prestaties van verschillende LLM's.
4. Open Data: Een volledig openbaar replicatiepakket met datasets, scripts en gedetailleerde codevoorbeelden voor de nieuwe tactieken.

Resultaten

1. Adoptie van Bestaande Tactieken (RQ1):

• Alle 15 onderzochte tactieken uit de bestaande literatuur werden aangetroffen in de projecten, maar met zeer variërende frequenties.
• Hoge adoptie: Tactieken zoals "Gebruik ingebouwde bibliotheekfuncties" (T11) werden in 98,5% van de projecten aangetroffen. Ook "Ontwerp voor geheugenbeperkingen" (T20) en "Gebruik checkpoints" (T19) waren wijdverspreid.
• Lage adoptie: Tactieken zoals "Stel energieverbruik in als modelbeperking" (T12) en "Overweeg grafsubstitutie" (T13) werden slechts in ongeveer 17% van de projecten gevonden.
• Er werd geen sterke correlatie gevonden tussen projectgrootte en adoptie, hoewel oudere projecten soms vaker bepaalde tactieken toepasten.

2. Elicitatie van Nieuwe Tactieken (RQ2):
De studie leverde 9 nieuwe, gevalideerde tactieken op, waaronder:

• T36: Use Early Stopping: Het stoppen van training zodra de validatieprestaties niet meer verbeteren (hoge adoptie: 42,93%). Dit voorkomt overfitting en bespaart aanzienlijke rekentijd.
• T35: Employ Parallel Training: Het distribueren van training over meerdere eenheden (GPU/TPU) om convergentie te versnellen.
• T31 & T32: Data-cleaning en data-augmentatie als groene tactieken (om iteraties te verminderen).
• T34: Adaptive Learning Rate Scheduling: Dynamisch aanpassen van de leersnelheid voor efficiëntere convergentie.
• T37: Deployment-Specific Export Strategies: Het exporteren van modellen naar geoptimaliseerde formaten (zoals ONNX) voor specifieke hardware.

Elke nieuwe tactiek wordt ondersteund door een definitie, een duurzaamheidsargument en concrete codevoorbeelden.

Betekenis en Implicaties

• Voor Practici: De studie biedt een concrete lijst van bewezen en nieuwe strategieën om de ecologische voetafdruk van ML-systemen te verkleinen. De beschikbaarheid van codevoorbeelden verlaagt de drempel voor implementatie.
• Voor Onderzoekers: De resultaten tonen aan dat er een kloof bestaat tussen theoretische richtlijnen en praktijk. De nieuwe tactieken bieden een basis voor verder onderzoek naar de kwantificering van energiebesparingen.
• Sociale Impact: Door de adoptie van deze tactieken kan de CO2-uitstoot van de AI-sector worden verminderd, wat bijdraagt aan bredere duurzaamheidsdoelen (SDG's).
• Toekomstige Werk: De auteurs pleiten voor verder onderzoek naar de impact van deze tactieken op andere programmeertalen (buiten Python) en het ontwikkelen van tools die deze groene praktijken automatisch kunnen aanbevelen of implementeren.

Kortom, dit artikel beweert dat duurzaamheid in ML niet alleen een theoretisch concept is, maar een praktijk die al bestaat, maar die systematisch kan worden uitgebreid en gestimuleerd door gebruik te maken van geavanceerde analyse en nieuwe, bewezen ontwerpprincipes.