🤖 machine learning

Harmonica: A Self-Adaptation Exemplar for Sustainable MLOps

Dit artikel introduceert Harmonica, een zelfadaptatie-exemplar gebouwd op de HarmonE-aanpak die een MAPE-K-loop gebruikt om duurzaamheidsmetrieken te monitoren en automatisch architecturale tactieken te triggeren, waardoor een duurzame en stabiele operatie van Machine Learning-ondersteunde systemen binnen MLOps-pipelines mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Ananya Halgatti, Shaunak Biswas, Hiya Bhatt, Srinivasan Rakhunathan, Karthik Vaidhyanathan

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ananya Halgatti, Shaunak Biswas, Hiya Bhatt, Srinivasan Rakhunathan, Karthik Vaidhyanathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, zelfrijdende bezorgrobot hebt. Je wilt dat hij snel en nauwkeurig is, en niet te snel leegloopt. Maar de wereld is rommelig: soms zijn de wegen druk, soms regent het, en soms wordt de robot moe of in de war. Als je de robot gewoon instelt en wegloopt, kan hij crashes veroorzaken, energie verspillen of volledig stoppen met werken.

Dit artikel introduceert Harmonica, een "slimme manager" die ontworpen is om deze AI-systemen soepel, efficiënt en duurzaam te laten draaien op de lange termijn. Denk aan Harmonica als een persoonlijke trainer en verkeersregelaar in één, specifiek voor AI-systemen die gebruikmaken van MLOps (de geautomatiseerde assemblagebanden die AI bouwen en draaien).

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Instellen en Vergeten"-valstrik

Meestal, wanneer bedrijven AI bouwen, gebruiken ze een proces dat MLOps wordt genoemd. Het is als een fabrieksproces waarbij de AI wordt gebouwd, getest en aan het werk wordt gezet. Het probleem is dat zodra de AI werkt, de fabriek niet meer oplet.

Het Probleem: Als de omgeving verandert (zoals een plotselinge storm of een nieuw type verkeer), kan de AI fouten gaan maken, te veel elektriciteit verbruiken of te veel geld kosten om te draaien.
De Kloof: Bestaande tools zijn geweldig in het bouwen van de AI, maar ze hebben geen ingebouwd mechanisme om te zeggen: "Hé, de situatie wordt vreemd, laten we bijsturen!" zonder dat er een mens moet ingrijpen om het handmatig te repareren.

2. De Oplossing: Harmonica (De Zelfaanpassende Manager)

Harmonica is een tool die bovenop je AI-systeem zit en het als een havik in de gaten houdt. Het is gebouwd op een concept genaamd MAPE-K, wat een chique manier is om een vierstapslus te beschrijven die nooit slaapt:

Monitor (De Ogen): Het houdt de AI constant in de gaten. Is het accuraat? Gebruikt het te veel batterij? Is het in de war door de data?
Analyze (Het Brein): Het vergelijkt wat het ziet met een reeks regels die jij vooraf hebt ingesteld. Bijvoorbeeld: "Als de AI minder dan 80% accuraat is, of als het meer dan 50 watt aan vermogen verbruikt, is er iets mis."
Plan (De Strateeg): Als de regels worden overtreden, besluit het wat te doen. Moet het overschakelen naar een eenvoudiger, sneller model? Moet het een pauze nemen om zichzelf opnieuw te trainen?
Execute (De Handen): Het voert de verandering automatisch uit. Het wisselt het model, past de instellingen aan of start een hertrainingssessie, zonder dat jij op een knop hoeft te drukken.

De "K" in MAPE-K staat voor Knowledge (Kennis). Dit is het geheugen van de tool. Het onthoudt jouw doelen, de geschiedenis van wat de AI heeft gedaan en de verschillende versies van de AI-modellen waar tussen kan worden gewisseld.

3. Het "Menu" aan Opties

Harmonica raadt niet zomaar wat; het heeft een menu van verschillende AI-modellen om uit te kiezen, variërend van:

De Sprinter: Een klein, snel model met een laag energieverbruik (goed voor eenvoudige taken, maar misschien minder accuraat).
De Marathonloper: Een groot, krachtig model met een hoog energieverbruik (zeer accuraat, maar verbruikt veel batterij).

De taak van Harmonica is om de juiste loper te kiezen voor de huidige racecondities. Als de weg vrij is, kiest het de Sprinter om energie te besparen. Als de weg mistig en lastig is, schakelt het over naar de Marathonloper om de veiligheid te garanderen.

4. Hoe Ze Het Hebben Getest (De Racebanen)

De onderzoekers hebben Harmonica getest op twee verschillende "racebanen" om te zien of het verschillende soorten AI-taken aan kan:

Racebaan 1: Verkeersvoorspelling (Time Series): Ze gebruikten het om de verkeersstroom te voorspellen. Ze simuleerden een situatie waarin de verkeerspatronen plotseling veranderden (zoals de aanleg van een nieuwe weg).
- Resultaat: Harmonica merkte de verandering op, besefte dat het oude model moeite had, en schakelde automatisch over naar een beter model. Het hield de voorspellingen accuraat terwijl het energie bespaarde in vergelijking met het constant gebruiken van het grootste, krachtigste model.
Racebaan 2: Objectdetectie (Computer Vision): Ze gebruikten het om auto's en voetgangers te herkennen in videobeelden (zoals de ogen van een zelfrijdende auto).
- Resultaat: Het draaide succesvol verschillende versies van de visuele software, waarmee werd bewezen dat het de zware taken van het "zien" van de wereld en het aanpassen aan veranderende lichtinval of omgevingen aan kon.

5. Wat Echt Mensen Vonden (De Gebruikersstudie)

De onderzoekers vroegen 12 mensen (studenten, onderzoekers en professionals uit de sector) om Harmonica uit te proberen.

Het Oordeel: Ze waren enthousiast.
Waarom? Ze vonden het erg eenvoudig te installeren. Ze hielden van het Live Dashboard (een scherm met realtime grafieken van energie en nauwkeurigheid) omdat het hen liet "zien" hoe de AI denkt en zich aanpast.
Het Gevoel: Het voelde als een tool die het beheer van complexe AI eenvoudig en transparant maakte.

De Kernboodschap

Harmonica is een herbruikbaar "exemplar" (een werkend prototype) dat bewijst dat je AI-systemen kunt bouwen die voor zichzelf zorgen. Het scheidt het "wat" (jouw doelen, zoals "bespaar energie") van het "hoe" (de technische code die modellen wisselt).

Het verzint geen nieuwe AI-modellen; in plaats daarvan fungeert het als de dirigent van het orkest die de bestaande AI-modellen vertelt wanneer ze hard moeten spelen, wanneer ze zacht moeten spelen en wanneer ze van instrument moeten wisselen, zodat de muziek (het systeem) blijft spelen, ongeacht hoe de omgeving verandert.

Waar te vinden: De auteurs hebben de code en een video-uitleg online beschikbaar gesteld, zodat iedereen het kan proberen en kan zien hoe het werkt.

Technische Samenvatting: Harmonica – Een Self-Adaptation Exemplar voor Duurzaam MLOps

Probleemstelling
Machine Learning Enabled Systems (MLS) opereren frequent in dynamische omgevingen waar runtime-onzekerheden—zoals distributieverschuivingen, energiefluctuaties en prestatie-degradatie—de levensvatbaarheid van het systeem in gevaar kunnen brengen. Hoewel Machine Learning Operations (MLOps) gestructureerde processen biedt voor ontwikkeling en implementatie, leggen huidige praktijken de nadruk op betrouwbaarheid en automatisering. Ze missen systematische mechanismen om bredere duurzaamheidsdimensies (milieu, economie en sociaal) aan te pakken of om runtime self-adaptatie te bieden die de afwegingen tussen voorspellende nauwkeurigheid, energieverbruik en operationele kosten balanceert. Bestaande self-adaptive benaderingen zijn vaak nauw gekoppeld aan specifieke case study-prototypes of richten zich uitsluitend op modelwisseling tijdens de inferentie, waardoor er een kloof ontstaat voor herbruikbare, end-to-end exemplaren die duurzaamheidsbewuste adaptatie binnen MLOps-pipelines operationaliseren.

Methodologie en Architectuur
Het artikel presenteert Harmonica, een self-adaptation exemplar gebouwd op de HarmonE architecturale benadering. Harmonica is ontworpen als een beheersysteem dat bestaande MLOps-pipelines omhult zonder dat wijzigingen in de onderliggende trainings- of inferentiecode vereist zijn. Het maakt gebruik van een MAPE-K loop (Monitor, Analyzer, Planner, Executor, Knowledge) om hoogwaardige adaptatiebeleid te scheiden van laagwaardige tactische uitvoering.

De systeemarchitectuur bestaat uit drie primaire componenten:

Frontend: Een lichtgewicht webapplicatie (HTML, CSS, JavaScript) die dient als interactielaag. Deze bevat:
- Approach Manager: Maakt selectie van adaptatielogica mogelijk (bijv. modelwisseling, HarmonE-benadering of aangepaste strategieën).
- Threshold Configurer: Stelt gebruikers in staat om design-time adaptatiegrenzen te definiëren (bijv. bovenste/onderste limieten voor energie, nauwkeurigheid of kosten).
- Live Dashboard: Biedt real-time visualisatie van duurzaamheidsmetrieken en adaptatiegebeurtenissen.
Managing System: Een Python Flask-server die de MAPE-K loop orchestreert. Het onderhoudt een Knowledge basis die bestaat uit:
- Repositories: Data, Systeemlogs, Duurzaamheidsdoelen (policy files), Huidige Modellen en Versionele Modellen.
- MAPE Componenten:
  - Monitor: Verzamelt runtime-metrieken (nauwkeurigheid, betrouwbaarheid, energie) uit systeemlogs.
  - Analyzer: Evalueert metrieken tegen de door de gebruiker gedefinieerde grenzen om drift of schendingen te detecteren.
  - Planner: Selecteert adaptatietactieken op basis van opgeslagen beleid wanneer schendingen optreden.
  - Executor: Voert de gekozen tactiek uit (bijv. het wisselen van modellen, het triggeren van hertraining) op het Managed System.
Managed System: De doelgerichte ML-pipeline (geïmplementeerd in Python) die de Inference Subsystem (data-ingestie, preprocessing, inference engine) en de Training Subsystem (getriggerd voor hertraining/fine-tuning) bevat.

Belangrijkste Bijdragen
Het artikel claimt vier hoofd bijdragen:

Configureerbaar Managing System: Een framework dat adaptatielogica uitvoert over elke compatibele MLOps-pipeline, waarbij zowel inferentie- als hertrainingsworkflows worden ondersteund.
Gebruiker-gedefinieerde Configuratie: De mogelijkheid voor gebruikers om aangepaste datasets te uploaden en duurzaamheidsdoelen en adaptatiegrenzen te definiëren via een intuïtieve interface.
Ingebouwde Visualisatie: Interactieve dashboards die live duurzaamheids- en prestatie-metrieken weergeven, wat de analyse van adaptatie-effecten vergemakkelijkt.
Ondersteuning voor Offline Analyse: Het verstrekken van downloadbare telemetrie en loggegevens voor herhaalbare empirische studies.

Empirische Evaluatie en Resultaten
Harmonica werd geëvalueerd via twee use cases:

Time Series Regression (Verkeersvoorspelling): Gebruikmakend van de Californië PeMS-data, vergeleken het systeem statische modellen (Lineaire Regressie, SVM, LSTM), een naïeve schakelheuristiek en de HarmonE-benadering. De resultaten gaven aan dat hoewel het statische LSTM de hoogste nauwkeurigheid bood ( $R^2$ 0.9171), het aanzienlijk hogere energiekosten met zich meebracht. De HarmonE-benadering bereikte een gebalanceerde $R^2$ van 0.8938 met een gemiddeld energieverbruik (42.645 J), wat het vermogen demonstreert om te adapteren aan runtime-onzekerheden en onnodige interventies te vermijden vergeleken met statische of naïeve schakel-baselines.
Computer Vision (Objectdetectie): Gebruikmakend van de BDD100K-dataset en YOLOv8-varianten (n, s, m), demonstreerde het systeem zijn vermogen om verschillende modelvarianten uit te voeren en te evalueren. Hoewel de volledige HarmonE-logica niet werd toegepast vanwege domeinspecifieke generalisatiebehoeften, faciliteerde de exemplar succesvol vergelijkende studies van adaptatiestrategieën in een computer vision setting.

Een User Study met 12 deelnemers (studenten, onderzoekers en professionals uit de industrie) beoordeelde de bruikbaarheid. Deelnemers beoordeelden het systeem hoog op installatiegemak (gemiddeld 4.58/5) en de helderheid van het monitoringdashboard (gemiddeld 4.41/5). De bereidheid om het hulpmiddel aan te bevelen was 4.66/5. Kwalitatieve feedback benadrukte de waarde van real-time telemetrie voor het begrijpen van de adaptatielogica, hoewel deelnemers verbeteringen suggereerden in de vorm van on-screen tooltips om specifieke tactieken uit te leggen.

Betekenis en Claims
Het artikel positioneert Harmonica niet als een nieuw adaptatie-algoritme, maar als een praktische en herbruikbare fundering voor de onderzoekscommunity. De significantie ligt in:

Operationalisering van Duurzaamheid: Het overbrugt de kloof tussen theoretische duurzaamheidsdoelen en praktische MLOps-implementatie door een instrument te bieden om afwegingen over de volledige ML-levenscyclus te bestuderen.
Verlagen van Toegangsdrempels: Door een vooraf gebouwd, configureerbaar exemplar aan te bieden, elimineert het de noodzaak voor onderzoekers om monitoring-pipelines en adaptatielogica opnieuw te implementeren, wat de reproduceerbaarheid bevordert.
Mogelijk maken van Gecontroleerde Experimenten: Het staat de systematische exploratie van alternatieve adaptatiestrategieën en de inspectie van systeemgedrag onder variërende bedrijfscondities toe zonder de kern-ML-code te wijzigen.

De auteurs hanteren een bescheiden standpunt door te erkennen dat, hoewel de huidige implementatie pyRAPL gebruikt voor energiemeting (beperkt tot Intel-hardware), het framework is ontworpen om uitgebreid te worden met platform-agnostische energie-proxies in toekomstig werk om beter aan te sluiten bij diverse real-world deployment contexten.