Modest, artistic, and radical solutions to the environmental impact of image-generating machine learning

Technische Samenvatting: Bescheiden, Artistieke en Radicale Oplossingen voor de Milieu-impact van Beeldgenererende Machine Learning

Probleemstelling
Het artikel stelt dat de milieu-impact van machine learning (ML), specifiek beeldgeneratie, in het heersende narratief van efficiëntie enorm wordt onderschat. Hoewel ML vaak wordt geprezen om het optimaliseren van Informatie- en Communicatietechnologie (ICT), wordt deze "kleine winst" overschaduwd door de enorme koolstof-, water- en landvoetafdruk van datacenters en ML-waardige apparaten. De auteurs wijzen op een "rebound-effect" waarbij verhoogde efficiëntie leidt tot uitgebreid gebruik en infrastructuur, in plaats tot behoud. Ze citeren projecties dat AI-datacenters tegen 2030 jaarlijks 35 gigawatt kunnen verbruiken en merken op dat de generatie van één enkele afbeelding ongeveer 300 gram CO2e produceert—750 keer meer dan tekstclassificatie. De huidige koers, gedreven door aandeelhouderskapitalisme en de vraag naar snelheid en nauwkeurigheid, creëert een vicieuze cirkel waarin infrastructuuruitbreiding verdere vraag rechtvaardigt, wat de planetaire grenzen dreigt te overschrijden.

Methodologie
De auteurs hanteren een multidisciplinaire aanpak die computertechniek, mediatheorie en kritische kunstpraktijk combineert. Hun methodologie omvat:

1. Literatuuronderzoek: Analyse van het elektriciteitsverbruik bij ML-training en inferentie, met de focus op de proliferatie van GPU's, de verschuiving naar edge computing en de disproportionele energiekosten van inferentie vergeleken met training.
2. Kritische Analyse van Efficiëntie: Het deconstrueren van de bedrijfsmatige definitie van "efficiëntie" (snelheid en nauwkeurigheid) en het contrasteren daarvan met kaders van "digitale sufficiëntie" en "degrowth".
3. Conceptueel Kunstproject (Work in Progress): Het team ontwikkelt een "tiny image generator" als conceptueel kunstwerk. Dit project dient als technische testomgeving voor ethische en energiezuinige ML. Belangrijke technische strategieën voor deze prototype zijn onder meer:
   • Hardwarebeperkingen: Het trainen en draaien van modellen op hardware met beperkte capaciteit (bijv. Raspberry Pi) in plaats van op massale serverparken.
   • Data-ethiek: Het verwerpen van gescrapte datasets (zoals LAION-5B) ten gunste van ethisch verkregen, niet-gescrapte data, inclusief bijdragen van deelnemers en specifieke archieven (bijv. textiel en islamitische kalligrafie uit het Victoria & Albert Museum).
   • Modelarchitectuur: Het gebruik van "Tiny Machine Learning" (TinyML) technieken, waaronder:
     • Quantisatie: Het verminderen van precisie (bijv. 8-bit of 4-bit) om de modelgrootte te verkleinen.
     • Few/One-Shot Learning: Trainen op minimale voorbeelden om de datavereisten te verminderen.
     • Ruisinjectie: Het gebruik van ruis in plaats van statistische gemiddelden om nieuwe, niet-clichée outputs te genereren, waardoor de "gemiddelde beelden" die typerend zijn voor grote modellen worden vermeden.
     • Datasetweging: Het expliciet toekennen van een hogere belangrijkheid aan specifieke ethische datasets (bijv. islamitische kunst) om de voorgetrainde biases naar fotorealisme en westerse kunst tegen te gaan.
   • Politieke Integratie: Het verplichten van de inclusie van specifieke politieke referenties (bijv. Palestina) in de outputs om de hegemoniale AI-narratieven tegen te gaan.

Belangrijkste Bijdragen

• Herformulering van Efficiëntie: Het artikel daagt de industriestandaard uit die prioriteit geeft aan snelheid en nauwkeurigheid, en stelt dat deze metrieken leiden tot onhoudbaar energieverbruik. Het stelt "digitale sufficiëntie" en "werkelijke kostenberekening" (inclusief milieuexternaliteiten) voor als noodzakelijke alternatieven.
• Technische Haalbaarheid van "Tiny" AI: De auteurs demonstreren dat beeldgeneratie kan worden aangepast om op beperkte hardware te draaien met behulp van kleine taalmodellen (SLM's), laag-precisie architecturen en niet-neurale of ijle (sparse) benaderingen, mits het doel verschuift van algemene intelligentie naar specifieke, bescheiden taken.
• Ethische Datapraktijken: Het artikel stelt een workflow voor waarbij metadata en deelnemersbijdragen worden behandeld als integraal onderdeel van het kunstwerk, in contrast met de ondoorzichtige data-scraping van commerciële modellen.
• Kritische AI-kunst: Door politieke mandaten (zoals het refereren aan Palestina) en esthetische beperkingen (austerity, nieuwheid boven verisimilitude) te integreren, biedt het project een model voor "dekoloniale" AI die weerstand biedt aan de dehumaniserende tendensen van mainstream generatieve modellen.

Resultaten
Aangezien het artikel een "work in progress" beschrijft, presenteert het geen definitieve kwantitatieve experimentele resultaten (bijv. specifieke wattuur-besparingen of definitieve modelnauwkeurigheidsmetrieken). De auteurs rapporteren echter over de theoretische en ontwerp-fase uitkomsten:

• Zij hebben succesvol vastgesteld dat huidige industriële doelen (bijv. 100ms latentie) worden gedreven door bedrijfsmatige verslavingsmodellen in plaats van noodzaak, en dat het versoepelen van deze beperkingen aanzienlijk kleinere modellen mogelijk maakt.
• Zij hebben bepaald dat het gebruik van een "kleine" variant van StableDiffusion (SD 2.1 unclip-small) nog steeds een aanzienlijke koolstofvoetafdruk met zich meebrengt vanwege de training van het ouder-model; hun voorgestelde aanpak vereist daarom een start vanaf nul of fijnregeling met extreme beperkingen om werkelijk "tiny" te zijn.
• Zij hebben vastgesteld dat datasetweging een levensvatbare technische methode is om voorgetrainde biases te overriden en specifieke culturele esthetiek te prioriteren zonder dat daarvoor enorme rekenkracht nodig is.

Betekenis en Claims
Het artikel beweert dat de enige duurzame weg voorwaarts voor ICT "degrowth" en het "ontwerpen" (undesign) van hulpbronintensieve technologieën is. Het stelt dat:

• Efficiëntie is geen Behoud: Binnen een aandeelhouderskapitalistisch kader leidt efficiëntie slechts tot meer consumptie. Echte mitigatie van de milieu-impact vereist "graceful degradation" en "collapse informatics".
• Bescheidenheid als Radicale Daad: Het creëren van bescheiden, artistiek geavanceerde en politiek betrokken AI-modellen is een radicaal alternatief voor de "accelerationistische" doelen van grote corporaties.
• Beleid implicaties: De auteurs suggereren dat als overheden elektriciteit zouden beprijzen op basis van de milieukosten, bedrijven gedwongen zouden worden tot echte efficiëntie. Tot die tijd pleiten zij voor vrijwillige eenvoud en de creatie van "convivial tools" die opereren binnen strikte energie- en datalimieten.
• Artistieke Interventie: De voorgestelde "tiny image generator" dient niet alleen als een instrument, maar ook als een kritiek op het "cornocopische paradigma", door aan te tonen dat nuttige, creatieve AI kan bestaan zonder de enorme milieuvoetafdruk van huidige Large Language Models (LLM's) en generatieve beeldvormingssystemen.