🤖 machine learning

User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling

Dit artikel stelt een door gebruikers ondersteund collaboratief gedistribueerd inferentiesysteem voor dat dedicated infrastructuur combineert met vrijwillige gebruikersbronnen om QoS-bewuste autoscaling mogelijk te maken, waarbij via een hoogdimensionaal Markov-model en simulaties wordt aangetoond dat deze aanpak de latentie en de voltooiing van verzoeken aanzienlijk verbetert terwijl het verbruik van dedicated middelen afneemt naarmate de gebruikerspopulatie groeit.

Oorspronkelijke auteurs: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

Gepubliceerd 2026-08-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende stad waar iedereen constant om hulp vraagt. Soms hebben ze een snel antwoord nodig, maar vaak vragen ze om iets ongelooflijk complex, zoals een superintelligente robot vragen om een verhaal te schrijven, een wiskundig probleem op te lossen of een gezicht te herkennen op een foto. Dit wordt "AI-inferentie" genoemd. Op dit moment wordt het meeste zware werk gedaan in enorme, gecentraliseerde datacenters—denk aan enorme, vestingachtige fabrieken waar duizenden krachtige computers samenwerken. Hoewel deze fabrieken geweldig zijn, worden ze ongelooflijk duur om te bouwen en te exploiteren, en ze verbruiken zoveel energie dat ze een enorme ecologische voetafdruk achterlaten op onze planeet. Het is alsof je probeert een hele stad aan verkeerslichten van stroom te voorzien met één enkele, brullende generator; het werkt, maar het is luid, kostbaar en moeilijk bij te houden naarmate er meer mensen op de weg verschijnen.

Om dit op te lossen, kijken wetenschappers naar "edge computing", wat er toe doet als het verplaatsen van een deel van het werk dichter bij de mensen die het nodig hebben, bijvoorbeeld naar lokale buurtknooppunten. Maar er is een andere, meer radicale gedachte: wat als we een klein beetje rekenkracht kunnen lenen van de mensen die zelf om hulp vragen? Dit is het concept van "volunteer computing" (vrijwillige computing), waarbij je telefoon, laptop of tablet zijn overtollige hersencapaciteit leent aan de groep wanneer deze niet bezig is. De grote vraag die onderzoekers stellen is: Kunnen we deze twee werelden mengen? Kunnen we een paar krachtige servers behouden om de basiszaken af te handelen, terwijl we miljoens gewone gebruikers laten bijdragen om de rest te verwerken, waardoor er een systeem ontstaat dat automatisch opschaalt zonder dat er meer gigantische fabrieken gebouwd hoeven te worden?

Dit is precies waar de onderzoekers in dit artikel naar wilden onderzoeken. Ze stellen een nieuwe manier voor om AI-diensten uit te voeren, genaamd "User-Assisted Collaborative Distributed Inference". In plaats van uitsluitend te vertrouwen op dure, gecentraliseerde servers, splitst hun systeem het werk op. Een centrale server fungeert als de "kapitein", die een basishoeveelheid werk afhandelt om ervoor te zorgen dat alles soepel verloopt, maar het breekt grote taken ook af in kleinere "subtaken" en stuurt deze uit naar de apparaten van de gebruikers die op dat moment online zijn. Als de telefoon van een gebruiker even niets doet, kan deze een subtaak oppakken, de berekeningen uitvoerden en het resultaat terugsturen. Het systeem is slim ontworpen: als de groep gebruikers klein is, doet de server het meeste werk; als de menigte enorm groot wordt, leunt het systeem automatisch meer op de vrijwillig ter beschikte gestelde kracht van al die apparaten.

Om te bepalen of dit idee daadwerkelijk werkt zonder het hele systeem te laten crashen, hebben de auteurs niet alleen een echt prototype gebouwd en gehoopt op het beste. In plaats daarvan hebben ze een zeer gedetailleerde "digitale tweeling" van het systeem gebouwd—een complex wiskundig model dat simuleert hoe gebruikers, apparaten en taken in de loop van de tijd met elkaar interageren. Ze behandelden het systeem als een levend organisme dat elke seconde verandert, waarbij gebruikers inloggen en uitloggen, apparaten verschillende snelheden hebben en taken verschillende hoeveelheden tijd in beslag nemen. Ze gebruikten dit model om duizenden simulaties uit te voeren, waarbij verschillende scenario's werden getest: Wat gebeurt er als we 100 gebruikers hebben? Wat als we er 10.000 hebben? Wat als de server klein is, en wat als hij heel groot is? Ze vergeleken hun nieuwe "collaboratieve" aanpak met de oude "alleen gecentraliseerde" methode.

De resultaten van deze simulaties waren zeer veelbelovend. De onderzoekers ontdekten dat naarmate het aantal gebruikers groeide, het collaboratieve systeem aanzienlijk beter werd dan het traditionele systeem. Wanneer de gebruikerspopulatie klein was, handelde de gecentraliseerde server de zaken prima af. Maar toen de menigte opzwol naar 10.000 gebruikers, begon het gecentraliseerde systeem te worstelen, waarbij veel verzoeken werden geannuleerd of heel lang duurden om te voltooien. In contrast hiermee bloeide het collaboratieve systeem juist op. Door het werk te verplaatsen naar de apparaten van de gebruikers, slaagde het erin om meer verzoeken te voltooien en hield het de "tail latency" (de tijd die de traagste verzoeken nodig hebben om te voltooien) veel lager. Misschien wel het belangrijkste: het collaboratieve systeem had veel minder toegewijde serverkracht nodig om deze resultaten te behalen. De simulaties suggereerden dat met een matige hoeveelheid servercapaciteit—ongeveer 30 tot 50 keer de basiseenheid—het systeem een enorme vraag kon afhandelen door aan te leunen op de gebruikers, terwijl het gecentraliseerde systeem zijn hardware onbeperkt zou moeten blijven opschalen, wat duur en inefficiënt is.

De paper merkt echter voorzichtig op dat dit een simulatie is, en geen afgewerkt product dat vandaag de dag al op je telefoon beschikbaar is. De onderzoekers testten verschillende "strategieën" voor hoe de server taken moet uitdelen. Eén strategie was om taken simpelweg willekeurig uit te delen aan elke beschikbare gebruiker, terwijl een andere strategie probeerde slimmer te zijn door soortgelkige taken samen op hetzelfde apparaat te groeperen om tijd te besparen. De "willekeurige" aanpak werkte verrassend goed, terwijl de "slimme groepering"-aanpak soms problemen veroorzaakte als het apparaat van een gebruiker plotseling offline ging, waardoor een hele batch werk werd onderbroken. De studie concludeert dat hoewel het idee haalbaar is en de wiskunde klopt, er nog werk te verrichten is om de planningregels te perfectioneren en ervoor te zorgen dat het systeem robuust genoeg is voor de echte wereld. Uiteindelijk suggereert het artikel dat het lenen van een beetje kracht van de menigte de sleutel kan zijn om AI-diensten goedkoper, groener en in staat te maken om de enorme vraag van de toekomst aan te kunnen zonder eindeloos nieuwe datacenters te bouwen.

Technische Samenvatting: Gebruiker-ondersteunde Collaboratieve Gedistribueerde Inferentie voor Efficiënte QoS-bewuste Autoscaling

Probleemstelling
Het artikel behandelt de escalerende operationele kosten en de milieubelastingen die gepaard gaan met gecentraliseerde AI-inferentiediensten. Naarmate de vraag naar AI-inferentie groeit, schalen de kosten van gecentraliseerde cloudinfrastructuur evenredig mee, wat leidt tot verbijsterende uitgaven en aanzienlijk energieverbruik (bijv. CO2-uitstoot en waterverbruik). Hoewel edge- en fog-computing deeloplossingen bieden door berekeningen te distribueren, vertrouwen deze vaak op dedicated infrastructuur die nog steeds te maken heeft met economische en architecturale barrières voor brede adoptie. Daarentegen maakt volunteer computing gebruik van de vrije capaciteit van gebruikersapparaten, maar mist doorgaans de stabiliteit en Quality of Service (QoS) garanties die vereist zijn voor consumentgerichte AI-toepassingen vanwege de heterogeniteit van bronnen en de intermitterende beschikbaarheid. De kernuitdaging is het ontwerpen van een systeem dat inferentie effectief verdeelt tussen dedicated servers en vrijwillige gebruikersbronnen om schaalbare, kostenefficiënte autoscaling te bereiken terwijl strikte QoS-beperkingen worden gehandhaafd.

Methodologie
De auteurs stellen een collaboratief gedistribueerd inferentiesysteem voor waarbij een centrale server inferentietaken coördineert over een mix van dedicated infrastructuur en vrijwillige gebruikersapparaten. Het systeem werkt in drie fasen: gebruikers vragen inferentie aan, de server plant subtaken in over beschikbare bronnen op basis van een beleid, en de server aggregeert resultaten om antwoorden terug te geven.

Om dit dynamische systeem te analyseren en te optimaliseren, ontwikkelen de auteurs een hoogdimensionaal generatief Markov-model met gestructureerde temporele factorisatie. Dit model legt de stochastische interacties vast tussen gebruikers, bronnen, taken en beleidsregels. Belangrijke componenten van de methodologie zijn:

Systeemtoestandsrepresentatie: De toestand $s_t$ wordt gedefinieerd als een tuple van hoogdimensionale variabelen, inclusief gebruikersbeschikbaarheid ( $o_t$ ), inferentieverzoeken ( $q_t$ ), toegewezen bronnen ( $a_t$ ), gereedheid van subtaken ( $x_t$ ), executiestatus van subtaken ( $y_t$ ) en resourceconsumptie ( $c_t$ ).
Generatieve Modellering:
- Beschikbaarheid: Gemodelleerd met parametrische survivalverdelingen (Weibull voor online, log-normaal voor offline) om de duur van toestanden en overgangskansen te vangen.
- Verzoeken: Gemodelleerd met Pareto-survivalfuncties om de zware staarten van intervallen tussen verzoeken en gebruikersgeduld te reflecteren.
- Bronnen en Consumptie: Maakt gebruik van ARMA-modellen (AutoRegressieve Voortbewegende Gemiddelde) die zijn aangepast aan empirische metingen van bandbreedte, CPU, geheugen en opslag om trajecten en consumptiepatronen van bronnen te simuleren.
- Executiedynamiek: De uitvoeringsfasen van subtaken (downloaden, executie, uploaden) worden gemodelleerd met discrete-tijd hazard-modellen, aangepast aan computer vision subtaak-traces onder variërende batchgroottes en bandbreedtes.
Besluitvormingsbeleid: Het systeem gebruikt twee beleidsregels: een scheduler ( $\pi$ $π$ ) aan de serverzijde en een executor ( $\varsigma$ $ς$ ) aan de nodezijde. De studie evalueert drie schedulingstrategieën:
1. Gecentraliseerd: Alle taken draaien op de dedicated server.
2. Uniform: Taken worden willekeurig toegewezen aan online gebruikersnodes die voldoende capaciteit hebben.
3. Affiniteitsgebaseerd: Taken worden toegewezen aan nodes die al actieve executies van hetzelfde type subtaak hosten om de efficiëntie van batching te maximaliseren.
Optimalisatiekader: Het model definieert twee optimalisatieproblemen: het maximaliseren van QoS (minimaliseren van latentie) voor een vaste scheduler, en het minimaliseren van dedicated resource-allocatie terwijl aan QoS-beperkingen wordt voldaan (bijv. P99-latentiedrempels).

Belangrijkste Bijdragen

Systeemarchitectuur: Een nieuw collaboratief gedistribueerd inferentiesysteem dat workloads verdeelt tussen dedicated servers en vrijwillige gebruikersapparaten, wat autoscaling mogelijk maakt zonder evenredige groei in gecentraliseerde infrastructuur.
Generatief Model: Een hanteerbaar, hoogdimensionaal Markov-model met temporele factorisatie dat de ijle afhankelijkheden tussen systeemvariabelen vastlegt, wat efficiënte simulatie, inferentie en beleidsleren mogelijk maakt.
Empirische Evaluatie: Een uitgebreide simulatiestudie die gecentraliseerde en gedistribueerde schedulingbeleid vergelijkt over variërende gebruikerspopulaties, resourcecapaciteiten en serverconfiguraties.

Resultaten
Het systeem werd geëvalueerd via simulaties die ongeveer 28 uur duurden (100.000 tijdstappen) met gebruikerspopulaties variërend van 100 tot 10.000 en variërende servercapaciteiten. De belangrijkste bevindingen zijn:

Schaalbaarheid en Voltooiingspercentages: Naarmate de gebruikerspopulatie groeit, presteert gedistribueerde scheduling (Uniform en Affiniteitsgebaseerd) steeds beter dan gecentraliseerde scheduling. Gedistribueerde beleidsregels behouden hogere verzoekvoltooiingspercentages en lagere annuleringpercentages, vooral wanneer de capaciteit van gebruikersapparaten wordt verdubbeld (2x).
Latentie (QoS): Gedistribueerde beleidsregels bereiken aanzienlijk betere P99-latentie (tail latency) dan gecentraliseerde beleidsregels bij grote gebruikersschalen (bijv. 10.000 gebruikers). Gecentraliseerde latentie verslechtert naarmate de vraag de servercapaciteit verzadigt, terwijl gedistribueerde beleidsregels het werk effectief afvloeken.
Resource-efficiëntie: Gedistribueerde scheduling vermindert de consumptie van dedicated resources aanzienlijk. De simulaties geven aan dat een servercapaciteit van ongeveer 30x tot 50x het basisprofiel voldoende is om de vrijwillige bronnen aan te vullen en QoS te handhaven, terwijl gecentraliseerde benaderingen een veel hogere capaciteit vereisen om vergelijkbare prestaties te behalen.
Beleidvergelijking: Het Uniform-beleid presteert over het algemeen beter dan het Affiniteitsgebaseerde beleid wat betreft de balans tussen voltooiingspercentages en annuleringrisico's. Hoewel Affiniteitsgebaseerde scheduling de batching verbetert, vergroot het het risico op gelijktijdige falen van subtaken door het vertrek van nodes of resourcebeperkingen.

Betekenis en Claims
Het artikel claimt aan te tonen dat de haalbaarheid van gebruiker-ondersteunde collaboratieve inferentie een levensvatbare strategie is voor infrastructuur-efficiënte autoscaling. Het stelt vast dat het combineren van dedicated infrastructuur met vrijwillige bronnen de toenemende vraag kan absorberen zonder de evenredige groei in gecentraliseerde kosten en milieu-impact die gepaard gaat met traditionele cloud-scaling.

De auteurs benadrukken dat hun primaire bijdrage de definitie van de systeemarchitectuur en de ontwikkeling van een dynamisch model voor de analyse ervan is, in plaats van de implementatie van een productie-klaar scheduler. Zij stellen dat het voorgestelde model een noodzakelijke basis biedt voor toekomstig werk aan het optimaliseren van schedulingalgoritmen en QoS-bewuste resource-allocatie. De studie concludeert dat gedistribueerde scheduling een praktisch pad biedt om het verbruik van dedicated resources te verminderen terwijl de verzoekvoltooiing en tail latency worden verbeterd, mits het systeem wordt ondersteund door een geschikt generatief model voor analyse en optimalisatie.

Meer zoals dit