💻 computer science

Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

Dit artikel stelt PRINCE voor, een nieuw prijs-incentive mechanisme dat eigenbelanghebbende apparaten over meerdere Split Federated Learning-tenants coördineert om diverse basismodellen efficiënt te finetunen aan de netwerkrand door het combineren van bias-resistente aggregatie, convergentiegestuurde bijdrage-evaluatie en op Stackelberg-evenwicht gebaseerde strategie-optimalisatie.

Oorspronkelijke auteurs: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin gigantische, superintelligente AI-hersenen (genaamd Foundation Models) bestaan, zoals een superintelligente chef die weet hoe hij elk gerecht ter wereld moet bereiden. Maar deze chef is te groot en te duur om in een enkele keuken (jouw telefoon of smartwatch) te passen. Om deze chef een specifiek nieuw recept te leren (zoals "hoe je de perfecte pizza maakt" of "hoe je Turkse accenten begrijpt"), moet je hem trainen.

Normaal gesproken vereist het trainen van deze reuzen enorme computers die gewone mensen niet hebben. Bovendien wil je je privéfoto's of spraakberichten niet naar een centrale server sturen om de training uit te voeren; je wilt die gegevens op je eigen apparaat houden.

Het Probleem: Het "Touwtrekken" om Hulpjes
Dit artikel introduceert een systeem genaamd Split Federated Learning (SFL). Zie het als een teaminspanning:

Jij (het lokale apparaat) doet het eenvoudige, voorbereidende werk (zoals het snijden van groenten).
De Edge Server (een krachtige computer in de buurt) doet het zware werk (zoals het bereiden van de complexe saus).
Je stuurt nooit je ruwe ingrediënten (privégegevens) naar de server; je stuurt alleen de gesneden groenten (tussenresultaten).

Er is echter een addertje onder het gras. In de echte wereld is er niet slechts één chef die hulp nodig heeft. Er zijn meerdere huurders (verschillende bedrijven of apps) die allemaal tegelijkertijd proberen hun eigen specifieke AI-modellen te trainen met gebruik van de dezelfde pool van lokale apparaten (jouw telefoon, jouw horloge, jouw smart speaker).

Huurder A wil een AI trainen om voedselafbeeldingen te herkennen.
Huurder B wil een AI trainen om tekstsentiment te analyseren.
Huurder C wil een AI trainen om spraak te transcriberen.

Al deze huurders concurreren om de aandacht van jouw apparaat. Maar jouw apparaat is "egoïstisch" (op een slimme manier): het wil niet gratis werken. Het heeft een batterij en een beperkte stroomvoorziening. Als Huurder A \ $1 biedt en Huurder B \$ 5 biedt, zal jouw apparaat vanzelf voor Huurder B kiezen.

Het artikel betoogt dat bestaande methoden hier slecht in zijn. Ze negeren ofwel de concurrentie tussen huurders, of ze slagen er niet in om de juiste apparaten genoeg te betalen om de beste resultaten te behalen. Dit leidt tot twee problemen:

Bias (Vooringenomenheid): Als slechts een paar specifieke apparaten al het werk doen, wordt het AI-model bevooroordeeld (zoals een chef die alleen heeft geleerd koken van recepten uit één specifieke regio).
Inefficiëntie: De AI doet er te lang over om te leren omdat de verkeerde apparaten aan het werk zijn, of omdat er niet genoeg van hen aan het werk zijn.

De Oplossing: PRINCE (Het Prijs-Incentive Mechanisme)
De auteurs stellen een nieuw systeem voor genaamd PRINCE (Price-Incentive Mechanism). Hier is hoe het werkt, met behulp van een eenvoudige analogie:

1. Het Veilinghuis (Het Spel)
Stel je een marktplaats voor waar meerdere huisjesmelkers (de Huurders) proberen hun appartementen te verhuren aan een groep huurders (de Apparaten).

De Huisjesmelkers willen de beste huurders om hun gebouwen schoon en tevreden te houden.
De Huurders willen de hoogste huur maar willen niet te veel werk verrichten.
PRINce fungeert als de slimme veilingmeester. Het berekent precies hoeveel elke Huisjesmelker elke Huurder moet betalen om de perfecte balans te vinden. Het zorgt ervoor dat geen enkele Huisjesmelker wordt uitgesloten en dat de Huurders gemotiveerd zijn om hard te werken.

2. De "Eerlijkheids"-regel (Bias-Resilient Aggregation)
In het verleden werd, als een apparaat slechts 50% van de tijd deelnam, de bijdrage ervan vaak genegeerd of onjuist geteld, wat het uiteindelijke AI-model verstoorde.

De truc van PRINCE: Het gebruikt een speciale wiskundige formule (als een "eerlijkheidsfilter") die zegt: "Zelfs als je de helft van de tijd aanwezig was, tellen we je bijdrage alsof je de hele tijd aanwezig was, maar we passen de wiskunde aan zodat het eindresultaat niet scheefgetrokken wordt." Dit zorgt ervoor dat de AI correct leert, zelfs als apparaten druk zijn of slechts af en toe deelnemen.

3. De "Bijdrage"-score
Nog voordat de training begint, voorspelt PRINCE hoeveel een specifiek apparaat zal helpen. Het wacht niet tot het einde om te zien wie goed was; het schat het vooraf in op basis van de kracht van het apparaat en de datakwaliteit. Dit helpt de Huisjesmelkers (Huurders) om precies te beslissen hoeveel ze moeten betalen om de beste hulpjes te krijgen.

De Resultaten: Snelheid en Eerlijkheid
De auteurs hebben dit getest met vier verschillende soorten AI-taken (het herkennen van voedselafbeeldingen, het analyseren van tekst, het transcriberen van spraak en het beantwoorden van vragen) met behulp van 100 gesimuleerde apparaten.

Snelheid: PRINCE maakte de AI-training 3 keer sneller dan de beste bestaande methoden. Het is alsof je van een langzame, kronkelende landweg overgaat naar een snelweg.
Nauwkeurigheid: Het haalde consequent de doelstellingen (zoals 90% nauwkeurigheid in beeldherkenning) waar andere methoden faalden of er eeuwig over deden.
Balans: Het zorgde ervoor dat alle vier de verschillende "Huisjesmelkers" een eerlijk deel van de "Huurders" kregen, zodat geen enkel AI-model achterbleef terwijl een ander alle hulp kreeg.

In een Notendop
Dit artikel lost het probleem van "te veel koks in de keuken" op. Het creëert een slim betalingssysteem waarmee meerdere AI-projecten eerlijk kunnen concurreren om de hulp van jouw persoonlijke apparaten. Door het juiste bedrag aan de juiste apparaten te betalen en een speciale wiskundige truc te gebruiken om het leren onbevooroordeeld te houden, maakt het het trainen van gigantische AI-modellen aan de rand van het netwerk (jouw lokale apparaten) veel sneller, eerlijker en efficiënter.

Technische Samenvatting: Het stimuleren van Multi-Tenant Split Federated Learning voor Foundation Models aan de Network Edge

Probleemstelling
Foundation Models (FMs) zoals GPT-4, BERT en LLaMA vereisen uitgebreide fine-tuning op domeinspecifieke data om een hoge prestatie te behalen in downstream taken. Lokale apparaten (bijv. smartphones, smartwatches) missen echter vaak de computationele middelen om volledige parameter FM fine-tuning te verwerken, terwijl privacyzorgen voorkomen dat data het apparaat verlaat. Split Federated Learning (SFL) lost dit op door gedeeltelijke berekeningen te verplaatsen naar edge servers, wat synergetische device-edge fine-tuning mogelijk maakt.

Hoewel bestaand SFL-onderzoek zich richt op single-tenant scenario's, huisvesten praktische edge-netwerken steeds vaker meerdere SFL-tenants die strijden om dezelfde pool van lokale apparaten om diverse downstream taken te ondersteunen (bijv. beeldclassificatie, sentimentanalyse, spraak-naar-tekst). Deze multi-tenant omgeving introduceert drie kritieke uitdagingen:

Onafhankelijke Deelname van Apparaten: Eigenbelang bij lokale apparaten zorgt ervoor dat zij taken selecteren op basis van prikkels, wat potentieel leidt tot databias waarbij specifieke taken worden gedomineerd door een subset van apparaten.
Beoordeling van de Bijdrage van Apparaten: Het is moeilijk te voorspellen hoe het participatieniveau van een apparaat de uiteindelijke FM-prestaties beïnvloedt voordat het trainingsproces voltooid is, wat het ontwerp van effectieve prikkelstrategieën belemmert.
Concurrentie tussen Tenants: Meerdere tenants concurreren om kwalitatief hoogwaardige apparaten, wat een mechanisme vereist om deelname te balanceren en eerlijke prestaties over alle tenants te garanderen.

Huidige prikkelmechanismen zijn grotendeels ontworpen voor single-tenant Federated Learning (FL) of standaard SFL en missen de op maat gemaakte strategieën die nodig zijn om eigenbelang bij apparaten te coördineren over concurrerende multi-tenant FM fine-tuning taken.

Methodologie
De auteurs stellen PRINCE (Price-Incentive Mechanism) voor, een nieuw framework dat is ontworpen om meerdere SFL-tenants te begeleiden bij het aanbieden van strategische prijsprikkels om kwalitatieve deelname van apparaten te stimuleren. De methodologie is gebaseerd op drie kerncomponenten:

Bias-Resiliente Globale SFL Aggregatie:
Om de onafhankelijke deelname van apparaten aan te pakken, introduceert het artikel een onbevooroordeeld globaal model aggregatieschema. In tegenstelling tot standaard FedAvg, dat volledige deelname veronderstelt, herweegt dit schema modelupdates van deelnemende apparaten door de inverse van hun participatiekansen ( $1/q_{i,j}$ ). Dit zorgt ervoor dat het globale FM-model onbevooroordeeld blijft ten opzichte van het scenario van volledige device-participatie, zelfs wanneer apparaten probabilistisch aan taken deelnemen.
SFL Convergentiegrens voor Bijdragebeoordeling:
Om de uitdaging van het beoordelen van device-bijdragen zonder de training te voltooien op te lossen, leiden de auteurs een rigoureuze SFL-convergentiegrens af. Deze grens relateert analytisch de verwachte globale FM-loss aan participatieniveaus van apparaten ( $q_{i,j}$ ), lokale data-heterogeniteit en gradiënt-magnitudes. Deze theoretische grens dient als een surrogaat voor de verwachte globale loss, waardoor SFL-tenants de impact van verschillende prijsstrategieën op de FM-prestaties kunnen schatten vóór uitvoering.
Stackelberg en Congestion Game Modellering:
De interactie tussen SFL-tenants en lokale apparaten wordt gemodelleerd als een Multi-Leader Multi-Follower Stackelberg Game:
- Leaders (SFL Tenants): Bepalen optimale prijsstrategieën ( $P_i$ ) om hun verwachte globale FM-loss te minimaliseren binnen een betaalbudget.
- Followers (Lokale Apparaten): Reageren door participatieniveaus ( $q_{i,j}$ ) voor diverse taken te selecteren om hun nut te maximaliseren (betaling minus computationele kosten).
- Inter-Tenant Concurrentie: De concurrentie tussen tenants om gedeelde apparaten wordt gemodelleerd als een Congestion Game. Tenants passen iteratief hun prijsstrategieën aan om hun globale loss te verbeteren, waarbij ze convergeren naar een Nash-evenwicht (NE) binnen het congestion game, wat overeenkomt met het Stackelberg-evenwicht (SE) van het totale systeem.

Er wordt een gedecentraliseerd algoritme voorgesteld om dit spel te implementeren, waarbij tenants en apparaten iteratief strategieën bijwerken totdat het SE wordt bereikt.

Belangrijkste Bijdragen

Eerste Verkenning van Multi-Tenant SFL voor FMs: Het artikel is de eerste die effectieve prikkelmechanismen verkent voor multi-tenant SFL, specifiek afgestemd op Foundation Model fine-tuning over diverse datamodaliteiten (tekst, afbeeldingen, audio).
Bias-Resilient Ontwerp: Het introduceert een globaal aggregatieschema dat modelbiases elimineert die worden veroorzaakt door onafhankelijke, probabilistische deelname van apparaten.
Theoretische Convergentiegrens: De afleiding van een rigoureuze SFL-convergentiegrens biedt een analytisch instrument voor tenants om device-bijdragen te evalueren en prijsstrategieën te ontwerpen zonder voorafgaande kennis van de uiteindelijke modelprestaties.
PRINCE Mechanisme: De ontwikkeling van een gedecentraliseerd prijs-prikkelalgoritme gebaseerd op Stackelberg- en congestion game-theorie dat een eindige convergentie naar een optimaal evenwicht bereikt, waarbij de concurrentie tussen tenants en de prikkels voor apparaten in balans worden gehouden.

Experimentele Resultaten
De auteurs hebben PRINCE geëvalueerd met behulp van simulaties met vier representatieve SFL-tenants (ViT voor beeldclassificatie, BERT voor sentimentanalyse, Whisper voor spraak-naar-tekst, en LLaMA voor vraagbeantwoording) over 100 lokale apparaten.

Prestatieversnelling: PRINCE versnelde FM fine-tuning met wel 3,07x vergeleken met state-of-the-art benaderingen (FedPEFT, FAIR en MSDA).
Doel nauwkeurigheid: PRINCE haalde consistent de prestatiedoelen voor alle downstream taken. In tegenstelling hiertoe slaagden benchmarks zoals FAIR en MSDA er niet in om voor specifieke taken (bijv. Vraagbeantwoording en Spraak-naar-tekst) binnen redelijke deadlines de doel-nauwkeurigheden te bereiken.
Vergelijking met FL: Vergeleken met klassieke FL (FedPEFT), bereikte PRINCE de doel-nauwkeurigheid gemiddeld 31,36% sneller, wat de efficiëntie van de device-edge synergie in SFL voor resource-beperkte FM-workloads onderstreept.
Robuustheid: Het mechanisme behield een gebalanceerde optimalisatie over de tenants en demonstreerde eindige convergentie (gemiddeld 42 iteraties), ongeacht de systeemomvang.

Betekenis
Het artikel stelt dat PRINCE een solide fundament biedt voor de brede adoptie van SFL in edge-netwerken voor Foundation Model fine-tuning. Door de specifieke complexiteiten van multi-tenant omgevingen aan te pakken — met name onafhankelijk device-gedrag, bijdragebeoordeling en concurrentie tussen tenants — zorgt het voorgestelde mechanisme ervoor dat diverse downstream taken efficiënt en eerlijk kunnen worden uitgevoerd terwijl de privacy van gegevens behouden blijft. Het werk overbrugt de kloof tussen theoretisch prikkelontwerp en de praktische vereisten voor het implementeren van grootschalige, privacy-bewuste AI aan de network edge.

Meer zoals dit