🤖 machine learning

FLOSS: Federated Learning with Opt-Out and Straggler Support

Dit paper introduceert FLOSS, een systeem dat de negatieve effecten van ontbrekende data door gebruikersopt-out en trage apparaten op federatief leren mitigeert en de prestaties daarvan empirisch aantoont.

Oorspronkelijke auteurs: David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

Gepubliceerd 2026-04-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groep vrienden samen een recept voor de perfecte pizza probeert te bedenken. In plaats van dat iedereen zijn eigen ingrediënten naar één centraal keuken stuurt (wat je privacy schendt), bereidt elke vriend zijn eigen stukje pizza thuis. Ze sturen alleen een korte notitie naar de hoofdkok: "Ik heb meer oregano nodig" of "Mijn deeg is te nat". De kok combineert al deze notities om het recept te verbeteren en stuurt het nieuwe recept terug naar iedereen.

Dit is Federated Learning (Federatief Leren): een slimme manier om kunstmatige intelligentie te trainen zonder dat je persoonlijke data ooit je telefoon verlaat.

Maar in de echte wereld gaat dit niet altijd perfect. Dit artikel introduceert een nieuw systeem genaamd FLOSS dat twee grote problemen oplost die dit proces verstoren.

Het Probleem: De "Verstokte" en de "Terughoudende"

Stel je voor dat je de groep vrienden vraagt om hun notities te sturen. Er zijn twee soorten problemen:

De "Stragglers" (De Verstekers): Sommige vrienden hebben een slechte internetverbinding of een oude telefoon. Ze proberen hun notitie te sturen, maar het lukt niet of het duurt te lang. De kok moet doorgaan zonder hun input.
De "Opt-out" (De Terughoudenden): Andere vrienden besluiten plotseling: "Nee, ik wil mijn notitie niet delen." Misschien vinden ze hun pizza te persoonlijk, of ze zijn gewoon niet tevreden met hoe het recept tot nu toe werkt. Ze kiezen bewust om niet mee te doen.

Waarom is dit erg?
Als de kok alleen luistert naar de vrienden die wel sturen, wordt het recept vertekend.

Als alleen mensen met snelle internetverbindingen meedoen, mist het recept de smaak van mensen in dorpen met slechte verbinding.
Als alleen mensen meedoen die tevreden zijn met de pizza, vergeten we hoe we de pizza moeten verbeteren voor de mensen die hem niet lekker vonden.

Het resultaat is een pizza die niet voor iedereen goed smaakt. In de wereld van AI noemen we dit bias (vooroordeel). Het model wordt niet slim voor iedereen, maar alleen voor een specifieke groep.

De Oplossing: FLOSS (Federated Learning met Opt-Out en Straggler Support)

De auteurs van dit paper hebben FLOSS bedacht. Je kunt FLOSS zien als een zeer slimme, rechtvaardige hoofdkok die weet hoe hij met deze onvolledige informatie moet omgaan.

FLOSS gebruikt een wiskundige truc (die we hier als een weegschaal kunnen voorstellen) om de vertekening te herstellen.

Hoe werkt de weegschaal?

Stel je voor dat de kok weet dat:

Mensen met een oude telefoon (stragglers) minder vaak meedoen.
Mensen die ontevreden zijn over de pizza (opt-out) ook minder vaak meedoen.

In plaats van dat elke vriend die wel meedoet even zwaar telt, geeft de kok hen een gewicht op de weegschaal.

Als een vriend met een oude telefoon toch een notitie stuurt, krijgt die notitie een zwaar gewicht. De kok zegt: "Deze persoon is zeldzaam om te horen, dus zijn mening telt extra veel mee om de groep te vertegenwoordigen."
Als een vriend met een snelle internetverbinding meedoet, krijgt die een lichter gewicht, omdat er al veel mensen met snelle verbindingen zijn.

Op deze manier "vult" FLOSS de gaten op die door de verstekers en de terughoudenden zijn ontstaan, zonder dat de verstekers of de terughoudenden hun data hoeven te sturen.

De Magische "Schaduw" (Het Geheim)

Om dit gewicht precies goed te berekenen, heeft de kok een beetje hulp nodig. Hij kan niet weten waarom iemand niet meedoet (dat is immers hun privacy). Maar FLOSS maakt een slimme aanname:

Stel je voor dat de tevredenheid van een vriend (wil hij wel of niet meedoen?) afhangt van hoe goed de pizza smaakt. FLOSS vraagt af en toe: "Hoe tevreden ben je?" (zelfs als iemand niet meedoet aan het trainen, kunnen ze soms wel feedback geven).

Met deze informatie over tevredenheid en de bekende eigenschappen van de telefoon (oude vs. nieuwe), kan FLOSS een schaduwvariabele gebruiken. Dit is een slimme wiskundige manier om te raden: "Als iemand met deze specifieke telefoon en dit specifieke gevoel niet meedoet, hoeveel mensen missen we dan eigenlijk?"

Hierdoor kan FLOSS de weegschaal zo afstellen dat het resultaat bijna hetzelfde is als wanneer iedereen had meegedaan.

Wat zeggen de resultaten?

De auteurs hebben dit getest in een simulatie. Ze zagen dat:

Zonder FLOSS, als mensen wegbleven, de "pizza" (het AI-model) steeds slechter werd, hoe meer mensen er wegbleven.
Met FLOSS bleef de "pizza" lekker, zelfs als veel mensen wegbleven. Het systeem corrigeerde de vertekening en hield de kwaliteit hoog.

Conclusie

FLOSS is een systeem dat zorgt dat AI eerlijk blijft, zelfs als mensen hun data niet willen delen of als hun telefoon het laat afweten. Het zorgt ervoor dat de stemmen van de "moeilijke gevallen" (de mensen met slechte verbinding of die privacy willen) niet verloren gaan, maar juist worden gewogen om een beter, eerlijker resultaat voor iedereen te krijgen.

Het is alsof je een groep vrienden hebt die samen een meesterwerk maken, en FLOSS zorgt ervoor dat niemand wordt vergeten, zelfs als ze niet kunnen praten of niet willen praten.

Probleemstelling

Federated Learning (FL) is een privacy-bevorderende techniek waarbij modellen worden getraind op gedistribueerde clients zonder dat ruwe data naar een centrale server wordt gestuurd. Hoewel FL privacy biedt, introduceert de gedistribueerde aard van het systeem uitdagingen met betrekking tot ontbrekende data. Er zijn twee hoofdoorzaken voor dit verlies aan data:

Stragglers: Apparaten met heterogene capaciteiten of slechte netwerkverbindingen die niet op tijd hun gradients (gewichtsupdates) kunnen uploaden.
User Opt-out: Gebruikers kunnen op elk moment besluiten om niet langer hun data te delen vanwege privacyovereenkomsten of ontevredenheid met het model.

Het paper stelt dat het aannemen dat deze data "Missing Completely At Random" (MCAR) is, vaak onjuist is. In plaats van willekeurig, is de afwezigheid van data vaak systematisch:

Missing At Random (MAR): De kans op ontbrekende data hangt samen met waarneembare eigenschappen (bijv. een slechte netwerkverbinding in een landelijke regio).
Missing Not At Random (MNAR): De kans op ontbrekende data hangt direct samen met de ontbrekende data zelf. Bijvoorbeeld, gebruikers met gevoelige data of gebruikers die ontevreden zijn over de modelvoorspellingen, kiezen vaker voor "opt-out".

Wanneer FL-systemen alleen de waargenomen data gebruiken zonder rekening te houden met deze systematische bias, leidt dit tot vertekende modelupdates, een afname van de nauwkeurigheid en een verlies van algoritmisce eerlijkheid.

Methodologie: FLOSS

Het paper introduceert FLOSS, een systeem dat de impact van ontbrekende data (zowel door stragglers als opt-out) mitigeert zonder de privacy van de gebruiker te schenden of extra data te verzamelen. De kern van de oplossing ligt in het gebruik van Inverse Probability Weighting (IPW) in combinatie met ontbrekende-data grafische modellen (m-DAGs).

1. Formele Modellering (m-DAGs):
De auteurs gebruiken m-DAGs om de causale relaties tussen variabelen te visualiseren:

$X, Y$ : Features en uitkomsten (altijd privé).
$G(\theta)$ : Gradients (kunnen ontbreken).
$D$ : Gebruikersinformatie (bijv. apparaatspecificaties, demografie).
$R$ : Indicator of de server gradients ontvangt ( $R=1$ ) of niet ( $R=0$ ).
$S$ : Gebruikstevredenheid (vaak gemeten via feedback-prompten).

Het model toont aan dat $R$ niet onafhankelijk is van $G(\theta)$ , zelfs niet na correctie voor $D$ , omdat gebruikers hun keuze voor opt-out kunnen baseren op hun ervaring met het model (MNAR).

2. Shadow Variables en IPW:
Om MNAR-data te corrigeren zonder de onderliggende data te zien, introduceert FLOSS het concept van een shadow variable ( $Z$ ). Dit is een variabele die:

Gerelateerd is aan de tevredenheid ( $S$ ) en de data ( $X, Y$ ).
Niet direct de reden is voor het ontbreken van data ( $R$ ), maar wel andere apparaatkenmerken ( $D'$ ) beïnvloedt die wel de connectiviteit bepalen.
Voorbeeld: De verwerkingssnelheid van een apparaat ( $Z$ ) beïnvloedt hoe snel het model werkt (en dus de tevredenheid), maar de netwerkkaart ( $D'$ ) bepaalt of de verbinding faalt.

Met behulp van deze shadow variable kan het systeem de waarschijnlijkheid van respons $p(R=1 | D', S)$ schatten door een systeem van vergelijkingen op te lossen (zie vergelijking 1 in het paper), zelfs als $S$ zelf soms ontbreekt.

3. Gewogen Steekproefneming:
In plaats van gebruikers willekeurig te selecteren voor een trainingstijd, selecteert FLOSS gebruikers met een gewicht gelijk aan de inverse van hun responskans ( $1/\pi$ ).

Gebruikers die minder waarschijnlijk zouden deelnemen (bijv. vanwege een slechte verbinding of ontevredenheid), krijgen een hoger gewicht als ze toch deelnemen.
Dit compenseert de bias in de aggregatie van gradients, zodat de update de ware risicofunctie van de volledige populatie benadert.

Het algoritme (Algorithm 1) integreert dit met differentieel privé-stochastische gradientenafstijging (DP-SGD) om privacy te waarborgen.

Belangrijkste Bijdragen

Formele Analyse van MNAR in FL: Het paper is een van de eerste dat systematisch de problemen van MNAR-ontbrekende data in FL-systemen formaliseert, specifiek in de context van moderne privacyovereenkomsten (opt-out).
Het FLOSS-systeem: Een nieuw framework dat IPW en shadow variables toepast om bias te corrigeren zonder de privacy van gebruikers te schenden.
Theoretische Garantie: Bewijzen (Propositie 1 en 2) dat gewogen steekproefneming de onvertekende risicominimalisatie herstelt, zelfs bij systematisch ontbrekende data, mits de juiste aannames (via de m-DAG) gelden.
Prototype Implementatie: Een werkend prototype in Python dat de theoretische concepten valideert.

Resultaten

De auteurs hebben experimenten uitgevoerd met een synthetisch dataset voor een binaire classificatietaken. De resultaten (gevisualiseerd in Figuur 3) tonen het volgende:

Impact van on gecorrigeerde MNAR: Een model dat MNAR-data negeert (oranje lijn) heeft een aanzienlijk lagere nauwkeurigheid dan een model zonder ontbrekende data (blauwe lijn), zelfs bij een relatief eenvoudige taak.
Effectiviteit van FLOSS: Het FLOSS-systeem (rode lijn) herstelt de nauwkeurigheid bijna volledig tot het niveau van het geval zonder ontbrekende data naarmate het aantal clients toeneemt.
Vergelijking met Oracle: De prestaties van FLOSS benaderen die van een "Oracle"-correctie (waarbij de ware opt-out-kansen bekend zijn), wat aantoont dat de schattingsmethode van FLOSS effectief is.
Schaling: Het toevoegen van meer clients verbetert de nauwkeurigheid alleen als de ontbrekende data correct wordt verwerkt; zonder correctie blijft de prestatie beperkt door de bias.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een praktische oplossing biedt voor een veelvoorkomend, maar vaak genegeerd probleem in Federated Learning: de bias die ontstaat door de realiteit van gebruikersgedrag (opt-out) en technische beperkingen (stragglers).

Privacy en Performance: Het toont aan dat het mogelijk is om privacy te respecteren (door opt-out toe te staan) zonder de kwaliteit van het AI-model te offeren.
Eerlijkheid: Door bias te verminderen, draagt het bij aan eerlijker algoritmen, aangezien bepaalde demografische groepen anders ondervertegenwoordigd zouden raken.
Toekomstig werk: De auteurs plannen om het systeem te testen op grotere datasets met het Flower-framework, de computatiekosten te kwantificeren en de schaalbaarheid voor echte wereldtoepassingen te evalueren.

Samenvattend biedt FLOSS een robuust theoretisch en praktisch raamwerk om Federated Learning systemen resilienter te maken tegen de realiteit van ontbrekende data in een privacybewuste omgeving.